JP2007213378A - 特定表情顔検出方法、撮像制御方法および装置並びにプログラム - Google Patents

特定表情顔検出方法、撮像制御方法および装置並びにプログラム Download PDF

Info

Publication number
JP2007213378A
JP2007213378A JP2006033555A JP2006033555A JP2007213378A JP 2007213378 A JP2007213378 A JP 2007213378A JP 2006033555 A JP2006033555 A JP 2006033555A JP 2006033555 A JP2006033555 A JP 2006033555A JP 2007213378 A JP2007213378 A JP 2007213378A
Authority
JP
Japan
Prior art keywords
face
image
facial expression
feature point
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2006033555A
Other languages
English (en)
Inventor
Yuanzhong Li
元中 李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2006033555A priority Critical patent/JP2007213378A/ja
Priority to US11/703,676 priority patent/US20070189584A1/en
Publication of JP2007213378A publication Critical patent/JP2007213378A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】定義の難しい所望の表情の顔を含む画像を検出する。
【解決手段】所定の人物の特定の表情の顔を含む画像を予め登録しておき、その登録された画像における顔を構成する顔部品の輪郭を表す特徴点を抽出するとともに、検出対象の画像から顔を含む顔画像を検出し、その検出された顔画像における顔を構成する顔部品の輪郭を表す特徴点を抽出し、これらの特徴点を比較して特徴点の位置的な相関を表す指標値を算出し、この指標値の大小に基づいて、検出された顔画像が特定の表情に類似した表情の顔を含むか否かを判定する。
【選択図】図１

Description

本発明は、特定の表情の顔を含む画像を検出する特定表情顔検出方法および装置並びにそのためのプログラム、当該特定表情顔検出方法を利用した撮像制御方法および装置並びにそのためのプログラムに関するものである。
一般に、スナップ写真では、被写体である人物が笑顔であることが望まれ、また、証明写真では、被写体である人物が真顔であることが望まれる。このような理由から、笑顔または真顔等、特定の表情の顔を含む画像を検出する方法やそのために必要な顔の特徴点を検出する方法、特定の表情の顔を含む画像が取得されるように制御される撮像装置等が種々提案されている。
例えば、特許文献１では、顔検出処理により撮影中の動画から顔領域を検出して切り出し、その顔領域をカメラのディスプレイ画面に拡大して表示する機能を有する撮像装置が提案されている。これにより、ユーザは、顔の表情が確認しやすい拡大表示された被写体の顔を見ながら撮像装置のシャッターを押下することができるので、所望の表情の顔を含む画像を取得することが容易となる。
また、特許文献２では、画像に含まれる顔を構成する器官の上端および下端の輪郭を抽出し、当該各輪郭間の開き状態および各輪郭の曲がり状態に基づいて、当該顔の表情を推定する方法が提案されている。
また、特許文献３では、入力された画像に含まれる顔の各所定部位群について特徴点を求めるとともに、所定の表情の顔を含む画像におけるこの顔の各所定部位群について特徴点を求め、この特徴点の差分に基づいて各所定部位群について得点を計算し、この得点の分布に基づいて、入力された画像中の顔の表情を判断する方法が提案されている。
また、特許文献４では、認識対象となる特定表情を示す複数の顔画像と当該特定表情とは異なる表情を示す複数の顔画像とからなる表情学習用データセットを使用して、与えられた顔画像の表情を認識する表情認識装置を学習し、当該表情学習装置を用いて画像に含まれる顔の表情を認識する方法が提案されている。
また、特許文献５では、識別対象画像の特徴量を算出し、目の位置を所定の許容度を持って正規化した多数の顔画像および顔でない画像の特徴量について学習を行った第１の参照データを参照して、その識別対象画像に顔が含まれるか否かを識別し、顔が含まれる場合に、目の位置を上記所定の許容度より小さい許容度を持って正規化した多数の顔画像および顔でない画像の特徴量について学習を行った第２の参照データを参照して、顔に含まれる目の位置を識別する手法が提案されている。これにより、顔及びその目を、精度良く、高いロバスト性を持って検出することができる。
特開２００５−１０２１７５号公報 特開２００５−２９３５３９号公報 特開２００５−５６３８８号公報 特開２００５−４４３３０号公報 特開２００５−１０８１９７号公報
しかしながら、特許文献１の撮像装置は、被写体の顔を認識して、その顔を拡大表示するに過ぎず、顔の表情を自動で認識するものではない。
顔の表情を認識するために必要となる顔の特徴点や特徴量は、人物によって個人差があり、笑顔や真顔等、顔の表情をこれらの特徴点や特徴量で一般化して定義することは難しい。また、ユーザによってその表情の好みも違う。したがって、特許文献２〜４の表情認識方法では、何れの人物に対しても所望の認識結果が得られるわけではない。
また、特許文献５の方法は、画像に含まれる顔とその顔を構成する目の位置を精度良く、高いロバスト性を持って検出することができる方法を提案しているに過ぎず、表情を認識することはできない。
本発明は、上記事情に鑑み、ユーザが望む特定の表情の顔を含む画像を検出することができる特定表情顔検出方法、この特定表情顔検出方法を利用してユーザが望む表情の顔を容易に撮像することができる撮像制御方法、およびこれらの方法を実施するための装置並びにそのためのプログラムを提供することを目的とするものである。
本発明の特定表情顔検出方法は、所定の人物の特定の表情の顔を含む画像の登録を受け付けるステップと、前記登録された画像における顔を構成する顔部品の輪郭を表す特徴点を抽出するステップと、検出対象画像の入力を受け付けるステップと、前記検出対象画像から顔を含む顔画像を検出するステップと、前記検出された顔画像における顔を構成する顔部品の輪郭を表す特徴点を抽出するステップと、前記検出された顔画像における顔から抽出された特徴点と前記登録された画像における顔から抽出された特徴点とを比較して、前記特徴点の位置に対する相関を表す指標値を算出するステップと、該指標値の大小に基づいて、前記検出された顔画像が、前記特定の表情に類似した表情の顔を含むか否かを判定するステップとを有することを特徴とするものである
本発明の特定表情顔検出方法において、前記検出された顔画像に対して顔認証を行って、前記検出されたすべての顔画像の中から前記所定の人物と同じ人物の顔を含む顔画像を選出するステップをさらに有し、前記指標値を算出するステップは、前記選出された顔画像における顔から抽出された特徴点と前記登録された画像における顔から抽出された特徴点とを比較して、前記指標値を算出するものであり、前記判定するステップは、前記選出された顔画像が、前記特定の表情に類似した表情の顔を含むか否かを判定するものであってもよい。
また、本発明の特定表情顔検出方法において、前記検出対象画像の入力を受け付けるステップは、複数の異なる画像の入力を受け付けるものであり、前記顔画像を検出するステップ、前記検出された顔画像から特徴点を抽出するステップ、前記指標値を算出するステップおよび前記判定するステップは、前記複数の異なる画像の各画像毎に行われるものであり、前記複数の異なる画像のうち、前記特定の表情に類似した表情の顔を含むと判定された顔画像を含む画像を選出し、該選出された画像を特定する情報を出力するステップをさらに有するものであってもよい。
また、本発明の特定表情顔検出方法において、前記検出対象画像は、撮像手段による撮像によって得られた画像であり、前記判定の結果に応じて、該結果を示す標識、音声、音、光のうち少なくとも１つを出力するステップをさらに有するものであってもよい。
本発明の撮像制御方法は、所定の人物の特定の表情の顔を含む画像の登録を受け付けるステップと、前記登録された画像における顔を構成する顔部品の輪郭を表す特徴点を抽出するステップと、撮像手段による予備撮像によって得られた予備撮像画像の入力を受け付けるステップと、前記予備撮像画像から顔を含む顔画像を検出するステップと、前記検出された顔画像における顔を構成する顔部品の輪郭を表す特徴点を抽出するステップと、前記検出された顔画像における顔から抽出された特徴点と前記登録された画像における顔から抽出された特徴点とを比較して、前記特徴点の位置に対する相関を表す指標値を算出するステップと、該指標値の大小に基づいて、前記検出された顔画像が、前記特定の表情に類似した表情の顔を含むか否かを判定するステップと、該判定の結果に応じて、前記撮像手段に対し本撮像を許可する制御を行うステップとを有することを特徴とするものである。
本発明の撮像制御方法において、前記検出された顔画像に対して顔認証を行って、前記検出されたすべての顔画像の中から前記所定の人物と同じ人物の顔を含む顔画像を選出するステップをさらに有し、前記指標値を算出するステップは、前記選出された顔画像における顔から抽出された特徴点と前記登録された画像における顔から抽出された特徴点とを比較して、前記指標値を算出するものであり、前記判定するステップは、前記選出された顔画像が、前記特定の表情に類似した表情の顔を含むか否かを判定するものであってもよい。
また、本発明の撮像制御方法において、前記本撮像を許可する制御を行うステップは、前記検出された顔画像が、前記特定の表情に類似した表情の顔を含むとの前記判定に応じて、該本撮像を許可する制御を行うものであってもよい。
また、本発明の撮像制御方法において、前記本撮像を許可する制御を行うステップは、前記検出された顔画像が、前記特定の表情に類似した表情の顔を含まないとの前記判定に応じて、該本撮像を許可する制御を行うものであってもよい。
本発明の特定表情顔検出装置は、所定の人物の特定の表情の顔を含む画像の登録を受け付ける画像登録手段と、前記登録された画像における顔を構成する顔部品の輪郭を表す特徴点を抽出する第１の顔特徴点抽出手段と、検出対象画像の入力を受け付ける画像入力手段と、前記検出対象画像から顔を含む顔画像を検出する顔画像検出手段と、前記検出された顔画像における顔を構成する顔部品の輪郭を表す特徴点を抽出する第２の顔特徴点抽出手段と、前記検出された顔画像における顔から抽出された特徴点と前記登録された画像における顔から抽出された特徴点とを比較して、前記特徴点の位置に対する相関を表す指標値を算出する指標値算出手段と、該指標値の大小に基づいて、前記検出された顔画像が、前記特定の表情に類似した表情の顔を含むか否かを判定する表情判定手段とを備えたことを特徴とするものである。
本発明の特定表情顔検出装置において、前記検出された顔画像に対して顔認証を行って、前記検出されたすべての顔画像の中から前記所定の人物と同じ人物の顔を含む顔画像を選出する顔認証手段をさらに備え、前記指標値算出手段は、前記選出された顔画像における顔から抽出された特徴点と前記登録された画像における顔から抽出された特徴点とを比較して、前記指標値を算出するものであり、前記表情判定手段は、前記選出された顔画像が、前記特定の表情に類似した表情の顔を含むか否かを判定するものであってもよい。
また、本発明の特定表情顔検出装置において、前記画像入力手段は、複数の異なる画像の入力を受け付けるものであり、前記顔画像検出手段による顔画像の検出、前記第２の顔特徴点検出手段による特徴点の抽出、前記指標値算出手段による指標値の算出および前記表情判定手段による判定は、前記複数の異なる画像の各画像毎に行われるものであり、前記複数の異なる画像のうち、前記特定の表情に類似した表情の顔を含むと判定された顔画像を含む画像を選出し、該選出された画像を特定する情報を出力する出力手段をさらに備えたものであってもよい。
また、本発明の特定表情顔検出装置において、前記検出対象画像は、撮像手段による撮像によって得られた画像であり、前記判定の結果に応じて、該結果を示す標識、音声、音、光のうち少なくとも１つを出力する警告手段をさらに備えたものであってもよい。
本発明の撮像制御装置は、所定の人物の特定の表情の顔を含む画像の登録を受け付ける画像登録手段と、前記登録された画像における顔を構成する顔部品の輪郭を表す特徴点を抽出する第１の顔特徴点抽出手段と、撮像手段による予備撮像によって得られた予備撮像画像の入力を受け付ける画像入力手段と、前記予備撮像画像から顔を含む顔画像を検出する顔画像検出手段と、前記検出された顔画像における顔を構成する顔部品の輪郭を表す特徴点を抽出する第２の顔特徴点抽出手段と、前記検出された顔画像における顔から抽出された特徴点と前記登録された画像における顔から抽出された特徴点とを比較して、前記特徴点の位置に対する相関を表す指標値を算出する指標値算出手段と、該指標値の大小に基づいて、前記検出された顔画像が、前記特定の表情に類似した表情の顔を含むか否かを判定する表情判定手段と、該判定の結果に応じて、前記撮像手段に対し本撮像を許可する制御を行う撮像制御手段とを備えたことを特徴とするものである。
本発明の撮像制御装置において、前記検出された顔画像に対して顔認証を行って、前記検出されたすべての顔画像の中から前記所定の人物と同じ人物の顔を含む顔画像を選出する顔認証手段をさらに備え、前記指標値算出手段は、前記選出された顔画像における顔から抽出された特徴点と前記登録された画像における顔から抽出された特徴点とを比較して、前記指標値を算出するものであり、前記表情判定手段は、前記選出された顔画像が、前記特定の表情に類似した表情の顔を含むか否かを判定するものであってもよい。
また、本発明の撮像制御装置において、前記撮像制御手段は、前記検出された顔画像が、前記特定の表情に類似した表情の顔を含むとの前記判定に応じて、該本撮像を許可する制御を行うものであってもよい。
また、本発明の撮像制御装置において、前記撮像制御手段は、前記検出された顔画像が、前記特定の表情に類似した表情の顔を含まないとの前記判定に応じて、該本撮像を許可する制御を行うものであってもよい。
本発明のプログラムは、コンピュータを、所定の人物の特定の表情の顔を含む画像の登録を受け付ける画像登録手段と、前記登録された画像における顔を構成する顔部品の輪郭を表す特徴点を抽出する第１の顔特徴点抽出手段と、検出対象画像の入力を受け付ける画像入力手段と、前記検出対象画像から顔を含む顔画像を検出する顔画像検出手段と、前記検出された顔画像における顔を構成する顔部品の輪郭を表す特徴点を抽出する第２の顔特徴点抽出手段と、前記検出された顔画像における顔から抽出された特徴点と前記登録された画像における顔から抽出された特徴点とを比較して、前記特徴点の位置に対する相関を表す指標値を算出する指標値算出手段と、該指標値の大小に基づいて、前記検出された顔画像が、前記特定の表情に類似した表情の顔を含むか否かを判定する表情判定手段として機能させることにより、該コンピュータを特定表情顔検出装置として機能させることを特徴とするものである（第１のプログラム）。
本発明のプログラムにおいて、前記コンピュータを、前記検出された顔画像に対して顔認証を行って、前記検出されたすべての顔画像の中から前記所定の人物と同じ人物の顔を含む顔画像を選出する顔認証手段としてさらに機能させるものであり、前記指標値算出手段は、前記選出された顔画像における顔から抽出された特徴点と前記登録された画像における顔から抽出された特徴点とを比較して、前記指標値を算出するものであり、前記表情判定手段は、前記選出された顔画像が、前記特定の表情に類似した表情の顔を含むか否かを判定するものであってもよい。
また、本発明のプログラムにおいて、前記画像入力手段は、複数の異なる画像の入力を受け付けるものであり、前記顔画像検出手段による顔画像の検出、前記第２の顔特徴点検出手段による特徴点の抽出、前記指標値算出手段による指標値の算出および前記表情判定手段による判定は、前記複数の異なる画像の各画像毎に行われるものであり、前記コンピュータを、前記複数の異なる画像のうち、前記特定の表情に類似した表情の顔を含むと判定された顔画像を含む画像を選出し、該選出された画像を特定する情報を出力する出力手段としてさらに機能させるものであってもよい。
また、本発明のプログラムにおいて、前記検出対象画像は、撮像手段による撮像によって得られた画像であり、前記コンピュータを、前記判定の結果に応じて、該結果を示す標識、音声、音、光のうち少なくとも１つを出力する警告手段としてさらに機能させるものであってもよい。
本発明のプログラムは、コンピュータを、所定の人物の特定の表情の顔を含む画像の登録を受け付ける画像登録手段と、前記登録された画像における顔を構成する顔部品の輪郭を表す特徴点を抽出する第１の顔特徴点抽出手段と、撮像手段による予備撮像によって得られた予備撮像画像の入力を受け付ける画像入力手段と、前記予備撮像画像から顔を含む顔画像を検出する顔画像検出手段と、前記検出された顔画像における顔を構成する顔部品の輪郭を表す特徴点を抽出する第２の顔特徴点抽出手段と、前記検出された顔画像における顔から抽出された特徴点と前記登録された画像における顔から抽出された特徴点とを比較して、前記特徴点の位置に対する相関を表す指標値を算出する指標値算出手段と、該指標値の大小に基づいて、前記検出された顔画像が、前記特定の表情に類似した表情の顔を含むか否かを判定する表情判定手段と、該判定の結果に応じて、前記撮像手段に対し本撮像を許可する制御を行う撮像制御手段として機能させることにより、該コンピュータを撮像制御装置として機能させることを特徴とするものである（第２のプログラム）。
本発明のプログラムにおいて、前記コンピュータを、前記検出された顔画像に対して顔認証を行って、前記検出されたすべての顔画像の中から前記所定の人物と同じ人物の顔を含む顔画像を選出する顔認証手段としてさらに機能させるものであり、前記指標値算出手段は、前記選出された顔画像における顔から抽出された特徴点と前記登録された画像における顔から抽出された特徴点とを比較して、前記指標値を算出するものであり、前記表情判定手段は、前記選出された顔画像が、前記特定の表情に類似した表情の顔を含むか否かを判定するものであってもよい。
また、本発明のプログラムにおいて、前記撮像制御手段は、前記検出された顔画像が、前記特定の表情に類似した表情の顔を含むとの前記判定に応じて、該本撮像を許可する制御を行うものであってもよい。
また、本発明のプログラムにおいて、前記撮像制御手段は、前記検出された顔画像が、前記特定の表情に類似した表情の顔を含まないとの前記判定に応じて、該本撮像を許可する制御を行うものであってもよい。
本発明において、撮像手段とは、被写体の像をデジタル的に取得する手段を意味し、例えば、レンズ等の光学系とＣＭＯＳ等の撮像素子を用いた撮像手段を考えることができる。
本発明において、予備撮像とは、ユーザが意図したタイミングや撮像条件で撮像する本撮像より前に、撮像シーンに関する何らかの情報を得る目的で行われる予備的な撮像のことを意味し、例えば、撮像装置のシャッターボタンが半押しされた直後の画像を取得する単発的な撮像や、動画的に所定の時間間隔で時系列的なフレーム画像を取得する連続的な撮像を考えることができる。
本発明の特定表情顔検出方法および装置は、所定の人物の特定の表情の顔を含む画像を予め登録しておき、その登録された画像における顔を構成する顔部品の輪郭を表す特徴点を抽出するとともに、検出対象の画像から顔を含む顔画像を検出し、その検出された顔画像における顔を構成する顔部品の輪郭を表す特徴点を抽出し、これらの特徴点を比較して特徴点の位置的な相関を表す指標値を算出し、この指標値の大小に基づいて、検出された顔画像が特定の表情に類似した表情の顔を含むか否かを判定するようにしているので、検出対象となる顔の表情が固定されず、登録すればどのような表情の顔であっても検出することができ、ユーザが望むあらゆる表情の顔を検出することができる。また、顔の特定の表情を一般化して定義した基準を用いて顔の表情を判定するのではなく、実際の人物の顔から抽出した特徴点を基準として顔の表情を判定するので、人物毎の個性の違いによる表情のずれを抑えることも可能となる。
以下、図面を参照して、本発明の実施形態について説明する。
図１は、本発明の実施形態による特定表情顔画像検索システムの構成を示すブロック図である。なお、この特定表情顔画像検索システムは、撮像装置等により取得された複数の画像の中から、所定の人物の特定の表情の顔を含む画像を検索するシステムであり、補助記憶装置に読み込まれた処理プログラムをコンピュータ（たとえばパーソナルコンピュータ等）上で実行することにより実現される。また、この処理プログラムは、ＣＤ−ＲＯＭ等の情報記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされることになる。また、画像データは画像を表すものであり、以下、特に画像と画像データの区別をせずに説明を行う。
図１に示すように、本実施形態による特定表情顔画像検索システムは、所定の人物の特定の表情の顔を含む画像Ｒ０の登録を受け付ける画像登録部（画像登録手段）１０と（以下、画像Ｒ０を登録画像Ｒ０とも言う）、検索対象となる複数の異なる画像Ｓ０の入力を受け付ける画像入力部（画像入力手段）２０と（以下、画像Ｓ０を入力画像Ｓ０とも言う）、登録画像Ｒ０から顔部分を含む顔画像Ｒ２を検出し（以下、顔画像Ｒ２を登録顔画像Ｒ２とも言う）、また、入力画像Ｓ０から顔部分を含む顔画像Ｓ２をすべて検出する顔画像検出部（顔画像検出手段）３０と（以下、顔画像Ｓ２を検出顔画像Ｓ２とも言う）、登録顔画像Ｒ２における顔を構成する顔部品の輪郭を表す特徴点を含むフレームモデルＳｈｒを得、また、検出顔画像Ｓ２における顔を構成する顔部品の輪郭を表す特徴点を含むフレームモデルＳｈｓを得るフレームモデル構築部（顔特徴点抽出手段）４０と、フレームモデルＳｈｒの情報を記憶するメモリ５０と、検出顔画像Ｓ２に対して顔認証を行って、検出されたすべての検出顔画像Ｓ２の中から上記の所定の人物と同じ人物の顔を含む顔画像Ｓ３を選出する顔認証部（顔認証手段）６０と、選出された顔画像Ｓ３から抽出された特徴点を含むフレームモデルＳｈｓａと登録顔画像Ｒ２から抽出された特徴点を含むフレームモデルＳｈｒとを比較して、特徴点の位置に対する相関を表す指標値Ｕを算出する指標値算出部（指標値算出手段）７０と、指標値Ｕの大小に基づいて、選出された顔画像Ｓ３が、上記の特定の表情に類似した表情の顔を含むか否かを判定する表情判定部（表情判定手段）８０と、上記の複数の異なる画像Ｓ０のうち、上記の特定の表情に類似した表情の顔を含むと判定された顔画像Ｓ４を含む画像Ｓ０′を選出し、それら選出された画像Ｓ０′を特定する情報を出力する検索結果出力部（出力手段）９０とを備える。
画像登録部１０は、ユーザから入力された、所定の人物の特定の表情の顔を含む画像の登録を受け付けるものであり、ユーザは、この画像登録部１０により、例えば、特定の子供が微笑んでいる顔を含む画像を登録する。
画像入力部２０は、ユーザから入力された、検索対象となる複数の異なる画像Ｓ０の入力を受け付け、これらの画像Ｓ０をメモリ５０に保存するものであり、ユーザは、この画像入力部２０により、例えば、デジタルカメラ等により取得された複数のスナップ写真の画像を入力する。
顔画像検出部３０は、メモリ５０に保存された登録画像Ｒ０および入力画像Ｓ０を読み出して、それらの画像から顔画像を検出するものであり、画像登録時には、登録画像Ｒ０から顔部分を含む顔画像Ｒ２を検出し、また、画像検索時には、入力画像Ｓ０毎に、画像Ｓ０から顔部分を含む顔画像Ｓ１をすべて検出するものである。なお、この顔画像検出部３０の具体的な構成については後述する。
フレームモデル構築部４０は、登録顔画像Ｒ２および検出顔画像Ｓ２を、画像面内の回転角度や画像サイズ（解像度）を調整して正規化し、正規化済みの画像における顔を構成する顔部品の輪郭を表す特徴点を含むフレームモデルＰｈを得るものであり、画像登録時には、登録顔画像Ｒ２からその顔のフレームモデルＳｈｒを得てその情報をメモリ５０に記憶させ、また、画像検索時には、検出顔画像Ｓ２からその顔のフレームモデルＳｈｓを得るものである。特徴点としては、例えば、目頭、目尻、上下瞼の輪郭の中点、左右の口角、上下唇の輪郭の中点等を考えることができる。なお、このフレームモデル構築部４０の具体的な構成については後述する。
顔認証部６０は、画像Ｓ０上で検出されたすべての検出顔画像Ｓ２に対して、順次、顔認証処理を行ってゆき、そのすべての検出顔画像Ｓ２の中から、上記の所定の人物、すなわち登録顔画像Ｒ２における顔の人物、と同じ人物の顔を含む顔画像Ｓ３を選出するものである。顔認証処理には、公知である種々の顔認証の手法を用いることができるが、例えば、メモリ５０に記憶されている、登録顔画像Ｒ２における顔から抽出された特徴点を含むフレームモデルＳｈｒの情報を用いて、このフレームモデルＳｈｒと検出顔画像Ｓ２における顔から抽出された特徴点を含むフレームモデルＳｈｓとを比較することにより、登録顔画像Ｒ２における顔と検出顔画像Ｓ２における顔との間で、顔を構成する各顔部品の位置関係や各顔部品の大きさ、輪郭等の差分を求め、当該差分の大きさが所定範囲内であるときに、検出顔画像Ｓ１が登録顔画像Ｒ２の顔の人物と同じ人物の顔を含む顔画像Ｓ３であると判断する処理が考えられる。
指標値算出部７０は、顔認証部６０により登録顔画像Ｒ２における顔の人物と同じ人物の顔を含む顔画像であるとして選出された顔画像Ｓ３に対するフレームモデルＳｈｓａと、メモリ５０に記憶されている登録顔画像Ｒ２に対するフレームモデルＳｈｒとを比較して、特徴点の位置に対する相関を表す指標値Ｕを算出するものである。指標値Ｕの算出方法としては、例えば、下記の式に従って算出する方法が考えられる。

Ｓｈｒ＝（Ｘ１ １，Ｘ２ １，・・・，Ｘ２ｎ−１ １，Ｘ２ｎ １） （１ａ）
Ｓｈｓａ＝（Ｘ１ ２，Ｘ２ ２，・・・，Ｘ２ｎ−１ ２，Ｘ２ｎ ２） （１ｂ）

但し，ｎ：ランドマーク（特徴点）の個数
Ｘｉ（１≦ｉ≦ｎ）：ｉ番目のランドマークの位置のＸ方向座標値
Ｘｎ＋ｉ（１≦ｉ≦ｎ）：ｉ番目のランドマークの位置のＹ方向座標値

Figure 2007213378

また、例えば、下記の式に従って算出する方法も考えられる。

Ｄｈｒ＝（dis１ １，dis２ １，・・・，disｍ−１ １，disｍ １） （３ａ）
Ｄｈｓａ＝（dis１ ２，dis２ ２，・・・，disｍ−１ ２，disｍ ２） （３ｂ）

但し，Ｄｈｒ：フレームモデルＳｈｒから求めた顔部品に関する情報
Ｄｈｓａ：フレームモデルＳｈｓａから求めた顔部品に関する情報
ｍ：ランドマークから求めた顔部品の大きさ・位置に関する距離の種類の数
disｊ（１≦ｊ≦ｍ）：ｊ番目の顔部品の大きさ・位置に関する距離
（目の横幅・縦幅、口の横幅・縦幅、目と口の距離など）

Figure 2007213378

なお、指標値Ｕは、上記２つの算出方法を組み合わせて算出するようにしてもよい。
表情判定部８０は、指標値算出部７０により算出された指標値Ｕの大小に基づいて、選出された顔画像Ｓ３が、上記特定の表情、すなわち登録顔画像Ｒ２における顔の表情、に類似した表情の顔を含むか否かを判定するものであり、指標値Ｕが所定の閾値Ｔｈ以上であるときに、顔画像Ｓ３が登録顔画像Ｒ２の顔の表情に類似した表情の顔を含む顔画像Ｓ４であると判定する。
検索結果出力部９０は、検索対象である複数の異なる画像Ｓ０のうち、登録顔画像Ｒ２における顔の表情に類似した表情の顔を含むと判定された顔画像Ｓ４を含む画像Ｓ０′を選出し、それら選出された画像Ｓ０′を特定する情報を出力するものであり、例えば、その画像Ｓ０′を表す画像データそのものや、その画像データのファイル名、入力時に割り当てられた番号、サムネイル画像等を、不図示の画像表示部の画面に表示する。
次に、顔画像検出部３０およびフレームモデル構築部４０の具体的な構成について説明する。なお、ここでは、入力画像Ｓ０から顔部分を含む顔画像Ｓ２を検出し、顔画像Ｓ２から顔の特徴点を含むフレームモデルＳｈｓを抽出する場合を例に説明する。
図２は、顔画像検出部３０の構成を示すブロック図である。顔画像検出部３０は、画像Ｓ０から顔を検出して顔画像Ｓ１を得る顔検出部３２と、顔画像Ｓ１を用いて両目の位置を検出して顔画像Ｓ２を得る目検出部３４と、顔検出部３２に用いられる参照データＥ１と目検出部３４に用いられる参照データＥ２を記憶した第１のデータベース５２とから構成されている。
顔検出部３２は、画像Ｓ０に顔が含まれているか否かを検出すると共に、顔が含まれている場合、顔のおおよその位置および大きさを検出し、この位置および大きさにより示される領域の画像を画像Ｓ０から抽出して顔画像Ｓ１を得るものであり、図２に示すように、画像Ｓ０から特徴量Ｃ０を算出する第１の特徴量算出部３２１と、特徴量Ｃ０および第１のデータベース５２に記憶された参照データＥ１とを用いて顔検出を実行する顔検出実行部３２２とを備える。ここで、第１のデータベース５２に記憶された参照データＥ１、顔検出部３２の各構成の詳細について説明する。
顔検出部３２の第１の特徴量算出部３２１は、顔の識別に用いる特徴量Ｃ０を画像Ｓ０から算出する。具体的には、勾配ベクトル（すなわち画像Ｓ０上の各画素における濃度が変化する方向および変化の大きさ）を特徴量Ｃ０として算出する。以下、勾配ベクトルの算出について説明する。まず、第１の特徴量算出部３２１は、画像Ｓ０に対して図６（ａ）に示す水平方向のエッジ検出フィルタによるフィルタリング処理を施して画像Ｓ０における水平方向のエッジを検出する。また、第１の特徴量算出部３２１は、画像Ｓ０に対して図６（ｂ）に示す垂直方向のエッジ検出フィルタによるフィルタリング処理を施して画像Ｓ０における垂直方向のエッジを検出する。そして、画像Ｓ０上の各画素における水平方向のエッジの大きさＨおよび垂直方向のエッジの大きさＶとから、図７に示すように、各画素における勾配ベクトルＫを算出する。
なお、このようにして算出された勾配ベクトルＫは、図８（ａ）に示すような人物の顔の場合、図８（ｂ）に示すように、目および口のように暗い部分においては目および口の中央を向き、鼻のように明るい部分においては鼻の位置から外側を向くものとなる。また、口よりも目の方が濃度の変化が大きいため、勾配ベクトルＫは口よりも目の方が大きくなる。
そして、この勾配ベクトルＫの方向および大きさを特徴量Ｃ０とする。なお、勾配ベクトルＫの方向は、勾配ベクトルＫの所定方向（例えば図７におけるｘ方向）を基準とした０から３５９度の値となる。
ここで、勾配ベクトルＫの大きさは正規化される。この正規化は、画像Ｓ０の全画素における勾配ベクトルＫの大きさのヒストグラムを求め、その大きさの分布が画像Ｓ０の各画素が取り得る値（８ビットであれば０〜２５５）に均一に分布されるようにヒストグラムを平滑化して勾配ベクトルＫの大きさを修正することにより行う。例えば、勾配ベクトルＫの大きさが小さく、図９（ａ）に示すように勾配ベクトルＫの大きさが小さい側に偏ってヒストグラムが分布している場合には、大きさが０〜２５５の全領域に亘るものとなるように勾配ベクトルＫの大きさを正規化して図９（ｂ）に示すようにヒストグラムが分布するようにする。なお、演算量を低減するために、図９（ｃ）に示すように、勾配ベクトルＫのヒストグラムにおける分布範囲を例えば５分割し、５分割された頻度分布が図９（ｄ）に示すように０〜２５５の値を５分割した範囲に亘るものとなるように正規化することが好ましい。
第１のデータベース５２に記憶された参照データＥ１は、後述するサンプル画像から選択された複数画素の組合せからなる複数種類の画素群のそれぞれについて、各画素群を構成する各画素における特徴量Ｃ０の組合せに対する識別条件を規定したものである。
参照データＥ１中の、各画素群を構成する各画素における特徴量Ｃ０の組合せおよび識別条件は、顔であることが分かっている複数のサンプル画像と顔でないことが分かっている複数のサンプル画像とからなるサンプル画像群の学習により、予め決められたものである。
なお、本実施形態においては、参照データＥ１を生成する際には、顔であることが分かっているサンプル画像として、３０×３０画素サイズを有し、図１０に示すように、１つの顔の画像について両目の中心間の距離が１０画素、９画素および１１画素であり、両目の中心間距離において垂直に立った顔を平面上±１５度の範囲において３度単位で段階的に回転させた（すなわち、回転角度が−１５度，−１２度，−９度，−６度，−３度，０度，３度，６度，９度，１２度，１５度）サンプル画像を用いるものとする。したがって、１つの顔の画像につきサンプル画像は３×１１＝３３通り用意される。なお、図１０においては−１５度、０度および＋１５度に回転させたサンプル画像のみを示す。また、回転の中心はサンプル画像の対角線の交点である。ここで、両目の中心間の距離が１０画素のサンプル画像であれば、目の中心位置はすべて同一となっている。この目の中心位置をサンプル画像の左上隅を原点とする座標上において（ｘ１，ｙ１）、（ｘ２，ｙ２）とする。また、図面上上下方向における目の位置（すなわちｙ１，ｙ２）はすべてのサンプル画像において同一である。
また、顔でないことが分かっているサンプル画像としては、３０×３０画素サイズを有する任意の画像を用いるものとする。
ここで、顔であることが分かっているサンプル画像として、両目の中心間距離が１０画素であり、平面上の回転角度が０度（すなわち顔が垂直な状態）のもののみを用いて学習を行った場合、参照データＥ１を参照して顔であると識別されるのは、両目の中心間距離が１０画素で全く回転していない顔のみである。画像Ｓ０に含まれる可能性がある顔のサイズは一定ではないため、顔が含まれるか否かを識別する際には、後述するように画像Ｓ０を拡大縮小して、サンプル画像のサイズに適合するサイズの顔の位置を識別できるようにしている。しかしながら、両目の中心間距離を正確に１０画素とするためには、画像Ｓ０のサイズを拡大率として例えば１．１単位で段階的に拡大縮小しつつ識別を行う必要があるため、演算量が膨大なものとなる。
また、画像Ｓ０に含まれる可能性がある顔は、図１２（ａ）に示すように平面上の回転角度が０度のみではなく、図１２（ｂ）、（ｃ）に示すように回転している場合もある。しかしながら、両目の中心間距離が１０画素であり、顔の回転角度が０度のサンプル画像のみを使用して学習を行った場合、顔であるにも拘わらず、図１２（ｂ）、（ｃ）に示すように回転した顔については識別を行うことができなくなってしまう。
このため、本実施形態においては、顔であることが分かっているサンプル画像として、図１０に示すように両目の中心間距離が９，１０，１１画素であり、各距離において平面上±１５度の範囲にて３度単位で段階的に顔を回転させたサンプル画像を用いて、参照データＥ１の学習に許容度を持たせるようにしたものである。これにより、後述する顔検出実行部２４において識別を行う際には、画像Ｓ０を拡大率として１１／９単位で段階的に拡大縮小すればよいため、画像Ｓ０のサイズを例えば拡大率として例えば１．１単位で段階的に拡大縮小する場合と比較して、演算時間を低減できる。また、図１２（ｂ）、（ｃ）に示すように回転している顔も識別することができる。
以下、図１３のフローチャートを参照しながらサンプル画像群の学習手法の一例を説明する。
学習の対象となるサンプル画像群は、顔であることが分かっている複数のサンプル画像と、顔でないことが分かっている複数のサンプル画像とからなる。なお、顔であることが分かっているサンプル画像は、上述したように１つのサンプル画像につき両目の中心位置が９，１０，１１画素であり、各距離において平面上±１５度の範囲にて３度単位で段階的に顔を回転させたものを用いる。各サンプル画像には、重み、すなわち重要度が割り当てられる。まず、すべてのサンプル画像の重みの初期値が等しく１に設定される（ステップＳＴ１）。
次に、サンプル画像における複数種類の画素群のそれぞれについて識別器が作成される（ステップＳＴ２）。ここで、それぞれの識別器とは、１つの画素群を構成する各画素における特徴量Ｃ０の組合せを用いて、顔の画像と顔で内画像とを識別する基準を提供するものである。本実施形態においては、１つの画素群を構成する各画素における特徴量Ｃ０の組合せについてのヒストグラムを識別器として使用する。
図１４を参照しながら、ある識別器の作成について説明する。図１４の左側のサンプル画像に示すように、この識別器を作成するための画素群を構成する各画素は、顔であることが分かっている複数のサンプル画像上における、右目の中心にある画素Ｐ１、右側の頬の部分にある画素Ｐ２、額の部分にある画素Ｐ３および左側の頬の部分にある画素Ｐ４である。そして顔であることが分かっているすべてのサンプル画像について全画素Ｐ１〜Ｐ４における特徴量Ｃ０の組合せが求められ、そのヒストグラムが作成される。ここで、特徴量Ｃ０は勾配ベクトルＫの方向および大きさを表すが、勾配ベクトルＫの方向は０〜３５９の３６０通り、勾配ベクトルＫの大きさは０〜２５５の２５６通りあるため、これをそのまま用いたのでは、組合せの数は１画素につき３６０×２５６通りの４画素分、すなわち（３６０×２５６）4通りとなってしまい、学習および検出のために多大なサンプルの数、時間およびメモリを要することとなる。このため、本実施形態においては、勾配ベクトルの方向を０〜３５９を０〜４４と３１５〜３５９（右方向、値：０），４５〜１３４（上方向値：１），１３５〜２２４（左方向、値：２），２２５〜３１４（下方向、値３）に４値化し、勾配ベクトルの大きさを３値化（値：０〜２）する。そして、以下の式を用いて組合せの値を算出する。
組合せの値＝０（勾配ベクトルの大きさ＝０の場合）
組合せの値＝（（勾配ベクトルの方向＋１）×勾配ベクトルの大きさ（勾配ベクトルの大きさ＞０の場合）
これにより、組合せ数が９4通りとなるため、特徴量Ｃ０のデータ数を低減できる。
同様に、顔でないことが分かっている複数のサンプル画像についても、ヒストグラムが作成される。なお、顔でないことが分かっているサンプル画像については、顔であることが分かっているサンプル画像上における上記画素Ｐ１〜Ｐ４の位置に対応する画素が用いられる。これらの２つのヒストグラムが示す頻度値の比の対数値を取ってヒストグラムで表したものが、図１４の一番右側に示す、識別器として用いられるヒストグラムである。この識別器のヒストグラムが示す各縦軸の値を、以下、識別ポイントと称する。この識別器によれば、正の識別ポイントに対応する特徴量Ｃ０の分布を示す画像は顔である可能性が高く、識別ポイントの絶対値が大きいほどその可能性は高まると言える。逆に、負の識別ポイントに対応する特徴量Ｃ０の分布を示す画像は顔でない可能性が高く、やはり識別ポイントの絶対値が大きいほどその可能性は高まる。ステップＳＴ２では、識別に使用され得る複数種類の画素群を構成する各画素における特徴量Ｃ０の組合せについて、上記のヒストグラム形式の複数の識別器が作成される。
続いて、ステップＳＴ２で作成した複数の識別器のうち、画像が顔であるか否かを識別するのに最も有効な識別器が選択される。最も有効な識別器の選択は、各サンプル画像の重みを考慮して行われる。この例では、各識別器の重み付き正答率が比較され、最も高い重み付き正答率を示す識別器が選択される（ステップＳＴ３）。すなわち、最初のステップＳＴ３では、各サンプル画像の重みは等しく１であるので、単純にその識別器によって画像が顔であるか否かが正しく識別されるサンプル画像の数が最も多いものが、最も有効な識別器として選択される。一方、後述するステップＳＴ５において各サンプル画像の重みが更新された後の２回目のステップＳＴ３では、重みが１のサンプル画像、重みが１よりも大きいサンプル画像、および重みが１よりも小さいサンプル画像が混在しており、重みが１よりも大きいサンプル画像は、正答率の評価において、重みが１のサンプル画像よりも重みが大きい分多くカウントされる。これにより、２回目以降のステップＳＴ３では、重みが小さいサンプル画像よりも、重みが大きいサンプル画像が正しく識別されることに、より重点が置かれる。
次に、それまでに選択した識別器の組合せの正答率、すなわち、それまでに選択した識別器を組み合わせて使用して各サンプル画像が顔の画像であるか否かを識別した結果が、実際に顔の画像であるか否かの答えと一致する率が、所定の閾値を超えたか否かが確かめられる（ステップＳＴ４）。ここで、組合せの正答率の評価に用いられるのは、現在の重みが付けられたサンプル画像群でも、重みが等しくされたサンプル画像群でもよい。所定の閾値を超えた場合は、それまでに選択した識別器を用いれば画像が顔であるか否かを十分に高い確率で識別できるため、学習は終了する。所定の閾値以下である場合は、それまでに選択した識別器と組み合わせて用いるための追加の識別器を選択するために、ステップＳＴ６へと進む。
ステップＳＴ６では、直近のステップＳＴ３で選択された識別器が再び選択されないようにするため、その識別器が除外される。
次に、直近のステップＳＴ３で選択された識別器では顔であるか否かを正しく識別できなかったサンプル画像の重みが大きくされ、画像が顔であるか否かを正しく識別できたサンプル画像の重みが小さくされる（ステップＳＴ５）。このように重みを大小させる理由は、次の識別器の選択において、既に選択された識別器では正しく識別できなかった画像を重要視し、それらの画像が顔であるか否かを正しく識別できる識別器が選択されるようにして、識別器の組合せの効果を高めるためである。
続いて、ステップＳＴ３へと戻り、上記したように重み付き正答率を基準にして次に有効な識別器が選択される。
以上のステップＳＴ３からＳＴ６を繰り返して、顔が含まれるか否かを識別するのに適した識別器として、特定の画素群を構成する各画素における特徴量Ｃ０の組合せに対応する識別器が選択されたところで、ステップＳＴ４で確認される正答率が閾値を超えたとすると、顔が含まれるか否かの識別に用いる識別器の種類と識別条件とが確定され（ステップＳＴ７）、これにより参照データＥ１の学習を終了する。
なお、上記の学習手法を採用する場合において、識別器は、特定の画素群を構成する各画素における特徴量Ｃ０の組合せを用いて顔の画像と顔でない画像とを識別する基準を提供するものであれば、上記のヒストグラムの形式のものに限られずいかなるものであってもよく、例えば２値データ、閾値または関数等であってもよい。また、同じヒストグラムの形式であっても、図１４の中央に示した２つのヒストグラムの差分値の分布を示すヒストグラム等を用いてもよい。
また、学習の方法としては上記手法に限定されるものではなく、ニューラルネットワーク等他のマシンラーニングの手法を用いることができる。
顔検出実行部３２２は、複数種類の画素群を構成する各画素における特徴量Ｃ０の組合せのすべてについて参照データＥ１が学習した識別条件を参照して、各々の画素群を構成する各画素における特徴量Ｃ０の組合せについての識別ポイントを求め、すべての識別ポイントを総合して顔を検出する。この際、特徴量Ｃ０である勾配ベクトルＫの方向は４値化され大きさは３値化される。本実施形態では、すべての識別ポイントを加算して、その加算値の正負および大小によって顔であるか否かを識別する。例えば、識別ポイントの総和が正の値である場合、顔であると判断し、負の値である場合には顔ではないと判断する。
ここで、画像Ｓ０のサイズは３０×３０画素のサンプル画像とは異なり、各種サイズを有するものとなっている可能性がある。また、顔が含まれる場合、平面上における顔の回転角度が０度であるとは限らない。このため、顔検出実行部３２２は、図１５に示すように、画像Ｓ０を縦または横のサイズが３０画素となるまで段階的に拡大縮小するとともに平面上で段階的に３６０度回転させつつ（図１５においては縮小する状態を示す）、各段階において拡大縮小された画像Ｓ０上に３０×３０画素サイズのマスクＭを設定し、マスクＭを拡大縮小された画像Ｓ０上において１画素ずつ移動させながら、マスク内の画像が顔の画像であるか否か（すなわち、マスク内の画像に対して得られた識別ポイントの加算値が正か負か）の識別を行う。そして、この識別を拡大縮小および回転の全段階の画像Ｓ０について行い、識別ポイントの加算値が正の値が得られた段階におけるサイズおよび回転角度の画像Ｓ０から、識別されたマスクＭの位置に対応する３０×３０画素の領域を顔領域として検出すると共に、この領域の画像を顔画像Ｓ１として画像Ｓ０から抽出する。なお、全ての段階において識別ポイントの加算値が負である場合には、画像Ｓ０に顔が無いと判定し、処理を終了する。
なお、参照データＥ１の生成時に学習したサンプル画像として両目の中心位置の画素数が９，１０，１１画素のものを使用しているため、画像Ｓ０を拡大縮小する時の拡大率は１１／９とすればよい。また、参照データＥ１の生成時に学習したサンプル画像として、顔が平面上で±１５度の範囲において回転させたものを使用しているため、画像Ｓ０は３０度単位で３６０度回転させればよい。
なお、第１の特徴量算出部３２１は、画像Ｓ０の拡大縮小および回転という変形の各段階において特徴量Ｃ０を算出している。
顔検出部３２は、このようにして画像Ｓ０からおおよその顔の位置および大きさを検出して、顔画像Ｓ１を得る。なお、顔検出部３２は、識別ポイントの加算値が正であれば顔が含まれると判定されるので、顔検出部３２においては、複数の顔画像Ｓ１が得られる可能性がある。
目検出部３４は、顔検出部３２により得られた顔画像Ｓ１から両目の位置を検出し、複数の顔画像Ｓ１から真の顔画像Ｓ２を得るものであり、図示のように、顔画像Ｓ１から特徴量Ｃ０を算出する第２の特徴量算出部３４１と、特徴量Ｃ０および第１のデータベース５２に記憶された参照データＥ２に基づいて目の位置の検出を実行する目検出実行部３４２とを備える。
本実施形態において、目検出実行部３４２により識別される目の位置とは、顔における目尻から目頭の間の中心位置（図４中×で示す）であり、図５（ａ）に示すように真正面を向いた目の場合においては瞳の中心位置と同様であるが、図５（ｂ）に示すように右を向いた目の場合は瞳の中心位置ではなく、瞳の中心から外れた位置または白目部分に位置する。
第２の特徴量算出部３４１は、画像Ｓ０ではなく、顔画像Ｓ１から特徴量Ｃ０を算出する点を除いて、図２に示す顔検出部３２における第１の特徴量算出部３２１と同じであるため、ここで、その詳細な説明を省略する。
第１のデータベース５２に記憶された参照データＥ２は、参照データＥ１と同じように、後述するサンプル画像から選択された複数画素の組合せからなる複数種類の画素群のそれぞれについて、各画素群を構成する各画素における特徴量Ｃ０の組合せに対する識別条件を規定したものである。
ここで、参照データＥ２の学習には、図１０に示すように両目の中心間距離が９．７，１０，１０．３画素であり、各距離において平面上±３度の範囲にて１度単位で段階的に顔を回転させたサンプル画像を用いている。そのため、参照データＥ１と比較して学習の許容度は小さく、精確に目の位置を検出することができる。なお、参照データＥ２を得るための学習は、用いられるサンプル画像群が異なる点を除いて、参照データＥ１を得るための学習と同じであるので、ここでその詳細な説明を省略する。
目検出実行部３４２は、顔検出部３２により得られた顔画像Ｓ１上において、複数種類の画素群を構成する各画素における特徴量Ｃ０の組合せのすべてについて参照データＥ２が学習した識別条件を参照して、各々の画素群を構成する各画素における特徴量Ｃ０の組合せについての識別ポイントを求め、すべての識別ポイントを総合して顔に含まれる目の位置を識別する。この際、特徴量Ｃ０である勾配ベクトルＫの方向は４値化され大きさは３値化される。
ここで、目検出実行部３４２は、顔検出部３２により得られた顔画像Ｓ１のサイズを段階的に拡大縮小するとともに平面上で段階的に３６０度回転させつつ、各段階において拡大縮小された顔画像上に３０×３０画素サイズのマスクＭを設定し、マスクＭを拡大縮小された顔上において１画素ずつ移動させながら、マスク内の画像における目の位置の検出を行う。
なお、参照データＥ２の生成時に学習したサンプル画像として両目の中心位置の画素数が９．０７，１０，１０．３画素のものを使用しているため、顔画像Ｓ１の拡大縮小時の拡大率は１０．３／９．７とすればよい。また、参照データＥ２の生成時に学習したサンプル画像として、顔が平面上で±３度の範囲において回転させたものを使用しているため、顔画像は６度単位で３６０度回転させればよい。
なお、第２の特徴量算出部３４１は、顔画像Ｓ１の拡大縮小および回転という変形の各段階において特徴量Ｃ０を算出する。
そして、本実施形態では、顔検出部３２により得られた全ての顔画像Ｓ１毎に、顔画像Ｓ１の変形の全段階においてすべての識別ポイントを加算し、最も大きい加算値が得られた顔画像Ｓ１の変形の段階における３０×３０画素のマスクＭ内の画像において、左上隅を原点とする座標を設定し、サンプル画像における目の位置の座標（ｘ１，ｙ１）、（ｘ２，ｙ２）に対応する位置を求め、変形前の当該顔画像Ｓ１におけるこの位置に対応する位置を目の位置として検出する。
目検出部３４は、このようにして、顔検出部３２により得られた顔画像Ｓ１から両目の位置をそれぞれ検出し、両目の位置と共に、両目の位置が検出された際の顔画像Ｓ１を真の顔画像Ｓ２としてフレームモデル構築部４０に出力する。
図３は、フレームモデル構築部４０の構成を示すブロック図である。フレームモデル構築部４０は、平均フレームモデルＳａｖと参照データＥ３とが記憶された第２のデータベース５４と、第２のデータベース５４に記憶された平均フレームモデルＳａｖと参照データＥ３とを用いて、目検出部３４により得られた顔画像Ｓ２における顔のフレームモデルＳｈを得るものであり、図３に示すように、平均フレームモデルＳａｖを顔画像Ｓ２に嵌め込むモデル嵌込部４２と、各ランドマークを識別するためのプロファイルを算出するプロファイル算出部４４と、プロファイル算出部４４により算出された輝度プロファイル、および参照データＥ３に基づいて平均フレームモデルＳａｖを変形させてフレームモデルＳｈを得る変形部４６とを備える。
ここで、フレームモデルを得るための統計モデルＡＳＭ（Ａｃｔｉｖｅ ｓｈａｐｅ ｍｏｄｅｌ）の手法について説明する。特許文献「特表２００４−５２７８６３号公報」や、非特許文献「Ｔ．Ｆ．Ｃｏｏｔｓ， Ａ．Ｈｉｌｌ， Ｃ．Ｊ．Ｔａｙｌｏｒ， Ｊ．Ｈａｓｌａｍ， “Ｔｈｅ Ｕｓｅ ｏｆ Ａｃｔｉｖｅ Ｓｈａｐｅ Ｍｏｄｅｌｓ ｆｏｒ Ｌｏｃａｔｉｎｇ Ｓｔｒｕｃｔｕｒｅｓ ｉｎ Ｍｅｄｉｃａｌ Ｉｍａｇｅｓ”， Ｉｍａｇｅ ａｎｄ Ｖｉｓｉｏｎ Ｃｏｍｐｕｔｉｎｇ， ｐｐ．２７６−２８６， １９９４」には、顔を構成する頬、目、口などのような、所定対象物の各構成部品の位置、形状、大きさを表すことができる統計モデルＡＳＭについての記載がなされている。ＡＳＭによる手法は、まず、図１７に示すように、所定対象物（図示の例では、顔となる）の各構成部品の位置、形状、大きさを示す複数のランドマークの位置を、複数の所定対象物のサンプル画像のそれぞれに対して指定することによって、それぞれのサンプル画像のフレームモデルを得る。フレームモデルは、ランドマークとなる点を所定のルールに従って接続してなるものであり、例えば、所定対象物が顔である場合、顔の輪郭線上の点、眉のライン上の点、目の輪郭線上の点、瞳の位置にある点、上下唇のライン上の点などがランドマークとして指定され、これらのランドマークのうち、顔の輪郭線上の点同士、唇のライン上の点同士などがそれぞれ接続されてなるフレームが、顔のフレームモデルとなる。複数のサンプル画像から得られたフレームモデルが、平均処理が施されて顔の平均フレームモデルが得られる。この平均フレームモデル上における各ランドマークの位置が、それぞれのサンプル画像における相対応するランドマークの位置の平均位置となる。例えば、顔に対して１３０個のランドマークを用い、これらのランドマークのうち、１１０番のランドマークは、顔における顎先端の位置を示す場合、平均フレームモデル上における１１０番のランドマークの位置は、各サンプル画像に対して指定された、顎先端の位置を示す１１０番のランドマークの位置を平均して得た平均位置である。ＡＳＭによる手法は、このようにして得た平均フレームモデルを、処理対象の画像に含まれる所定対象物に当てはめ、当てはめられた平均フレームモデル上における各ランドマークの位置を、処理対象の画像に含まれる所定対象物の各ランドマークの位置の初期値とすると共に、平均フレームモデルを処理対象の画像に含まれる所定対象物に合うように逐次変形（すなわち、平均フレームモデル上の各ランドマークの位置を移動）させることによって、処理対象の画像に含まれる所定対象物における各ランドマークの位置を得る。ここで、平均フレームモデルの変形について説明する。
前述したように、所定対象物を表すフレームモデルは、当該フレームモデル上の各ランドマークの位置により表されるため、２次元の場合、１つのフレームモデルＳは、下記の式（５）のように２ｎ（ｎ：ランドマークの個数）個の成分からなるベクトルによって表すことができる。

Ｓ＝（Ｘ１，Ｘ２，・・・，Ｘｎ，Ｘｎ＋１，Ｘｎ＋２，・・・，Ｘ２ｎ） （５）
但し，Ｓ：フレームモデル
ｎ：ランドマークの個数
Ｘｉ（１≦ｉ≦ｎ）：ｉ番目のランドマークの位置のＸ方向座標値
Ｘｎ＋ｉ（１≦ｉ≦ｎ）：ｉ番目のランドマークの位置のＹ方向座標値

また、平均フレームモデルＳａｖは、下記の式（６）のように表すことができる。

Figure 2007213378

各サンプル画像のフレームモデルと、これらのサンプル画像から得た平均フレームモデルＳａｖを用いて、下記の式（７）に示す行列を求めることができる。

Figure 2007213378

式（７）に示す行列から、Ｋ（１≦Ｋ≦２ｎ）個の固有ベクトルＰｊ（Ｐｊ１，Ｐｊ２，・・・，Ｐｊ（２ｎ））（１≦ｊ≦Ｋ）および各固有ベクトルＰｊにそれぞれ対応するＫ個の固有値λj（１≦ｊ≦Ｋ）が求められ、平均フレームモデルＳａｖの変形は、下記の式（８）に従って、固有ベクトルＰｊを用いて行われる。

Figure 2007213378

式（８）におけるΔＳは、各ランドマークの移動量を表すものであり、すなわち、平均フレームモデルＳａｖの変形は、各ランドマークの位置を移動させることによって行われる。また、式（８）から分かるように、各ランドマークの移動量ΔＳは、変形パラメータｂｊと固有ベクトルＰｊから求められるものであり、固有ベクトルＰｊは既に求められているので、平均フレームモデルＳａｖを変形させるために、変形パラメータｂｊを求める必要がある。ここで、変形パラメータｂｊの求め方について説明する。
変形パラメータｂｊを求めるために、まず、それぞれのランドマークを特定するための特徴量を、各サンプル画像の各ランドマークに対して求める。ここで、特徴量の例としてランドマークの輝度プロファイルを、ランドマークの例として上唇の凹点を示すランドマークを用いて説明する。上唇の凹点（すなわち上唇の中心点）を示すランドマーク（図１８（ａ）に示す点Ａ０）に対して、このランドマークの両側のランドマーク（図１８（ａ）中の点Ａ１、Ａ２）を結び線と垂直し、かつランドマークＡ０を通過する直線Ｌにおける、ランドマークＡ０を中心とする小範囲（例えば１１画素）内の輝度プロファイルを、ランドマークＡ０の特徴量として求める。図１８（ｂ）は、図１８（ａ）に示すランドマークＡ０の特徴量となる輝度プロファイルの例を示している。
そして、各サンプル画像の上唇凹点を示すランドマークの輝度プロファイルから、上唇凹点を示すランドマークを特定するための統括特徴量を求める。ここで、各サンプル画像における相対応するランドマーク（例えば各サンプル画像における上唇の凹点を示すランドマーク）の特徴量間は差があるものの、これらの特徴量はガウシアン分布を呈すると仮定して総括特徴量を求める。ガウシアン分布の仮定に基づいた統括特徴量の求め方は、例えば平均処理により方法を挙げることができる。すなわち、複数のサンプル画像毎に、各ランドマークの上記輝度プロファイルを求めると共に、相対応するランドマークの輝度プロファイルを平均して、該ランドマークの統括特徴量とする。すなわち、上唇の凹点を示すランドマークの統括特徴量は、複数のサンプル画像のそれぞれにおける上唇の凹点を示すランドマークの輝度プロファイルを平均して得たものとなる。
ＡＳＭは、処理対象の画像に含まれる所定対象物に合うように平均フレームモデルＳａｖを変形させる際に、画像中の、平均フレームモデルＳａｖ上のランドマークに対応する位置を含む所定の範囲において、該ランドマークの統括特徴量と最も相似する特徴量を有する点を検出する。例えば上唇の凹点の場合、画像中の、平均フレームモデルＳａｖにおける上唇の凹点を示すランドマークに対応する位置（第１の位置という）を含む、前述の小範囲より大きい範囲（画像中の、平均フレームモデルＳａｖにおける上唇の凹点を示すランドマークの両側のランドマークにそれぞれ対応する位置を結び線と垂直し、かつ第１の位置を通過する直線における、第１の位置を中心とする１１画素より多い例えば２１画素）内において、各画素をそれぞれ中心とする１１画素毎にその中心画素の輝度プロファイルを求め、これらの輝度プロファイルの中から、サンプル画像から求められた、上唇の凹点を示すランドマークの輝度プロファイルと最も相似する統括特徴量（すなわち平均輝度プロファイル）を検出する。そして、検出されたこの輝度プロファイルを有する位置（すなわち、この輝度プロファイルが求められた１１個の画素の中心の画素の位置）と、第１の位置との差に基づいて、平均フレームモデルＳａｖ上における上唇の凹点を示すランドマークの位置を移動させるべき移動量を求めて、この移動量から変形パラメータｂｊを算出する。具体的には、例えば、前述した差より小さい、例えばこの差の１／２の量を移動させるべき量として求め、この移動させるべき量から変形パラメータｂｊを算出する。
なお、平均フレームモデルＳａｖを変形させた後に得たフレームモデルにより顔を表すことができなくなることを防ぐために、変形パラメータｂｊを下記の式（９）に示すように、固有値λjを用いて限定することによってランドマークの位置の移動量を限定する。

Figure 2007213378

ＡＳＭは、このようにして、平均フレームモデルＳａｖ上における各ランドマークの位置を移動させて平均フレームモデルＳａｖを収束するまで変形させ、収束時における各ランドマークの位置により示される、処理対象の画像に含まれる所定対象物のフレームモデルを得る。
次に、第２のデータベース５４に記憶された平均フレームモデルＳａｖと参照データＥ３、フレームモデル構築部４０の各構成の詳細について説明する。
第２のデータベース５４に記憶された平均フレームモデルＳａｖは、複数の、顔であることが分かっているサンプル画像から得られたものである。本実施形態において、９０×９０画素サイズを有し、１つの顔の画像について両目の中心間の距離が３０画素となるように正規化されたサンプル画像を用いるとする。これらのサンプル画像に対して、まずオペレータにより図１７に示すような、顔の形状、鼻、口、目などの形状および位置関係を示すことができるランドマークの位置を指定する。例えば左目の目尻、左目の中心、左目の目頭、両目間の中心点、顎先端などをそれぞれ１番目、２番目、３番目、４番目、１１０番目のランドマークとするように、顔毎に１３０個のランドマークを指定する。そして、各サンプル画像における両目間の中心点を合わせた上で、相対応するランドマーク（すなわち同じ番号を有するランドマーク）の位置を平均して各ランドマークの平均位置を得る。このように得られた各ランドマークの平均位置によって、前述した式（６）の平均フレームモデルＳａｖが構成される。
また、第２のデータベース５４には、上記各サンプル画像および平均フレームモデルＳａｖから求められたＫ個（ランドマークの個数の２倍以下、ここでは２６０個以下例えば１６個）の固有ベクトルＰｊ（Ｐｊ１，Ｐｊ２，・・・，Ｐｊ（２０６））（１≦ｊ≦Ｋ）および各固有ベクトルＰｊにそれぞれ対応するＫ個の固有値λj（１≦ｊ≦Ｋ）も記憶されている。固有ベクトルＰｊおよび各固有ベクトルＰｊにそれぞれ対応する固有値λjの求め方は、従来技術に用いられた手法と同じであるので、ここで説明を省略する。
第２のデータベース５４に記憶された参照データＥ３は、顔上の各ランドマークに対して定義された輝度プロファイルおよび輝度プロファイルに対する識別条件を規定したものであり、複数のサンプル画像の顔における、該当するランドマークが示す位置であることが分かっている部位と、複数のサンプル画像の顔における、該当するランドマークが示す位置ではないことが分かっている部位の学習により、予め決められたものである。ここで、上唇の凹点を示すランドマークに対して定義された輝度ファイルに対する識別条件の取得を例にして説明する。
本実施形態において、参照データＥ３を生成する際に、平均フレームモデルＳａｖを得る際に使用されたサンプル画像と同じものを用いる。これらのサンプル画像は９０×９０画素サイズを有し、１つの顔の画像について両目の中心間の距離が３０画素となるように正規化されたものを用いる。上唇の凹点を示すランドマークに対して定義された輝度プロファイルは、図１８に示すように、このランドマークの両側のランドマークＡ１、Ａ２を結び線と垂直し、かつランドマークＡ０を通過する直線Ｌにおける、ランドマークＡ０を中心とする１１個の画素の輝度プロファイルであり、上唇の凹点を示すランドマークに対して定義された輝度プロファイルに対する識別条件を得るために、まず、各サンプル画像の顔に対して指定された上唇の凹点を示すランドマークの位置におけるプロファイルをそれぞれ算出する。そして、各サンプル画像の顔における、上唇の凹点以外の任意の位置（例えば目尻）を示すランドマークに対して、上唇の凹点を示すランドマークに対して定義された輝度プロファイルも算出する。
そして、後の処理時間を短縮するために、これらのプロファイルを多値化例えば５値化する。本実施形態において、分散値に基づいて輝度プロファイルを５値化する。この５値化は、具体的には、輝度プロファイルを形成する各輝度値（上唇の凹点のランドマークの輝度プロファイルの場合、この輝度プロファイルを取得する際に用いられた１１個の画素の輝度値）の分散値σを求めると共に、各輝度値の平均値Ｙａｖを中心にし、分散値単位に５値化を行うものである。例えば、（Ｙａｖ―（３／４）σ）以下の輝度値を０に、（Ｙａｖ−（３／４）σ）と（Ｙａｖ−（１／４）σ）間の輝度値を１に、（Ｙａｖ−（１／４）σ）と（Ｙａｖ＋（１／４）σ）間の輝度値を２に、（Ｙａｖ＋（１／４）σ）と（Ｙａｖ＋（３／４）σ）間の輝度値を３に、（Ｙａｖ＋（３／４）σ）以上の輝度値を４にするように５値化する。
上唇の凹点を示すランドマークのプロファイルを識別するための識別条件は、上記のような５値化された、各サンプル画像における上唇の凹点を示すランドマークのプロファイル（以下第１のプロファイル群という）と、上唇の凹点以外を示すランドマークに対して求められたプロファイル（以下第２のプロファイル群という）とに対して学習することによって得られる。
上記２種類のプロファイル画像群の学習手法は、顔検出部３２に用いられた参照データＥ１や、目検出部３４に用いられた参照データＥ２の学習手法と同じであるが、ここでその概略について説明する。
まず、識別器の作成について説明する。１つの輝度プロファイルを構成する要素としては、該輝度プロファイルを構成する各輝度値の組合せにより示される輝度プロファイルの形状とすることができ、輝度値が０、１、２、３、４の５通りあり、１つのプロファイルに含まれる画素が１１個をそのままを用いたのでは、輝度値の組合せが５１１通りとなり、学習および検出のために多大な時間およびメモリを要することとなる。このため、本実施形態においては、１つの輝度プロファイルを構成する複数の画素のうちの一部の画素のみを用いることとする。例えば、１１個の画素の輝度値から構成されたプロファイルの場合、その２番目、６番目、１０番目の画素の３つの画素を用いる。この３つの画素の輝度値の組合せは５３通りとなるため、演算時間の短縮およびメモリの節約を図ることができる。識別器の作成に当たり、まず、第１のプロファイル群における全てのプロファイルについて、上記輝度値の組合せ（（当該プロファイルを構成する画素の一部ここでは２番目、６番目、１０番目の３個の画素の輝度値の組合せ。以下同じ）が求められ、そしてヒストグラムが作成される。同様に、第２のプロファイル群に含まれる各プロファイルについても、同じヒストグラムが作成される。これらの２つのヒストグラムが示す頻度値の比の対数値を取ってヒストグラムで表したものが、ランドマークの輝度プロファイルの識別器として用いられるヒストグラムである。顔を検出する際に作られた識別器と同じように、この識別器によれば、該識別器のヒストグラムが示す各縦軸の値（識別ポイント）が正であれば、該識別ポイントに対応する輝度値分布を有するプロファイルの位置が上唇の凹点である可能性が高く、識別ポイントの絶対値が大きいほどその可能性が高まると言える。逆に識別ポイントが負であれば、該識別ポイントに対応する輝度値分布を有するプロファイルの位置が上唇の凹点ではない可能性が高く、やはり識別ポイントの絶対値が大きいほどその可能性が高まる。
上唇の凹点を示すランドマークの輝度プロファイルに対して、このようなヒストグラム形式の複数の識別器が作成される。
続いて、作成した複数の識別器のうち、上唇の凹点を示すランドマークであるか否かの識別に最も有効な識別器が選択される。ここで、ランドマークの輝度プロファイルを識別するための最も有効な識別器の選択手法は、識別対象がランドマークの輝度プロファイルである点を除いて、顔検出部３１に用いられた参照データＥ１中の識別器を作成する際に行われた選択の手法と同じであるため、ここで詳細な説明を省略する。
第１のプロファイル群と第２のプロファイル群に対する学習の結果、上唇の凹点を示すランドマークの輝度プロファイルであるか否かの識別に用いる識別器の種類と識別条件が確定される。
ここで、サンプル画像のランドマークの輝度プロファイルの学習方法は、アダブースティングの手法に基づいたマシンラーニング手法を用いたが、上記手法に限定されるものではなく、ニューラルネットワーク等他のマシンラーニングの手法を用いてもよい。
フレームモデル構築部４０の説明に戻る。図３に示すフレームモデル構築部４０は、画像Ｓ０から得られた顔画像Ｓ２が示す顔のフレームモデルを構築するために、まず、モデル嵌込部４２により、第２のデータベース５４に記憶された平均フレームモデルＳａｖを顔画像Ｓ２における顔に嵌め込む。平均フレームモデルＳａｖを嵌め込む際に、平均フレームモデルＳａｖにより示される顔と、顔画像Ｓ２における顔の向き、位置、大きさをできるだけ一致させることが望ましく、ここでは、平均フレームモデルＳａｖにおける、両目の中心点をそれぞれ表すランドマークの位置と、顔画像Ｓ２における、目検出部３４により検出された両目のそれぞれの位置とが一致するように、顔画像Ｓ２を回転および拡大縮小して、平均フレームモデルＳａｖの嵌め込みを行う。なお、ここで、平均フレームモデルＳａｖを嵌め込む際に回転および拡大縮小された顔画像Ｓ２は、以下顔画像Ｓ２ａという。
プロファイル算出部４４は、各ランドマークに対して定義された輝度プロファイルを、平均フレームモデルＳａｖ上における各ランドマークが対応する顔画像Ｓ２ａ上の位置にある画素を含む所定の範囲内における各画素の位置に対して輝度プロファイルを求めて、プロファイル群を得るものである。例えば、上唇の凹点を示すランドマークは１３０個のランドマーク中の８０番目のランドマークである場合、この８０番目のランドマークに対して定義された図１８に示すような輝度プロファイル（ここでは１１個の画素の輝度値の組合せであり、参照データＥ３に含まれている）を、平均フレームモデルＳａｖ上の８０番目のランドマークが対応する位置の画素（画素Ａとする）を中心とする所定の範囲内の各画素に対して求める。なお、「所定の範囲」は、参照データＥ３に含まれた輝度プロファイルを構成する輝度値に対応する画素の範囲より広い範囲を意味する。例えば、図１８に示すように、８０番目のランドマークの輝度プロファイルは、８０番目のランドマークの両側のランドマークを結んだ直線と垂直し、かつ８０番目のランドマークを通る直線Ｌ上における、８０番目のランドマークを中心とする１１画素の輝度プロファイルであるため、この「所定の範囲」は、この直線Ｌ上における、１１画素より広い範囲例えば２１画素の範囲とすることができる。この範囲内の各画素の位置において、該画素を中心とする連続する１１個の画素毎に輝度プロファイルが求められる。すなわち、平均フレームモデルＳａｖ上の１つ、例えば上唇の凹点のランドマークに対して、顔画像Ｓ２ａから２１個のプロファイルが求められ、プロファイル群として変形部４５に出力される。このようなプロファイル群は、各ランドマーク（ここでは１３０個のランドマーク）に対して取得される。なお、ここで、全てのプロファイルが５値化される。
図４は、変形部４６の構成を示すブロック図であり、図示のように、識別部４６１と、全体位置調整部４６２と、ランドマーク位置調整部４６３と、判断部４６４とを備える。
識別部４６１は、まず、プロファイル算出部４４により顔画像Ｓ２ａから算出された各ランドマークのプロファイル群毎に、該プロファイル群に含まれる各々のプロファイルが、当該ランドマークのプロファイルであるか否かを識別する。具体的には、１つのプロファイル群、例えば平均フレームモデルＳａｖ上の上唇の凹点を示すランドマーク（８０番目のランドマーク）に対して求められたプロファイル群に含まれる２１個のプロファイルのそれぞれに対して、参照データＥ３に含まれる、８０番目のランドマークの輝度プロファイルの識別器および識別条件を用いて識別を行って識別ポイントを求め、１つのプロファイルに対して各識別器による識別ポイントの総和が正である場合、該プロファイルが８０番目のランドマークのプロファイルである、すなわち該プロファイルの対応する画素（１１個の画素の中心画素、すなわち６番目の画素）が８０番目のランドマークを示す画素である可能性が高いとし、逆に１つのプロファイルに対して各識別器による識別ポイントの総和が負である場合、該プロファイルが８０番目のランドマークのプロファイルではない、すなわち該プロファイルの対応する画素が８０番目のランドマークではないとして識別する。そして、識別部４６１は、２１個のプロファイルのうち、識別ポイントの総和が正であり、かつ絶対値が最も大きいプロファイルの対応する中心画素を８０番目のランドマークとして識別する。一方、２１個のプロファイルのうち、識別ポイントの総和が正であるプロファイルが１つもない場合、２１個のプロファイルの対応する２１個の画素すべてが、８０番目のランドマークではないと識別する。
識別部４６１は、このような識別を各ランドマーク群に対して行い、ランドマーク群毎の識別結果を全体位置調整部４６２に出力する。
前述したように、目検出部３４は、サンプル画像と同じサイズ（３０画素×３０画素）のマスクを用いて両目の位置を検出するようにしているのに対し、フレームモデル構築部４０では、ランドマークの位置を精確に検出するために、９０画素×９０画素のサンプル画像から得た平均フレームモデルＳａｖを用いるので、目検出部３４により検出された両目の位置と平均フレームモデルＳａｖにおける両目の中心を示すランドマークの位置とを合わせるだけでは、ズレが残る可能性がある。
全体位置調整部４６２は、識別部４６による識別結果に基づいて、平均フレームモデルＳａｖの全体の位置を調整するものであり、具体的には平均フレームモデルＳａｖ全体を必要に応じて、直線的な移動、回転および拡大縮小をし、顔の位置、大きさ、向きと平均フレームモデルＳａｖにより表される顔の位置、大きさ、向きとをより一致させるようにし、前述したズレをさらに小さくするものである。具体的には、全体位置調整部４７は、まず、識別部４６１により得られたランドマーク群毎の識別結果に基づいて、平均フレームモデルＳａｖ上の各ランドマークをそれぞれ移動すべき移動量（移動量の大きさおよび方向）の最大値を算出する。この移動量例えば８０番目のランドマークの移動量の最大値は、平均フレームモデルＳａｖ上の８０番目のランドマークの位置が、識別部４６により顔画像Ｓ２ａから識別された８０番目のランドマークの画素の位置になるように算出される。
次いで、全体位置調整部４６２は、各ランドマークの移動量の最大値より小さい値、本実施形態においては、移動量の最大値の１／３の値を移動量として算出する。この移動量は各ランドマークに対して得られ、以下総合移動量としてベクトルＶ（Ｖ１，Ｖ２，・・・，Ｖ２ｎ）（ｎ：ランドマークの個数。ここでは１３０）で表すこととする。
全体位置調整部４６２は、このように算出された平均フレームモデルＳａｖ上の各ランドマークの移動量に基づいて、平均フレームモデルＳａｖに対して直線的な移動、回転および拡大縮小を行う必要性があるか否かを判定し、必要がある場合には該当する処理を行うと共に、調整された平均フレームモデルＳａｖが嵌め込まれた顔画像Ｓ２ａをランドマーク位置調整部４８に出力する。なお、必要がないと判定した場合、平均フレームモデルＳａｖの全体的な調整をせずに顔画像Ｓ２ａをそのままランドマーク位置調整部４６３に出力する。例えば、平均フレームモデルＳａｖ上の各ランドマークの移動量に含まれる移動の方向が同じ方向に向かう傾向を示す場合、この方向に平均フレームフレームＳａｖの全体の位置を直線的に移動させる必要があるように判定することができ、平均フレームモデルＳａｖ上の各ランドマークの移動量に含まれる移動の方向がそれぞれ異なるが、回転に向かう傾向を示す場合、この回転方向に平均フレームモデルＳａｖを回転させる必要があるように判定することができる。また、例えば平均フレームモデルＳａｖ上の、顔の輪郭上の位置を示す各ランドマークの移動量に含まれる移動方向が、全部顔の外側に向かう場合には、平均フレームモデルＳａｖを縮小する必要があると判定することができる。
全体位置調整部４６２は、このようにして平均フレームＳａｖの位置を全体的に調整し、調整された平均フレームモデルＳａｖが嵌め込まれた顔画像Ｓ２ａをランドマーク位置調整部４６３に出力する。ここで、全体位置調整部４６２の調整により各ランドマークが実際に移動された量（全体移動量という）をベクトルＶａ（Ｖ１ａ，Ｖ２ａ，・・・，Ｖ２ｎａ）とする。
ランドマーク位置調整部４６３は、全体的な位置調整が行われた平均フレームモデルＳａｖの各ランドマークの位置を移動することによって平均フレームモデルＳａｖを変形させるものであり、図４に示すように、変形パラメータ算出部４６３１と、変形パラメータ調整部４６３２と、位置調整実行部４６３３とを備える。変形パラメータ算出部４６３１は、まず、下記の式（１０）により各ランドマークの移動量（個別移動量という）Ｖｂ（Ｖ１ｂ，Ｖ２ｂ，・・・，Ｖ２ｎｂ）を算出する。

Ｖｂ＝Ｖ−Ｖａ （１０）
但し，Ｖ：総合移動量
Ｖａ：全体移動量
Ｖｂ：個別移動量

そして、変形パラメータ算出部４６３１は、前述した式（８）を用いて、第２のデータベース５４に記憶された固有ベクトルＰjと、式（１０）により求められた個別移動量Ｖｂ（式（８）中ΔＳに対応する）とを用いて、移動量Ｖｂが対応する変形パラメータｂｊを算出する。
そこで、平均フレームモデルＳａｖ上のランドマークの移動量が大き過ぎると、ランドマークが移動された後の平均フレームモデルＳａｖは顔を表すものではなくなるため、変形パラメータ調整部４６３２は、前述した式（９）に基づいて、変形パラメータ算出部４６３１により求められた変形パラメータｂｊを調整する。具体的には、式（９）を満たすｂｊの場合には、該ｂｊをそのままにすると共に、式（９）を満たさないｂｊの場合には、該ｂｊの値が式（９）に示される範囲内に納まるように（ここでは正負がそのまま、絶対値がこの範囲内の最大値となるように）当該変形パラメータｂｊを修正する。
位置調整実行部４６３３は、このようにして調整された変形パラメータを用いて、式（４）に従って平均フレームモデルＳａｖ上の各ランドマークの位置を移動させることによって平均フレームモデルＳａｖを変形させてフレームモデル（ここでＳｈ（１）とする）を得る。
判断部４６４は、収束か否かの判断を行うものであり、例えば変形前のフレームモデル（ここでは平均フレームモデルＳａｖ）と変形後のフレームモデル（ここではＳｈ（１））上の相対応するランドマークの位置間の差（例えば２つのフレームモデル上の８０番目のランドマークの位置間の差）の絶対値の総和を求め、この総和が所定の閾値以下である場合には収束したと判断し、変形後のフレームモデル（ここではＳｈ（１））を目的のフレームモデルＳｈとして出力する一方、この総和が所定の閾値より大きい場合には収束していないと判定し、変形後のフレームモデル（ここではＳｈ（１））をプロファイル算出部４２に出力する。後者の場合、プロファイル算出部４２による処理、識別部４６による処理と、全体位置調整部４６２による処理と、ランドマーク位置調整部４６３による処理は、前回の変形後のフレームモデル（Ｓｈ（１））と顔画像Ｓ２ａを対象としてもう一度行われて新しいフレームモデルＳｈ（２）が得られる。
このように、プロファイル算出部４４による処理から、識別部４６１による処理を経て、ランドマーク位置調整部４６３の位置調整実行部４６３３による処理までの一連の処理は、収束するまで繰り返される。そして、収束した際のフレームモデルは、目的のフレームモデルＳｈとして得られる。
図１６は、顔画像検出部３０およびフレームモデル構築部４０において行われる処理を示すフローチャートである。図示のように、まず、顔検出部３２および目検出部３４により画像Ｓ０に含まれる顔の検出を行い、画像Ｓ０に含まれる顔における両目の位置、および顔部分の画像Ｓ２を得る（ステップＳＴ１１，ＳＴ１２）。フレームモデル構築部４０のモデル嵌込部４２は、第２のデータベース５４に記憶された、複数の顔のサンプル画像から得られた平均フレームモデルＳａｖを、顔画像Ｓ２に嵌め込む（ステップＳＴ１３）。なお、嵌め込むのに際し、顔画像Ｓ２における両目の位置と、平均フレームモデルＳａｖにおける、両目の位置を示すランドマークの位置とが夫々一致するように、顔画像Ｓ２が回転、拡大縮小され、顔画像Ｓ２ａとなっている。プロファイル算出部４４は、平均フレームモデルＳａｖ上の各ランドマークについて、該ランドマークに対して定義された輝度プロファイルを、平均フレームモデルＳａｖ上の当該ランドマークが対応する位置を含む所定の範囲内の各画素に対して求め、平均フレームモデルＳａｖ上の１つのランドマークに対して、複数の輝度プロファイルからなるプロファイル群が得られる（ステップＳＴ１４）。
変形部４６の識別部４６１は、各プロファイル群対して、該プロファイル群（例えば平均フレームモデルＳａｖ上の８０番目のランドマークに対して求められたプロファイル群）内の各プロファイルのうちの、該プロファイル群の対応するランドマーク（例えば８０番目のランドマーク）に対して定義された輝度プロファイルであるプロファイルを識別し、このプロファイルが対応する画素の位置が、該プロファイル群の対応するランドマーク（例えば８０番目のランドマーク）の位置であると識別する。一方、１つのプロファイル群内のいずれのプロファイルも、該プロファイル群の対応するランドマークに対して定義された輝度プロファイルではないと識別した場合には、このプロファイル群に含まれる全てのプロファイルの夫々対応する画素の位置が、該プロファイル群の対応するランドマークの位置ではないと識別する（ステップＳＴ１５）。
ここで、識別部４６１の識別結果が全体位置調整部４６２に出力され、全体位置調整部４６２は、ステップＳＴ１５における識別部４６１の識別結果に基づいて、平均フレームモデルＳａｖ上の各ランドマークの総合移動量Ｖを求め、これらの移動量に基づいて、平均フレームモデルＳａｖ全体を必要に応じた直線的な移動、回転および拡大縮小をする。（ステップＳＴ１６）。なお、ステップＳＴ１６における全体的な位置調整によって平均フレームモデルＳａｖ上の各ランドマークの移動量は全体移動量Ｖａである。
ランドマーク位置調整部４６３の変形パラメータ算出部４６３１は、総合移動量Ｖと全体移動量Ｖ１との差分に基づいて各ランドマークの個々の移動量からなる個別移動量Ｖｂを求めると共に、この個別移動量Ｖｂに対応する変形パラメータを算出する（ステップＳＴ１７）。変形パラメータ調整部４６３２は、式（５）に基づいて、変形パラメータ算出部４６３１により算出された変形パラメータを調整して位置調整実行部６６３３に出力する（ステップＳＴ１８）。位置調整実行部４６３３は、ステップＳＴ１８において変形パラメータ調整部４６３２により調整された変形パラメータを用いて個々のランドマークの位置を調整し、フレームモデルＳｈ（１）を得る（ステップＳＴ１９）。
そして、フレームモデルＳｈ（１）と顔画像Ｓ２ａとを用いて、ステップＳＴ１４からステップＳＴ１９までの処理が行われ、フレームモデルＳｈ（１）上のランドマークを移動して得たフレームモデルＳｈ（２）が得られる。このように、ステップＳＴ１４からステップＳＴ１９までの処理が判断部４６４により収束したと判断されるまで繰り返され（ステップＳＴ２０：Ｎｏ、ステップＳＴ１４〜ＳＴ１９）、収束する際のフレームモデルが目的のフレームモデルＳｈとして得られる（ステップＳＴ２０：Ｙｅｓ、ステップＳＴ２１）。
図１９および図２０は、図１に示す実施形態の特定表情顔画像検索システムにおいて行われる処理を示すフローチャートであり、図１９は、事前に所定の人物の特定の表情の顔を含む画像を登録する画像登録処理を示すフローチャートであり、図２０は、画像登録処理後に行われる、複数の異なる画像の中から所定の人物の特定の顔の表情に類似した表情の顔を含む画像を検索する画像検索処理を示すフローチャートである。
はじめに、画像登録処理の流れについて説明する。まず、画像登録部１０は、ユーザから所定の人物の特定の表情の顔を含む画像Ｒ０の登録を受け付け、その画像Ｒ０をメモリ５０に保存する（ステップＳＴ３１）。画像Ｒ０が登録されると、顔画像検出部３０は、画像Ｒ０をメモリ５０から読み出し、画像Ｒ０に対して顔検出処理を行い、顔部分を含む顔画像Ｒ２を検出する（ステップＳＴ３２）。顔画像Ｒ２が検出されると、フレームモデル構築部４０が、顔画像Ｒ２に含まれる顔の特徴点を含むフレームモデルＳｈｒを得（ステップＳＴ３３）、このフレームモデルＳｈｒを所定の人物の特定の表情の顔を定義するモデルとしてメモリ５０に記憶させ、画像登録処理を終了する。
次に、画像検索処理の流れについて説明する。まず、画像入力部２０は、検索対象である複数の異なる画像Ｓ０が入力されると、それらの画像Ｓ０をメモリ５０に保存する（ステップＳＴ４１）。顔画像検出部３０は、複数の異なる画像Ｓ０のうちの１つを選択し（ステップＳＴ４２）、選択された画像Ｓ０をメモリ５０から読み出して、その画像Ｓ０に対して顔検出処理を行い、顔部分を含む顔画像Ｓ２をすべて検出する（ステップＳＴ４３）。フレームモデル構築部４０は、検出された顔画像Ｓ２のうちの１つを選択し（ステップＳＴ４４）、選択された顔画像Ｓ２に含まれる顔の特徴点を含むフレームモデルＳｈｓを得る（ステップＳＴ４５）。顔認証部６０は、登録顔画像Ｒ２のフレームモデルＳｈｒをデータベースから読み出し、このフレームモデルＳｈｒと、検出顔画像Ｓ２のフレームモデルＳｈｓとを比較して顔認証を行い（ステップＳＴ４６）、この検出顔画像Ｓ２が登録顔画像Ｒ２の顔の人物と同じ人物の顔の画像Ｓ３であるか否かを判定する（ステップＳＴ４７）。ここで、この検出顔画像Ｓ２が当該所定の人物の顔の画像Ｓ３であると判定された場合には、次のステップＳＴ４８に移って表情判定を行い、一方、この検出顔画像Ｓ２が当該所定の人物の顔の画像Ｓ３ではないと判定された場合には、ステップＳＴ５１に移行する。
ステップＳＴ４８では、登録顔画像Ｒ２のフレームモデルＳｈｒと検出顔画像Ｓ３のフレームモデルＳｈｓとをさらに詳しく比較して、登録顔画像Ｒ２の顔の特徴点と検出顔画像Ｓ３の顔の特徴点との間の位置的な相関を表す指標値Ｕを算出し、この指標値Ｕが所定の閾値Ｔｈ以上であるか否かを判定する（ステップＳＴ４９）。ここで、指標値Ｕが閾値Ｔｈ以上である場合には、この検出顔画像Ｓ３を登録した特定の表情に類似した表情の顔を含む画像Ｓ４であると判定して、選択されている画像Ｓ０を目的の画像、すなわち、上記の特定の表情に類似した表情の顔を含む画像Ｓ０′として選出し（ステップＳＴ５０）、一方、指標値Ｕが閾値Ｔｈ未満である場合には、ステップＳＴ５１に移行する。
ステップＳＴ５１では、次に選択すべき検出顔画像Ｓ２が存在するか否かを判定する。ここで、次に選択すべき検出顔画像Ｓ２が存在すると判定された場合には、ステップＳＴ４４に戻って新たな検出顔画像Ｓ２を選択し、一方、次に選択すべき検出顔画像Ｓ２が存在しないと判定された場合には、ステップＳＴ５２に移行する。
ステップＳＴ５２では、次に選択すべき検索対象の画像Ｓ０が存在するか否かを判定する。ここで、次に選択すべき検索対象の画像Ｓ０が存在すると判定された場合には、ステップＳＴ４２に戻って新たな画像Ｓ０を選択し、一方、次に選択すべき画像Ｓ０が存在しないと判定された場合には、これまでに選出された、特定の表情に類似した表情の顔を含む画像Ｓ０′を特定する情報を出力して、画像検索処理を終了する（ステップＳＴ５３）。
このように、本実施形態による特定表情顔画像検索システムによれば、所定の人物の特定の表情の顔を含む画像を予め登録しておき、その登録された画像における顔を構成する顔部品の輪郭を表す特徴点を含むフレームモデルを求めるとともに、検出対象の画像から顔を含む顔画像を検出し、その検出された顔画像における顔を構成する顔部品の輪郭を表す特徴点を含むフレームモデルを求め、これらフレームモデル同士を比較して、特徴点の位置的な相関を表す指標値を算出し、この指標値の大小に基づいて、検出された顔画像が、上記の特定の表情に類似した表情の顔を含むか否かを判定するようにしているので、検索の目的となる顔の表情を固定せずに、登録すればどのような表情の顔を含む画像であっても検索することができ、ユーザが望む表情の顔を含む画像を検索することができる。また、顔の特定の表情を一般化して定義した基準を用いて顔の表情を判定するのではなく、実際の人物の顔から抽出した特徴点を基準として表情を判定するので、人物毎の個性の違いによる表情のずれを抑えることも可能となる。
また、本実施形態では、顔の表情判定を行う前に顔認証を行って、検出された顔画像が登録された画像における所定の人物と同じ人物の顔を含む画像であるかを判定し、その所定の人物と同じ人物の顔を含む画像であると判定された画像に対してのみ、顔の表情判定を行うようにしているので、顔の表情だけでなく人物をも特定して画像を検索することができ、人物毎の個性の違いによる表情のずれをさらに抑えて検索することが可能である。
なお、本実施形態においては、登録画像Ｒ０が１つである場合について説明したが、もちろん複数の画像を登録し、それらのうちの何れか１つの画像の顔と表情が類似する顔が含まれる画像を検索するようにしてもよい。
また、本実施形態では、登録した特定の表情に類似した表情の顔を含む画像を検索するようにしているが、逆に、登録した特定の表情に類似した表情の顔を含まない画像を検索するようにしてもよい。
また、本実施形態において、登録する特定の表情としては、好みの表情だけでなく、気に入らない表情であってもよく、笑っている表情、泣いている表情、驚いている表情、怒っている表情等、どのような表情であってもよい。
次に、本発明の他の実施形態について説明する。
図２１は、本発明の実施形態による撮像装置の構成を示すブロック図である。なお、この撮像装置は、所定の人物が特定の表情で撮像されるように、撮像手段を制御する撮像装置であり、上記の特定表情顔画像検索システムに類似した機能が組み込まれている。
図２１に示すように、本実施形態による撮像装置は、撮像素子を用いた撮像手段１００と、所定の人物の特定の表情の顔を含む画像Ｒ０の登録を受け付ける画像登録部（画像登録手段）１０と、撮像手段１００による予備撮像によって得られた画像Ｓ０の入力を受け付ける画像入力部（画像入力手段）２０と（以下、画像Ｓ０を予備撮像画像Ｓ０とも言う）、登録画像Ｒ０から顔部分を含む顔画像Ｒ２を検出し（以下、顔画像Ｒ２を登録顔画像Ｒ２とも言う）、また、予備撮像画像Ｓ０から顔部分を含む顔画像Ｓ２をすべて検出する顔画像検出部（顔画像検出手段）３０と（以下、顔画像Ｓ２を検出顔画像Ｓ２とも言う）、登録顔画像Ｒ２における顔を構成する顔部品の輪郭を表す特徴点を含むフレームモデルＳｈｒを得、また、検出顔画像Ｓ２における顔を構成する顔部品の輪郭を表す特徴点を含むフレームモデルＳｈｓを得るフレームモデル構築部（顔特徴点抽出手段）４０と、フレームモデルＳｈｒの情報を記憶するメモリ５０と、検出顔画像Ｓ２に対して顔認証を行って、検出されたすべての検出顔画像Ｓ２の中から上記の所定の人物と同じ人物の顔を含む顔画像Ｓ３を選出する顔認証部（顔認証手段）６０と、選出された顔画像Ｓ３から抽出された特徴点を含むフレームモデルＳｈｓａと登録顔画像Ｒ２から抽出された特徴点を含むフレームモデルＳｈｒとを比較して、特徴点の位置に対する相関を表す指標値Ｕを算出する指標値算出部（指標値算出手段）７０と、指標値Ｕの大小に基づいて、選出された顔画像Ｓ３が、上記の特定の表情に類似した表情の顔を含むか否かを判定する表情判定部（表情判定手段）８０と、顔画像Ｓ３が特定の表情に類似した表情の顔を含むとの判定に応じて、撮像手段１００に対して本撮像を許可する制御を行う撮像制御部（撮像制御手段）１１０とを備える。
本実施形態における、画像登録部１０、顔画像検出部３０、フレームモデル構築部４０、メモリ５０、顔認証部６０、指標値算出部７０および表情判定部８０は、それぞれ、上記の特定表情顔画像検索システムの場合と同様の機能を有するものであり、ここでは詳細な説明を省略する。
本実施形態における画像入力部２０は、基本的に上記の特定表情顔画像検索システムの場合と同様の機能を有するものであるが、検索対象画像を入力するのではなく、撮像手段１００による予備撮像により取得された予備撮像画像Ｓ０を入力するものである。なお、予備撮像画像Ｓ０としては、例えば、撮像装置のシャッターボタンが半押しされたときに、オートフォーカス機能が働き、その直後に単発的に撮像された画像であってもよいし、動画的に所定の時間間隔で取得される時系列的なフレーム画像であってもよい。
撮像制御部１１０は、顔認証部６０において登録画像Ｒ０の所定の人物と同じ人物の顔を含むと判定された検出顔画像Ｓ２が、表情判定部８０により、登録顔画像Ｒ２の顔の特定の表情に類似した表情の顔を含むと判定された場合に、撮像手段に対して本撮像を許可する制御を行うものである。なお、この本撮像の許可は、当該許可が出されている間にユーザによるシャッターボタンの押下があった場合において本撮像を実行するものであってもよいし、当該許可が出されたときに本撮像を自動的に実行するものであってもよい。
図２２は、図２１に示す実施形態の撮像装置おいて行われる処理を示すフローチャートである。なお、この撮像装置では、事前に所定の人物の特定の表情の顔を含む画像を登録する画像登録処理が必要であるが、図１９に示す、上記の特定表情顔画像検索システムにおける画像登録処理と同様の処理なので、ここでは説明を省略する。
まず、撮像装置は、特定の表情の顔が撮像されるように支援する機能である「気に入り顔撮像モード」のＯＮ／ＯＦＦを判定する（ステップＳＴ６１）。ここで、「気に入り顔撮像モード」がＯＮであると判定された場合には、撮像手段１００が予備撮像を行い、画像入力部２０が、撮像手段１００による予備撮像により取得された予備撮像画像Ｓ０の入力を受け付け、その予備撮像画像Ｓ０をメモリ５０に保存する（ステップＳＴ６２）。一方、「気に入り顔撮像モード」がＯＦＦであると判定された場合には、ステップＳＴ７４に移行する。
予備撮像が行われると、顔画像検出部３０は、その予備撮像画像Ｓ０をメモリ５０から読み出して、その画像Ｓ０に対して顔検出処理を行い、顔部分を含む顔画像Ｓ２をすべて検出する（ステップＳＴ６３）。ここで、顔画像Ｓ２が検出されたか否かを判定し（ステップＳＴ６４）、検出された場合には、フレームモデル構築部４０が検出された顔画像Ｓ２のうちの１つを選択し（ステップＳＴ６５）、選択された顔画像Ｓ２に含まれる顔の特徴点を含むフレームモデルＳｈｓを得る（ステップＳＴ６６）。一方、顔画像Ｓ２が検出されなかった場合には、ステップＳＴ７４に移行する。
フレームモデルＳｈｓが取得されると、顔認証部５０は、登録顔画像Ｒ２のフレームモデルＳｈｒをデータベースから読み出し、このフレームモデルＳｈｒと、検出顔画像Ｓ２のフレームモデルＳｈｓとを比較して顔認証を行い（ステップＳＴ６７）、この検出顔画像Ｓ２が登録顔画像Ｒ２の所定の人物と同じ人物の顔の画像Ｓ３であるか否かを判定する（ステップＳＴ６８）。ここで、この検出顔画像Ｓ２が当該所定の人物の顔の画像Ｓ３であると判定された場合には、指標値算出部７０が、登録顔画像Ｒ２のフレームモデルＳｈｒと検出顔画像Ｓ３のフレームモデルＳｈｓとをさらに詳しく比較して、登録顔画像Ｒ２の顔の特徴点と検出顔画像Ｓ３の顔の特徴点との間の位置的な相関を表す指標値Ｕを算出する（ステップＳＴ６９）。一方、この検出顔画像Ｓ２が当該所定の人物の顔の画像Ｓ３ではないと判定された場合には、ステップＳＴ７３に移行する。
指標値Ｕが算出されると、表情判定部８０が、この指標値Ｕが所定の閾値Ｔｈ以上であるか否かを判定する（ステップＳＴ７０）。ここで、指標値Ｕが閾値Ｔｈ以上である場合には、この検出顔画像Ｓ３は登録した特定の表情に類似した表情の顔を含む画像Ｓ４であると判定され、撮像制御部１１０が撮像手段を制御して本撮像を実行し、取得した本撮像画像をメモリ５０に記憶する（ステップＳＴ７１）。本撮像が実行されると、「気に入り顔撮像モード」はＯＦＦに切り替えられ（ステップＳＴ７２）、さらに「気に入り顔撮像モード」をＯＮの状態で撮像したい場合には、改めて「気に入り顔撮像モード」を手動でＯＮにする必要がある。なお、本撮像後に「気に入り顔撮像モード」をＯＦＦにするこの処理は必須の処理ではない。一方、指標値Ｕが閾値Ｔｈ未満である場合には、ステップＳＴ７３に移行する。
ステップＳＴ７３では、次に選択すべき検出顔画像Ｓ２が存在するか否かを判定する。ここで、次に選択すべき検出顔画像Ｓ２が存在すると判定された場合には、ステップＳＴ６５に戻って新たな検出顔画像Ｓ２を選択し、一方、次に選択すべき検出顔画像Ｓ２が存在しないと判定された場合には、ステップＳＴ７５に移行する。
ステップＳＴ７４では、シャッターボタンが押下されているか否かを判定し、押下されていると判定された場合にはステップＳＴ７１に移行し、押下されていないと判定された場合にはステップＳＴ７５に移行する。
ステップＳＴ７５では、撮像処理を中断する要因があるか否かを判定し、中断する要因がないと判定された場合には、ステップＳＴ６１に戻って撮像処理を継続し、一方、中断する要因があると判定された場合には撮像処理を終了する。
このように、本実施形態による撮像装置によれば、予備撮像で得られた予備撮像画像に登録画像Ｒ０の顔の特定の表情に類似した表情の顔が含まれると判定された場合に、本撮像を実行するようにしているので、所望の表情の顔を含む画像を事前に登録しておけば、どのような表情であってもユーザの好みの表情の顔を自動で撮像することが可能となる。
なお、上記の手法を応用して、気に入らない表情の顔を含む画像を登録しておき、予備撮像画像に気に入らない表情の顔が含まれると判定された場合に、本撮像を許可しないようにすることもできる。
次に、本発明のさらに別の実施形態について説明する。
図２３は、本発明の実施形態による撮像装置の構成を示すブロック図である。なお、この撮像装置は、所定の人物が特定の表情で撮像されたときに、その旨を示す信号を発する撮像装置であり、上記の特定表情顔画像検索システムに類似した機能が組み込まれている。
図２３に示すように、本実施形態による撮像装置は、撮像素子を用いた撮像手段１００と、所定の人物の特定の表情の顔を含む画像Ｒ０の登録を受け付ける画像登録部（画像登録手段）１０と、撮像手段１００による撮像によって得られた画像Ｓ０の入力を受け付ける画像入力部（画像入力手段）２０と（以下、画像Ｓ０を撮像画像Ｓ０とも言う）、登録画像Ｒ０から顔部分を含む顔画像Ｒ２を検出し（以下、顔画像Ｒ２を登録顔画像Ｒ２とも言う）、また、撮像画像Ｓ０から顔部分を含む顔画像Ｓ２をすべて検出する顔画像検出部（顔画像検出手段）３０と（以下、顔画像Ｓ２を検出顔画像Ｓ２とも言う）、登録顔画像Ｒ２における顔を構成する顔部品の輪郭を表す特徴点を含むフレームモデルＳｈｒを得、また、検出顔画像Ｓ２における顔を構成する顔部品の輪郭を表す特徴点を含むフレームモデルＳｈｓを得るフレームモデル構築部（顔特徴点抽出手段）４０と、フレームモデルＳｈｒの情報を記憶するメモリ５０と、検出顔画像Ｓ２に対して顔認証を行って、検出されたすべての検出顔画像Ｓ２の中から登録顔画像Ｒ２の所定の人物と同じ人物の顔を含む顔画像Ｓ３を選出する顔認証部（顔認証手段）６０と、選出された顔画像Ｓ３から抽出された特徴点を含むフレームモデルＳｈｓａと登録顔画像Ｒ２から抽出された特徴点を含むフレームモデルＳｈｒとを比較して、特徴点の位置に対する相関を表す指標値Ｕを算出する指標値算出部（指標値算出手段）７０と、指標値Ｕの大小に基づいて、選出された顔画像Ｓ３が、登録顔画像Ｒ２における顔の特定の表情に類似した表情の顔を含むか否かを判定する表情判定部（表情判定手段）８０と、顔画像Ｓ３が登録した特定の表情に類似した表情の顔を含むとの判定に応じて、特定の表情に類似した表情の顔が撮像されたことを示す標識、音声、音、光等を出力する信号出力部（警告手段）１２０とを備える。
本実施形態における、画像登録部１０、顔画像検出部３０、フレームモデル構築部４０、メモリ５０、顔認証部６０、指標値算出部７０および表情判定部８０は、それぞれ、上記の特定表情顔画像検索システムの場合と同様の機能を有するものであり、ここでは詳細な説明を省略する。
本実施形態における画像入力部２０は、基本的に上記の特定表情顔画像検索システムの場合と同様の機能を有するものであるが、検索対象画像を入力するのではなく、撮像手段１００による撮像により取得された撮像画像Ｓ０を入力するものである。
信号出力部１２０は、顔認証部６０において登録画像Ｒ０の所定の人物と同じ人物の顔を含むと判定された検出顔画像Ｓ２が、表情判定部８０により、登録顔画像Ｒ２の顔の特定の表情に類似した表情の顔を含むと判定された場合に、特定の表情に類似した表情の顔が撮像されたことを示す、人間の五感にうったえる警告信号を出力するものであり、例えば、マークや記号等の表示、ランプの点灯、音声の出力、ブザー音の出力、バイブレーション等を行う。
図２４は、図２３に示す実施形態の撮像装置おいて行われる処理を示すフローチャートである。なお、この撮像装置では、事前に所定の人物の特定の表情の顔を含む画像を登録する画像登録処理が必要であるが、図１９に示す、上記の特定表情顔画像検索システムにおける画像登録処理と同様の処理なので、ここでは説明を省略する。
まず、ユーザの操作に応じて撮像手段１００により撮像が行われると、画像入力部２０が、撮像手段１００による撮像により取得された撮像画像Ｓ０の入力を受け付け、その予備撮像画像Ｓ０をメモリ５０に保存する（ステップＳＴ８１）。
顔画像検出部３０は、その撮像画像Ｓ０をメモリ５０から読み出して、その画像Ｓ０に対して顔検出処理を行い、顔部分を含む顔画像Ｓ２をすべて検出する（ステップＳＴ８２）。ここで、顔画像Ｓ２が検出されたか否かを判定し（ステップＳＴ８３）、検出された場合には、フレームモデル構築部４０が検出された顔画像Ｓ２のうちの１つを選択し（ステップＳＴ８４）、選択された顔画像Ｓ２に含まれる顔の特徴点を含むフレームモデルＳｈｓを得る（ステップＳＴ８５）。一方、顔画像Ｓ２が検出されなかった場合には、処理を終了する。
フレームモデルＳｈｓが取得されると、顔認証部５０は、登録顔画像Ｒ２のフレームモデルＳｈｒをデータベースから読み出し、このフレームモデルＳｈｒと、検出顔画像Ｓ２のフレームモデルＳｈｓとを比較して顔認証を行い（ステップＳＴ８６）、この検出顔画像Ｓ２が登録顔画像Ｒ２の所定の人物と同じ人物の顔の画像Ｓ３であるか否かを判定する（ステップＳＴ８７）。ここで、この検出顔画像Ｓ２が当該所定の人物の顔の画像Ｓ３であると判定された場合には、指標値算出部７０が、登録顔画像Ｒ２のフレームモデルＳｈｒと検出顔画像Ｓ３のフレームモデルＳｈｓとをさらに詳しく比較して、登録顔画像Ｒ２の顔の特徴点と検出顔画像Ｓ３の顔の特徴点との間の位置的な相関を表す指標値Ｕを算出する（ステップＳＴ８８）。一方、この検出顔画像Ｓ２が当該所定の人物の顔の画像Ｓ３ではないと判定された場合には、ステップＳＴ９１に移行する。
指標値Ｕが算出されると、表情判定部８０が、この指標値Ｕが所定の閾値Ｔｈ以上であるか否かを判定する（ステップＳＴ８９）。ここで、指標値Ｕが閾値Ｔｈ以上である場合には、この検出顔画像Ｓ３は登録した特定の表情に類似した表情の顔を含む画像Ｓ４であると判定され、信号出力部１２０が、特定の表情に類似した表情の顔が撮像されたことを示す信号を発し（ステップＳＴ９０）、処理を終了する。
ステップＳＴ９１では、次に選択すべき検出顔画像Ｓ２が存在するか否かを判定する。ここで、次に選択すべき検出顔画像Ｓ２が存在すると判定された場合には、ステップＳＴ８４に戻って新たな検出顔画像Ｓ２を選択し、一方、次に選択すべき検出顔画像Ｓ２が存在しないと判定された場合には、処理を終了する。
このように、本実施形態による撮像装置によれば、撮像で得られた撮像画像に登録画像Ｒ０の特定の表情に類似した表情の顔が含まれると判定された場合に、特定の表情に類似した表情の顔が撮像されたことを示す信号を発するようにしているので、撮像して得られた画像を確認しなくても、登録した特定の表情に類似した表情の顔が撮像されたか否かを知ることができ、撮像をスムーズに効率よく行うことができる。例えば、好みの表情の顔を含む画像を登録しておけば、好みの表情の顔が撮像されたときに、画像を確認せずにそのことを知ることができる。また、信号を発するだけなので、撮像手段を制御する場合と異なり、撮像そのものは自由に行えるという利点もある。
なお、本実施形態では、登録した特定の表情に類似した表情の顔が撮像されたときに信号を発するようにしているが、これとは逆に、登録した特定の表情に類似した表情の顔が撮像されなかったときに信号を発するようにしてもよい。
以上、本発明の望ましい実施形態について説明したが、本発明の方法および装置並びにそのためのプログラムは、上述した実施形態に限られることなく、本発明の主旨を逸脱しない限り、様々な増減、変化を加えることができる。
本発明の実施形態となる特定表情顔画像検索システムの構成を示すブロック図 顔画像検出部３０の構成を示すブロック図 フレームモデル構築部４０の構成を示すブロック図 フレームモデル構築部４０における変形部４６の構成を示すブロック図 目の中心位置を説明するための図 （ａ）は水平方向のエッジ検出フィルタを示す図、（ｂ）は垂直方向のエッジ検出フィルタを示す図 勾配ベクトルの算出を説明するための図 （ａ）は人物の顔を示す図、（ｂ）は（ａ）に示す人物の顔の目および口付近の勾配ベクトルを示す図 （ａ）は正規化前の勾配ベクトルの大きさのヒストグラムを示す図、（ｂ）は正規化後の勾配ベクトルの大きさのヒストグラムを示す図、（ｃ）は５値化した勾配ベクトルの大きさのヒストグラムを示す図、（ｄ）は正規化後の５値化した勾配ベクトルの大きさのヒストグラムを示す図 参照データＥ１の学習に用いられる顔であることが分かっているサンプル画像の例を示す図 参照データＥ２の学習に用いられる顔であることが分かっているサンプル画像の例を示す図 顔の回転を説明するための図 顔、目、目頭・目尻、口角、瞼特徴点および唇特徴点の検出に用いられる参照データの学習手法を示すフローチャート 識別器の導出方法を示す図 識別対象画像の段階的な変形を説明するための図 顔検出部３０およびフレーム構築部４０における処理を示すフローチャート 1つの顔に対して指定されるランドマークの例を示す図 ランドマークに対して定義される輝度プロファイルを説明するための図 画像登録処理の流れを示すフローチャート 特定表情顔画像検索システムにおいて行われる処理を示すフローチャート 本発明の実施形態となる撮像装置（その１）の構成を示すブロック図 撮像装置（その１）において行われる処理を示すフローチャート 本発明の実施形態となる撮像装置（その２）の構成を示すブロック図 撮像装置（その２）において行われる処理を示すフローチャート
符号の説明
１０ 画像登録部
２０ 画像入力部
３０ 顔画像検出部
３２ 顔検出部
３２１ 第１の特徴量算出部
３２２ 顔検出実行部
３４ 目検出部
３４１ 第２の特徴量算出部
３４２ 目検出実行部
４０ フレームモデル構築部
４２ モデル嵌込部
４４ プロファイル算出部
４６ 変形部
４６１ 識別部
４６２ 全体位置調整部
４６３ ランドマーク位置調整部
４６３１ 変形パラメータ算出部
４６３２ 変形パラメータ調整部
４６３３ 位置調整実行部
４６４ 判断部
５０ メモリ
５２ 第１のデータベース
５４ 第２のデータベース
６０ 顔認証部
７０ 指標値算出部
８０ 表情判定部
９０ 検索結果出力部
１００ 撮像手段
１１０ 撮像制御部
１２０ 信号出力部

Claims (24)

  1. 所定の人物の特定の表情の顔を含む画像の登録を受け付けるステップと、
    前記登録された画像における顔を構成する顔部品の輪郭を表す特徴点を抽出するステップと、
    検出対象画像の入力を受け付けるステップと、
    前記検出対象画像から顔を含む顔画像を検出するステップと、
    前記検出された顔画像における顔を構成する顔部品の輪郭を表す特徴点を抽出するステップと、
    前記検出された顔画像における顔から抽出された特徴点と前記登録された画像における顔から抽出された特徴点とを比較して、前記特徴点の位置に対する相関を表す指標値を算出するステップと、
    該指標値の大小に基づいて、前記検出された顔画像が、前記特定の表情に類似した表情の顔を含むか否かを判定するステップとを有することを特徴とする特定表情顔検出方法。
  2. 前記検出された顔画像に対して顔認証を行って、前記検出されたすべての顔画像の中から前記所定の人物と同じ人物の顔を含む顔画像を選出するステップをさらに有し、
    前記指標値を算出するステップが、前記選出された顔画像における顔から抽出された特徴点と前記登録された画像における顔から抽出された特徴点とを比較して、前記指標値を算出するものであり、
    前記判定するステップが、前記選出された顔画像が、前記特定の表情に類似した表情の顔を含むか否かを判定するものであることを特徴とする請求項１記載の特定表情顔検出方法。
  3. 前記検出対象画像の入力を受け付けるステップが、複数の異なる画像の入力を受け付けるものであり、
    前記顔画像を検出するステップ、前記検出された顔画像から特徴点を抽出するステップ、前記指標値を算出するステップおよび前記判定するステップが、前記複数の異なる画像の各画像毎に行われるものであり、
    前記複数の異なる画像のうち、前記特定の表情に類似した表情の顔を含むと判定された顔画像を含む画像を選出し、該選出された画像を特定する情報を出力するステップをさらに有することを特徴とする請求項１または２記載の特定表情顔検出方法。
  4. 前記検出対象画像が、撮像手段による撮像によって得られた画像であり、
    前記判定の結果に応じて、該結果を示す標識、音声、音、光のうち少なくとも１つを出力するステップをさらに有することを特徴とする請求項１または２記載の特定表情顔検出方法。
  5. 所定の人物の特定の表情の顔を含む画像の登録を受け付けるステップと、
    前記登録された画像における顔を構成する顔部品の輪郭を表す特徴点を抽出するステップと、
    撮像手段による予備撮像によって得られた予備撮像画像の入力を受け付けるステップと、
    前記予備撮像画像から顔を含む顔画像を検出するステップと、
    前記検出された顔画像における顔を構成する顔部品の輪郭を表す特徴点を抽出するステップと、
    前記検出された顔画像における顔から抽出された特徴点と前記登録された画像における顔から抽出された特徴点とを比較して、前記特徴点の位置に対する相関を表す指標値を算出するステップと、
    該指標値の大小に基づいて、前記検出された顔画像が、前記特定の表情に類似した表情の顔を含むか否かを判定するステップと、
    該判定の結果に応じて、前記撮像手段に対し本撮像を許可する制御を行うステップとを有することを特徴とする撮像制御方法。
  6. 前記検出された顔画像に対して顔認証を行って、前記検出されたすべての顔画像の中から前記所定の人物と同じ人物の顔を含む顔画像を選出するステップをさらに有し、
    前記指標値を算出するステップが、前記選出された顔画像における顔から抽出された特徴点と前記登録された画像における顔から抽出された特徴点とを比較して、前記指標値を算出するものであり、
    前記判定するステップが、前記選出された顔画像が、前記特定の表情に類似した表情の顔を含むか否かを判定するものであることを特徴とする請求項５記載の撮像制御方法。
  7. 前記本撮像を許可する制御を行うステップが、前記検出された顔画像が、前記特定の表情に類似した表情の顔を含むとの前記判定に応じて、該本撮像を許可する制御を行うものであることを特徴とする請求項５または６記載の撮像制御方法。
  8. 前記本撮像を許可する制御を行うステップが、前記検出された顔画像が、前記特定の表情に類似した表情の顔を含まないとの前記判定に応じて、該本撮像を許可する制御を行うものであることを特徴とする請求項５または６記載の撮像制御方法。
  9. 所定の人物の特定の表情の顔を含む画像の登録を受け付ける画像登録手段と、
    前記登録された画像における顔を構成する顔部品の輪郭を表す特徴点を抽出する第１の顔特徴点抽出手段と、
    検出対象画像の入力を受け付ける画像入力手段と、
    前記検出対象画像から顔を含む顔画像を検出する顔画像検出手段と、
    前記検出された顔画像における顔を構成する顔部品の輪郭を表す特徴点を抽出する第２の顔特徴点抽出手段と、
    前記検出された顔画像における顔から抽出された特徴点と前記登録された画像における顔から抽出された特徴点とを比較して、前記特徴点の位置に対する相関を表す指標値を算出する指標値算出手段と、
    該指標値の大小に基づいて、前記検出された顔画像が、前記特定の表情に類似した表情の顔を含むか否かを判定する表情判定手段とを備えたことを特徴とする特定表情顔検出装置。
  10. 前記検出された顔画像に対して顔認証を行って、前記検出されたすべての顔画像の中から前記所定の人物と同じ人物の顔を含む顔画像を選出する顔認証手段をさらに備え、
    前記指標値算出手段が、前記選出された顔画像における顔から抽出された特徴点と前記登録された画像における顔から抽出された特徴点とを比較して、前記指標値を算出するものであり、
    前記表情判定手段が、前記選出された顔画像が、前記特定の表情に類似した表情の顔を含むか否かを判定するものであることを特徴とする請求項９記載の特定表情顔検出装置。
  11. 前記画像入力手段が、複数の異なる画像の入力を受け付けるものであり、
    前記顔画像検出手段による顔画像の検出、前記第２の顔特徴点検出手段による特徴点の抽出、前記指標値算出手段による指標値の算出および前記表情判定手段による判定が、前記複数の異なる画像の各画像毎に行われるものであり、
    前記複数の異なる画像のうち、前記特定の表情に類似した表情の顔を含むと判定された顔画像を含む画像を選出し、該選出された画像を特定する情報を出力する出力手段をさらに備えたことを特徴とする請求項９または１０記載の特定表情顔検出装置。
  12. 前記検出対象画像が、撮像手段による撮像によって得られた画像であり、
    前記判定の結果に応じて、該結果を示す標識、音声、音、光のうち少なくとも１つを出力する警告手段をさらに備えたことを特徴とする請求項９または１０記載の特定表情顔検出装置。
  13. 所定の人物の特定の表情の顔を含む画像の登録を受け付ける画像登録手段と、
    前記登録された画像における顔を構成する顔部品の輪郭を表す特徴点を抽出する第１の顔特徴点抽出手段と、
    撮像手段による予備撮像によって得られた予備撮像画像の入力を受け付ける画像入力手段と、
    前記予備撮像画像から顔を含む顔画像を検出する顔画像検出手段と、
    前記検出された顔画像における顔を構成する顔部品の輪郭を表す特徴点を抽出する第２の顔特徴点抽出手段と、
    前記検出された顔画像における顔から抽出された特徴点と前記登録された画像における顔から抽出された特徴点とを比較して、前記特徴点の位置に対する相関を表す指標値を算出する指標値算出手段と、
    該指標値の大小に基づいて、前記検出された顔画像が、前記特定の表情に類似した表情の顔を含むか否かを判定する表情判定手段と、
    該判定の結果に応じて、前記撮像手段に対し本撮像を許可する制御を行う撮像制御手段とを備えたことを特徴とする撮像制御装置。
  14. 前記検出された顔画像に対して顔認証を行って、前記検出されたすべての顔画像の中から前記所定の人物と同じ人物の顔を含む顔画像を選出する顔認証手段をさらに備え、
    前記指標値算出手段が、前記選出された顔画像における顔から抽出された特徴点と前記登録された画像における顔から抽出された特徴点とを比較して、前記指標値を算出するものであり、
    前記表情判定手段が、前記選出された顔画像が、前記特定の表情に類似した表情の顔を含むか否かを判定するものであることを特徴とする請求項１３記載の撮像制御装置。
  15. 前記撮像制御手段が、前記検出された顔画像が、前記特定の表情に類似した表情の顔を含むとの前記判定に応じて、該本撮像を許可する制御を行うものであることを特徴とする請求項１３または１４記載の撮像制御装置。
  16. 前記撮像制御手段が、前記検出された顔画像が、前記特定の表情に類似した表情の顔を含まないとの前記判定に応じて、該本撮像を許可する制御を行うものであることを特徴とする請求項１３または１４記載の撮像制御装置。
  17. コンピュータを、
    所定の人物の特定の表情の顔を含む画像の登録を受け付ける画像登録手段と、
    前記登録された画像における顔を構成する顔部品の輪郭を表す特徴点を抽出する第１の顔特徴点抽出手段と、
    検出対象画像の入力を受け付ける画像入力手段と、
    前記検出対象画像から顔を含む顔画像を検出する顔画像検出手段と、
    前記検出された顔画像における顔を構成する顔部品の輪郭を表す特徴点を抽出する第２の顔特徴点抽出手段と、
    前記検出された顔画像における顔から抽出された特徴点と前記登録された画像における顔から抽出された特徴点とを比較して、前記特徴点の位置に対する相関を表す指標値を算出する指標値算出手段と、
    該指標値の大小に基づいて、前記検出された顔画像が、前記特定の表情に類似した表情の顔を含むか否かを判定する表情判定手段として機能させることにより、該コンピュータを特定表情顔検出装置として機能させることを特徴とするプログラム。
  18. 前記コンピュータを、前記検出された顔画像に対して顔認証を行って、前記検出されたすべての顔画像の中から前記所定の人物と同じ人物の顔を含む顔画像を選出する顔認証手段としてさらに機能させるものであり、
    前記指標値算出手段が、前記選出された顔画像における顔から抽出された特徴点と前記登録された画像における顔から抽出された特徴点とを比較して、前記指標値を算出するものであり、
    前記表情判定手段が、前記選出された顔画像が、前記特定の表情に類似した表情の顔を含むか否かを判定するものであることを特徴とする請求項１７記載のプログラム。
  19. 前記画像入力手段が、複数の異なる画像の入力を受け付けるものであり、
    前記顔画像検出手段による顔画像の検出、前記第２の顔特徴点検出手段による特徴点の抽出、前記指標値算出手段による指標値の算出および前記表情判定手段による判定が、前記複数の異なる画像の各画像毎に行われるものであり、
    前記コンピュータを、前記複数の異なる画像のうち、前記特定の表情に類似した表情の顔を含むと判定された顔画像を含む画像を選出し、該選出された画像を特定する情報を出力する出力手段としてさらに機能させることを特徴とする請求項１７または１８記載のプログラム。
  20. 前記検出対象画像が、撮像手段による撮像によって得られた画像であり、
    前記コンピュータを、前記判定の結果に応じて、該結果を示す標識、音声、音、光のうち少なくとも１つを出力する警告手段としてさらに機能させることを特徴とする請求項１７または１８記載のプログラム。
  21. コンピュータを、
    所定の人物の特定の表情の顔を含む画像の登録を受け付ける画像登録手段と、
    前記登録された画像における顔を構成する顔部品の輪郭を表す特徴点を抽出する第１の顔特徴点抽出手段と、
    撮像手段による予備撮像によって得られた予備撮像画像の入力を受け付ける画像入力手段と、
    前記予備撮像画像から顔を含む顔画像を検出する顔画像検出手段と、
    前記検出された顔画像における顔を構成する顔部品の輪郭を表す特徴点を抽出する第２の顔特徴点抽出手段と、
    前記検出された顔画像における顔から抽出された特徴点と前記登録された画像における顔から抽出された特徴点とを比較して、前記特徴点の位置に対する相関を表す指標値を算出する指標値算出手段と、
    該指標値の大小に基づいて、前記検出された顔画像が、前記特定の表情に類似した表情の顔を含むか否かを判定する表情判定手段と、
    該判定の結果に応じて、前記撮像手段に対し本撮像を許可する制御を行う撮像制御手段として機能させることにより、該コンピュータを撮像制御装置として機能させることを特徴とするプログラム。
  22. 前記コンピュータを、前記検出された顔画像に対して顔認証を行って、前記検出されたすべての顔画像の中から前記所定の人物と同じ人物の顔を含む顔画像を選出する顔認証手段としてさらに機能させるものであり、
    前記指標値算出手段が、前記選出された顔画像における顔から抽出された特徴点と前記登録された画像における顔から抽出された特徴点とを比較して、前記指標値を算出するものであり、
    前記表情判定手段が、前記選出された顔画像が、前記特定の表情に類似した表情の顔を含むか否かを判定するものであることを特徴とする請求項２１記載のプログラム。
  23. 前記撮像制御手段が、前記検出された顔画像が、前記特定の表情に類似した表情の顔を含むとの前記判定に応じて、該本撮像を許可する制御を行うものであることを特徴とする請求項２１または２２記載のプログラム。
  24. 前記撮像制御手段が、前記検出された顔画像が、前記特定の表情に類似した表情の顔を含まないとの前記判定に応じて、該本撮像を許可する制御を行うものであることを特徴とする請求項２１または２２記載のプログラム。
JP2006033555A 2006-02-10 2006-02-10 特定表情顔検出方法、撮像制御方法および装置並びにプログラム Withdrawn JP2007213378A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006033555A JP2007213378A (ja) 2006-02-10 2006-02-10 特定表情顔検出方法、撮像制御方法および装置並びにプログラム
US11/703,676 US20070189584A1 (en) 2006-02-10 2007-02-08 Specific expression face detection method, and imaging control method, apparatus and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006033555A JP2007213378A (ja) 2006-02-10 2006-02-10 特定表情顔検出方法、撮像制御方法および装置並びにプログラム

Publications (1)

Publication Number Publication Date
JP2007213378A true JP2007213378A (ja) 2007-08-23

Family

ID=38368525

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006033555A Withdrawn JP2007213378A (ja) 2006-02-10 2006-02-10 特定表情顔検出方法、撮像制御方法および装置並びにプログラム

Country Status (2)

Country Link
US (1) US20070189584A1 (ja)
JP (1) JP2007213378A (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010020594A (ja) * 2008-07-11 2010-01-28 Kddi Corp 瞳画像認識装置
JP2013196417A (ja) * 2012-03-21 2013-09-30 Dainippon Printing Co Ltd 画像表示装置、画像表示方法、およびプログラム
JP2014112347A (ja) * 2012-11-08 2014-06-19 Nec Corp 画像照合システム、画像照合方法、およびプログラム
JP2015141084A (ja) * 2014-01-28 2015-08-03 三菱重工業株式会社 画像補正方法、これを用いる検査方法及び検査装置
JP2016529612A (ja) * 2013-08-02 2016-09-23 エモティエント インコーポレイテッド 画像情動コンテンツに基づくフィルタ及びシャッター
JP2019009660A (ja) * 2017-06-26 2019-01-17 カシオ計算機株式会社 撮像制御装置、撮像制御方法及び撮像制御プログラム
JP2022513978A (ja) * 2018-12-26 2022-02-09 巽騰（広東）科技有限公司 表情グループに基づく操作決定方法、装置及び電子機器

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101364044B1 (ko) * 2007-04-13 2014-02-17 삼성전자주식회사 이동통신 단말기 및 그의 호에 따른 영상 표시 방법
US20110227923A1 (en) * 2008-04-14 2011-09-22 Xid Technologies Pte Ltd Image synthesis method
JP4659088B2 (ja) * 2008-12-22 2011-03-30 京セラ株式会社 カメラ付き携帯端末
US8416988B2 (en) * 2008-12-24 2013-04-09 David Matsumoto Systems and methods for analyzing facial expressions, identifying intent and transforming images through review of facial expressions
TW201039251A (en) * 2009-04-30 2010-11-01 Novatek Microelectronics Corp Facial expression recognition apparatus and facial expression recognition method thereof
CN101887513B (zh) * 2009-05-12 2012-11-07 联咏科技股份有限公司 表情检测装置及其表情检测方法
CN101635028A (zh) * 2009-06-01 2010-01-27 北京中星微电子有限公司 一种图像检测方法及装置
US8498455B2 (en) 2010-06-03 2013-07-30 Microsoft Corporation Scalable face image retrieval
JP5753966B2 (ja) * 2010-08-05 2015-07-22 パナソニックＩｐマネジメント株式会社 顔画像登録装置および方法
US8818131B2 (en) * 2010-08-20 2014-08-26 Adobe Systems Incorporated Methods and apparatus for facial feature replacement
JP5795847B2 (ja) * 2010-09-15 2015-10-14 キヤノン株式会社 画像処理装置および画像処理方法
US8923392B2 (en) 2011-09-09 2014-12-30 Adobe Systems Incorporated Methods and apparatus for face fitting and editing applications
JP5966657B2 (ja) * 2012-06-22 2016-08-10 カシオ計算機株式会社 画像生成装置、画像生成方法及びプログラム
US9141851B2 (en) 2013-06-28 2015-09-22 Qualcomm Incorporated Deformable expression detector
US9547808B2 (en) * 2013-07-17 2017-01-17 Emotient, Inc. Head-pose invariant recognition of facial attributes
US9104907B2 (en) * 2013-07-17 2015-08-11 Emotient, Inc. Head-pose invariant recognition of facial expressions
US20150046676A1 (en) * 2013-08-12 2015-02-12 Qualcomm Incorporated Method and Devices for Data Path and Compute Hardware Optimization
US9762950B1 (en) * 2013-09-17 2017-09-12 Amazon Technologies, Inc. Automatic generation of network pages from extracted media content
JP6624963B2 (ja) * 2016-02-12 2019-12-25 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US9875398B1 (en) * 2016-06-30 2018-01-23 The United States Of America As Represented By The Secretary Of The Army System and method for face recognition with two-dimensional sensing modality
CN108256505A (zh) * 2018-02-12 2018-07-06 腾讯科技（深圳）有限公司 图像处理方法及装置
CN110634174B (zh) * 2018-06-05 2023-10-10 深圳市优必选科技有限公司 一种表情动画过渡方法、系统及智能终端

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6879709B2 (en) * 2002-01-17 2005-04-12 International Business Machines Corporation System and method for automatically detecting neutral expressionless faces in digital images
JP2005044330A (ja) * 2003-07-24 2005-02-17 Univ Of California San Diego 弱仮説生成装置及び方法、学習装置及び方法、検出装置及び方法、表情学習装置及び方法、表情認識装置及び方法、並びにロボット装置
US7453506B2 (en) * 2003-08-25 2008-11-18 Fujifilm Corporation Digital camera having a specified portion preview section
US7911510B2 (en) * 2004-06-10 2011-03-22 Canon Kabushiki Kaisha Imaging apparatus using a key image in image retrieval or reading out

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010020594A (ja) * 2008-07-11 2010-01-28 Kddi Corp 瞳画像認識装置
JP2013196417A (ja) * 2012-03-21 2013-09-30 Dainippon Printing Co Ltd 画像表示装置、画像表示方法、およびプログラム
JP2014112347A (ja) * 2012-11-08 2014-06-19 Nec Corp 画像照合システム、画像照合方法、およびプログラム
JP2016529612A (ja) * 2013-08-02 2016-09-23 エモティエント インコーポレイテッド 画像情動コンテンツに基づくフィルタ及びシャッター
US10185869B2 (en) 2013-08-02 2019-01-22 Emotient, Inc. Filter and shutter based on image emotion content
JP2015141084A (ja) * 2014-01-28 2015-08-03 三菱重工業株式会社 画像補正方法、これを用いる検査方法及び検査装置
JP2019009660A (ja) * 2017-06-26 2019-01-17 カシオ計算機株式会社 撮像制御装置、撮像制御方法及び撮像制御プログラム
US10728437B2 (en) 2017-06-26 2020-07-28 Casio Computer Co., Ltd. Image capture control apparatus, image capture control method, and image capture control program
JP2022513978A (ja) * 2018-12-26 2022-02-09 巽騰（広東）科技有限公司 表情グループに基づく操作決定方法、装置及び電子機器

Also Published As

Publication number Publication date
US20070189584A1 (en) 2007-08-16

Similar Documents

Publication Publication Date Title
JP2007213378A (ja) 特定表情顔検出方法、撮像制御方法および装置並びにプログラム
US7920725B2 (en) Apparatus, method, and program for discriminating subjects
JP4414401B2 (ja) 顔特徴点検出方法および装置並びにプログラム
US9098760B2 (en) Face recognizing apparatus and face recognizing method
US7542591B2 (en) Target object detecting method, apparatus, and program
JP5629803B2 (ja) 画像処理装置、撮像装置、画像処理方法
US7599549B2 (en) Image processing method, image processing apparatus, and computer readable medium, in which an image processing program is recorded
US7995807B2 (en) Automatic trimming method, apparatus and program
JP4743823B2 (ja) 画像処理装置、撮像装置、画像処理方法
JP6544900B2 (ja) オブジェクト識別装置、オブジェクト識別方法及びプログラム
US20120082384A1 (en) Image processing apparatus, image processing method, and program
US20060147093A1 (en) ID card generating apparatus, ID card, facial recognition terminal apparatus, facial recognition apparatus and system
WO2005008593A1 (ja) 画像処理装置、撮像装置、画像処理方法
JP4795864B2 (ja) 特徴点検出装置および方法並びにプログラム
JP4690190B2 (ja) 画像処理方法および装置並びにプログラム
JP4816874B2 (ja) パラメータ学習装置、パラメータ学習方法、およびプログラム
JP4510562B2 (ja) 円中心位置検出方法および装置並びにプログラム
JP2006285959A (ja) 顔判別装置の学習方法、顔判別方法および装置並びにプログラム
JP4493448B2 (ja) 対象物識別装置および方法並びにプログラム
JP4541806B2 (ja) 対象物識別装置および方法並びにプログラム
JP2007025899A (ja) 画像処理装置、画像処理方法
JP2003228702A (ja) 撮影条件検出装置および撮影条件検出プログラム
Findling et al. Range face segmentation: Face detection and segmentation for authentication in mobile device range images
JP2005242641A (ja) トリミング用データ作成方法およびトリミング用データおよびトリミング処理システム

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20090512