JP2010117948A - 表情判定装置、その制御方法、撮像装置及びプログラム - Google Patents

Abstract

【課題】２つの顔パターン判定方法を切り替えることを可能とする。
【解決手段】撮像装置１００は、入力された画像データから検出された顔の表情を、第１の判定モード、又は、第１の判定モードと異なる第２の判定モードで判定する表情判定処理部６を備える。また、撮像装置１００は、表情判定処理部６の判定モードを、予め定められた判定条件に応じて第１の判定モード、又は、第２の判定モードのいずれかを表情判定処理部６に設定する制御回路１１を備える。
【選択図】図１

Description

本発明は、表情判定装置、その制御方法、撮像装置及びプログラムに関する。

従来から、人物が撮影された画像データから顔領域を検出し、検出された顔領域に含まれる顔の表情が笑顔に代表される特定の表情であるか否かを判定する方法が知られている。撮影された画像データの中の顔から特定の表情として笑顔を判定する方法は大別すると２つある。

１つ目の表情判定方法は、図１１（ａ）に示すように、１枚の画像Ｇ１に写っている顔から判定する方法である。この方法では、検出すべき特定の表情である笑顔の特徴量を含む笑顔データＤ１と照合することによって、画像Ｇ１に写っている顔が笑顔であるか否かを判定する。

２つ目の表情判定方法は、予め特定の表情の顔が写った画像を登録しておき、その登録された画像と判定したい顔が写った画像とを比較することで、その差分や類似度から特定の表情を判定する方法である。具体的には、図１１（ｂ）に示すように、予め登録された画像Ｇ２と、笑顔であるか否かを判定したい顔が写った画像Ｇ３の差分から笑顔の判定を行う。この方法では、事前に人物の無表情の顔を撮影して画像Ｇ２として登録しておく。そして、登録した画像Ｇ２と画像Ｇ３とを比較し、目尻や口角付近の変化量からその顔が笑顔であるか否かを判定する。

また、特許文献１には、類似度から特定の表情を判定する技術が開示されている。具体的には、予め特定の表情をした人物の画像を登録しておき、登録された画像及び人物の表情を検出する検出対象の画像から顔部品の輪郭を示す特徴点を抽出する。そして、抽出された特徴点の類似度から検出対象の画像の写った人物が特定の表情に類似しているか否かを検出する。
特開２００７−２１３３７８号公報

上述した１つ目の判定方法では、１枚の画像から判定を行うため検出速度は速いが、表情の変化が乏しい人であり、笑顔になったときの表情の変化が少ない人の場合は検出が困難となるため検出精度が低いという特徴がある。また、上述した２つ目の判定方法では、２枚の画像から判定を行うため検出速度が遅く、予め特定の表情をした人物の画像を登録する手間がかかるが、微少な変化であっても検出できるため検出精度が高いという特徴がある。

しかしながら、上記従来技術は、２つの表情判定方法を切り替えて行う仕組みが存在しておらず、状況に応じてそれぞれの特徴を生かすことができないため、使い勝手が悪いものであった。

本発明は、このような従来技術の課題を解決することを目的としてなされたものである。本発明の目的は、２つの表情判定方法を切り替え可能な表情判定装置、その制御方法及びプログラムの提供を目的とする。

上記目的は、入力された画像データから人物の顔を検出する検出手段を有し、検出した顔が所定の表情であるか否かを判定する表情判定装置であって、前記検出された顔を構成する顔部品の輪郭を表す特徴量を、当該顔部品ごとに抽出する抽出手段と、前記抽出手段により抽出された顔部品ごとの特徴量に基づいて、第１の判定モード、又は、前記第１の判定モードと異なる第２の判定モードのいずれかで、前記検出された顔が前記所定の表情であるか否かを判定する表情判定手段と、前記表情判定手段における判定モードを、予め定められた判定条件に応じて前記第１の判定モード、又は、前記第２の判定モードのいずれかを前記表情判定手段に設定する制御手段と、を備えることを特徴とする本発明による表情判定装置によって達成される。

また、上記目的は、入力された画像データから人物の顔を検出する検出手段を有し、検出した顔が所定の表情であるか否かを判定する表情判定装置の制御方法であって、前記検出された顔を構成する顔部品の輪郭を表す特徴量を、当該顔部品ごとに抽出する抽出工程と、前記抽出工程により抽出された顔部品ごとの特徴量に基づいて、第１の判定モード、又は、前記第１の判定モードと異なる第２の判定モードのいずれかで、前記検出された顔が前記所定の表情であるか否かを判定する表情判定工程と、前記表情判定工程における判定モードを、予め定められた判定条件に応じて前記第１の判定モード、又は、前記第２の判定モードのいずれかを前記表情判定工程に設定する制御工程と、を備えることを特徴とする本発明による表情判定装置の制御方法によっても達成される。

本発明によれば、２つの表情判定方法を切り替えることができる。

以下、この発明の実施の形態について図を参照して説明するが、この発明は以下の実施の形態に限定されない。また、この発明の実施の形態は発明の最も好ましい形態を示すものであり、発明の範囲を限定するものではない。

［第１の実施形態］
第１の実施形態では、人物の表情を検出する表情判定装置の例として、笑顔であるか否かを判定する撮像装置の構成を例示して説明する。図１は、第１の実施形態に係る撮像装置の概略構成を示すブロック図である。

図１に示すように、撮像装置１００では、レンズ系１によって被写体像を表す光線が集光され、ＣＣＤなどの撮像素子２に入射する。撮像素子２は、レンズ系１によって集光された被写体像を光電変換してアナログ映像信号を出力する。撮像素子２から出力されたアナログ映像信号はアナログ信号処理部３に入力される。アナログ信号処理部３は、入力されたアナログ映像信号に相関二重サンプリング等のアナログ信号処理を施す。アナログ信号処理の後、アナログ信号処理部３から出力されたアナログ映像信号は、Ａ／Ｄ変換部４においてデジタル映像信号に変換され、制御回路１１及びデジタル信号処理部５に入力される。

デジタル信号処理部５は、入力されたデジタル映像信号にガンマ補正、ホワイトバランス処理などのデジタル信号処理を施す。デジタル信号処理の後、デジタル信号処理部５から出力されたデジタル映像信号はメモリ７を介して表示部１０に送られる。なお、後述する笑顔判定処理モードが設定されている場合、デジタル信号処理部５は、デジタル信号処理後のデジタル映像信号を表情判定処理部６にも出力する。表情判定処理部６は、入力されたデジタル映像信号における画像から人物の顔領域を検出し、その検出された顔領域に含まれる顔の表情を判定する。なお、表情判定処理部６における判定処理の詳細は後述する。

メモリ７は、デジタル信号処理部５から出力されたデジタル映像信号などのデータを一時的に記憶するＲＡＭなどである。記憶制御部８は、メモリカードなどの外部メモリ９と着脱可能に接続するインターフェイス（図示しない）を介し、外部メモリ９へのデータの記録や外部メモリ９からのデータの読み出しを制御する。例えば、撮像素子２で被写体像を撮像してメモリ７に一時的に記憶された画像データは、記憶制御部８によりメモリ７から読み出されて、外部メモリ９に記録される。

表示部１０は、ＬＣＤなどであり入力されたデジタル映像信号に基づいた画像を表示する。具体的には、表示部１０は、撮像素子２で被写体像を撮像し、デジタル信号処理部５から出力されたデジタル映像信号により、表示画面上に被写体像を表示する。したがって、撮像装置１００は、撮像素子２で逐次撮像した被写体像を表示部１０の表示画面上に表示することで、電子ビューファインダ（ＥＶＦ）機能を提供する。

制御回路１１は、撮像装置１００の動作を中央制御する。具体的には、制御回路１１は、ＣＰＵ、ＲＯＭ、ＲＡＭなどを有しており、ＣＰＵがＲＯＭに記憶されたプログラムデータをＲＡＭの作業領域に展開して順次実行し、撮像装置１００の各部に制御信号を出力して各部を制御している。なお、制御回路１１が行う処理動作の詳細については後述する。また、制御回路１１は、Ａ／Ｄ変換部４から出力されたデジタル映像信号の輝度値やコントラスト値に基づいて、焦点調整を行うためにレンズ系１を駆動させるモータ（図示しない）の制御や、撮像素子２の露光時間を制御する。

操作部１２は、ユーザからの指示を受け付ける操作ボタンなどであり、操作指示に応じた信号を制御回路１１に出力する。具体的には、操作部１２は、撮影指示を受け付けるシャッターボタン、レンズ系１の動作モードに関する指示を受け付ける動作モードボタン、各種設定を受け付ける設定ボタンなどがある。例えば、操作部１２のシャッターボタンが押下された場合は、制御回路１１の制御の下、撮像素子２で被写体像が撮影されてメモリ７に撮影した画像データが一時記憶される。次いで、メモリ７に一時記憶された画像データは、記憶制御部８によって読み出され、外部メモリ９に記録されることとなる。

次に、制御回路１１の制御の下で行われる撮像装置１００の処理動作について説明する。以下で説明する処理動作は、操作部１２のシャッターボタンの押下に応じて開始される撮影動作である。すなわち、撮影動作では、制御手段としての制御回路１１の制御の下、Ｓ３６における笑顔判定に応じたＳ３７において、撮像手段としての撮像素子２での撮影と、その撮影した画像データの記録手段としての外部メモリ９への記録が行われることとなる。なお、上述した処理動作は、表示手段としての表示部１０でＥＶＦ表示を行っている際などに開始されてもよい。この場合は、制御手段としての制御回路１１の制御の下、Ｓ３６における笑顔判定に応じたＳ３７において、笑顔判定に応じた判定結果が表示部１０に表示出力されることとなる。図２は、撮像装置１００の処理動作を示すフローチャートである。

図２に示すように、処理が開始されると、制御回路１１は、操作部１２の動作モードボタンなどにより笑顔判定モードに設定されているか否かを判定する（Ｓ３０）。笑顔判定モードに設定されていない場合は、通常の撮影モードとしての処理が行われて処理動作が終了する。具体的には、制御回路１１は、Ｓ３７に処理を進め、撮像素子２で撮影した画像データを外部メモリ９に記録させて処理動作を終了する。

Ｓ３０で笑顔判定モードに設定されている場合、Ｓ３１で制御回路１１は、笑顔判定用の画像を撮像素子２で撮影して取得する。次いで、Ｓ３２において、表情判定処理部６は、Ｓ３１で取得した画像から人物の顔を検出する顔検出処理を行う。

Ｓ３２における顔検出処理では、撮影した画像から人物の顔領域を検出し、検出した一つ又は複数の顔情報（顔領域の位置、そのサイズ、信頼度など）が取得される。人物の顔検出方法は、公知の技術を適用可能であり、本発明とは直接関係しないため、詳細な説明は省略する。なお、公知の顔検出技術としては、ニューラルネットワークなどを利用した学習に基づく手法、テンプレートマッチングを用いて目、鼻、口等の形状に特徴のある部位を画像から探し出し、類似度が高ければ顔とみなす手法などがある。また、他にも、肌の色や目の形といった画像特徴量を検出し、統計的解析を用いた手法等、多数提案されている。一般的には、これらの手法を複数組み合わせ、顔検出の精度を向上させている。具体的な例としては特開２００２−２５１３８０号公報に記載されるような、ウエーブレット変換と画像特徴量を利用して顔検出する方法などが挙げられる。

次いで、Ｓ３３において、表情判定処理部６は、Ｓ３２で人物の顔が検出されたか否かを判定して判定結果を制御回路１１へ出力する。人物の顔が検出された場合にはＳ３４に処理が進み、制御回路１１は、表情判定処理部６で笑顔判定を行う際の笑顔判定方法（判定モード）を、メモリなどに予め設定された判定条件に従って選択する。具体的には、制御回路１１は、判定速度が速く判定精度が低い第１の判定モード、判定速度が遅く判定精度が高い第２の判定モードのうち、いずれか１つの判定モードを選択し、表情判定処理部６における判定モードの設定を行う。例えば、制御回路１１は、予め設定された判定条件が判定速度を優先する場合は第１の判定モードを設定し、その判定条件が判定精度を優先する場合は第２の判定モードを設定する。人物の顔が検出されなかった場合には、処理がＳ３１に戻って、新しい笑顔判定用の画像を撮像素子２で撮影して取得され、再びＳ３２で人物の顔の検出処理が行われることとなる。

本実施形態において、Ｓ３４では、１枚の画像に写っている顔から笑顔を判定する第１の判定モード、無表情の顔が写った画像と、笑顔を判定したい顔が写った画像との差分から笑顔を判定する第２の判定モードの２種類のうちの一方に設定される。なお、表情判定処理部６が行う笑顔判定方法の選択の詳細については後述する。

次いで、Ｓ３５において、制御回路１１は、Ｓ３４で選択された笑顔判定方法を用いて、Ｓ３１で取得された画像に含まれる人物の顔が笑顔であるか否かの判定処理を表情判定処理部６で行わせる。具体的には、Ｓ３５では、Ｓ３２で取得された顔情報と選択された笑顔判定方法とが表情判定処理部６に通知され、デジタル信号処理部５から出力されたデジタル映像信の画像に含まれる人物の顔についての判定処理が表情判定処理部６で行われる。次いで、Ｓ３６において、制御回路１１は、表情判定処理部６における判定処理の結果が笑顔であるか否かを判定する。Ｓ３６において笑顔である場合、制御回路１１は、Ｓ３７に処理を進め、撮像素子２で撮影した画像データを外部メモリ９に記録させて処理動作を終了する。Ｓ３６において笑顔でない場合、制御回路１１は、Ｓ３１に処理を戻し、再び笑顔判定用の画像の取得を行わせる。

ここで、制御回路１１の選択に応じて表情判定処理部６が行う２種類の笑顔判定方法について、詳細に説明する。１つ目の方法（第１の判定モード）は、１枚の画像に写っている顔から、その顔が笑顔であるか否かを判定する方法である。この方法では、判定対象の画像における顔を構成する顔部品の輪郭を表す特徴量を抽出するとともに、笑顔を一般化して定義した基準値との相関を表す指標値を算出し、この指標値の大小に基づいて、判定対象の顔画像が、笑顔に類似した顔かどうかを判定する。なお、笑顔を一般化して定義した基準は、多量の笑顔の画像を分析して、笑顔における顔部品の輪郭を表す特徴量のデータベースを作成することによって求めることができる。

図３は、１枚の画像に写っている顔から笑顔判定を行う処理動作を示すフローチャートである。図３に示すように、Ｓ４０において、表情判定処理部６には笑顔判定用の顔を含む顔画像が入力される。次いで、Ｓ４１において、抽出手段としての表情判定処理部６は、入力された顔画像から顔を構成する顔部品の輪郭を表す特徴量を抽出する。

次いで、Ｓ４２において、表情判定処理部６は、Ｓ４１で抽出した特徴量により、笑顔を一般化して定義した基準との相関を表す指標値を算出する。次いで、表情判定処理部６は、Ｓ４３において、Ｓ４２で算出された指標値の大小に基づいて顔画像に含まれた顔が笑顔であるか否かを判定して制御回路１１へ出力する。

２つ目の方法（第２の判定モード）は、無表情の顔（基準となる表情）が写った画像と、笑顔を判定したい顔が写った画像の差分から判定する方法である。この方法では、人物の無表情の顔を予め撮影して登録しておき、その登録された画像における顔を構成する顔部品の輪郭を表す特徴量を抽出する。次いで、笑顔判定対象の顔画像における顔を構成する顔部品の輪郭を表す特徴量を抽出し、その特徴量が無表情の顔の特徴量と比較して、どの程度変化したかに基づいて笑顔を判定する。

図４は、無表情の顔が写った画像と、笑顔を判定したい顔が写った画像と、の差分から笑顔判定を行う処理動作を示すフローチャートである。図４に示すように、Ｓ５１において、表情判定処理部６は、人物の無表情の顔が予め登録されているか否かを判定する。Ｓ５１において無表情の顔が予め登録されている場合、表情判定処理部６はＳ５２へ処理を進める。また、Ｓ５１において登録されていない場合、表情判定処理部６はＳ５６へ処理を進める。

Ｓ５６では、制御回路１１の制御の下、無表情顔を撮影する撮影処理行われ、人物の無表情の顔が撮影される。具体的には、制御回路１１の制御の下、表示部１０に無表情顔を撮影する旨のガイダンス表示などを行って人物の無表情顔の撮影を促し、操作部１２のシャッターボタンの操作に応じた撮影が行われる。あるいは、所定期間その人物の顔の画像を連続して撮影し、得られた顔の中から最も表情の小さいと思われる顔を無表情顔として登録するようにしてもよい。次いで、Ｓ５７ではＳ５６で撮影された人物の無表情の顔が表情判定処理部６に登録される。次いで、Ｓ５８では、その登録された表情の顔画像における顔を構成する顔部品の輪郭を表す特徴量が表情判定処理部６で抽出され、Ｓ５２に処理が進む。

Ｓ５２において、表情判定処理部６には笑顔判定用の顔を含む顔画像が入力される。次いで、Ｓ５３において、表情判定処理部６は、入力された顔画像から顔を構成する顔部品の輪郭を表す特徴量を抽出する。次いで、Ｓ５４において、表情判定処理部６は、Ｓ５３で笑顔判定用の顔を含む顔画像から抽出された特徴量と、予め登録されている無表情の顔の特徴量とを比較して、どの程度変化したかを示す変化量を算出する。次いで、Ｓ５５において、表情判定処理部６は、Ｓ５４で算出された変化量をもとに、顔画像に含まれた顔が笑顔であるか否かを判定して制御回路１１へ出力する。

次に、Ｓ３４において制御回路１１が行う笑顔判定方法の選択について詳細に説明する。前述した１枚の画像に写っている顔から判定する１つ目の方法では、判定速度は速いが、笑顔になったときの表情の変化が少ない人の場合は判定が困難であり、判定精度が低くなるという特徴がある。また、無表情の顔が写った画像と、笑顔を判定したい顔が写った画像の差分から判定する２つ目の方法では、判定精度は上がるが、無表情の顔の登録が面倒であることや、判定速度が遅くなるという特徴がある。以上のような、それぞれの笑顔判定方法の特徴をもとに、制御回路１１がどのように選択するかの選択例を以下に述べる。

例えば、撮影画像からＳ３２で顔検出を行った際に、複数の顔が検出された場合には、どの顔が登録されている無表情の顔に対応しているのか判断が困難であり、処理時間がかかるため、１枚の画像に写っている顔から判定する１つ目の方法を選択する。したがって、撮像画像から検出された顔の数を判定条件とし、複数の顔が検出された場合は第１の判定モードで表情判定を行う。具体的には、表情判定処理部６により複数の顔情報が検出された場合、制御回路１１は表情判定処理部６の笑顔判定方法を１つ目の方法に設定することで、判定時間を短縮させる。

また、検出された顔の位置が枚フレーム毎に大きく変化していて、被写体の動きが激しいと判断される場合には、時間がたつと、被写体がフレームアウトしたり、横や後ろを向いて顔検出できなくなる可能性が高い。したがって、Ｓ３２における顔検出を逐次行って、上述したケースを検出した場合には、笑顔判定をできるだけ速く行う必要があるため、１枚の画像に写っている顔から判定する１つ目の方法を選択する。したがって、逐次検出された顔の動き量の大きさを判定条件とし、その動き量が予め設定された基準の動き量より大きい場合は第１の判定モードで表情判定を行う。具体的には、動作検出手段としての表情判定処理部６により逐次入力された画像データに基づいて顔領域の動き量を検出し、その動き量が予め設定された閾値（基準動き量）より大きい場合、制御回路１１は表情判定処理部６の笑顔判定方法を１つ目の方法に設定する。よって、撮像装置１００は、被写体の動きに応じて判定モードを切り替えることができ、例え激しく動く被写体であっても的確な笑顔判定を行うことができる。

また、ユーザそれぞれで笑顔の程度は異なるのが実情である。同じ笑顔でも、口を閉じて微笑むユーザもいれば、口を大きく開けて歯が見えるくらいの笑顔をするユーザもいる。前者のようなユーザの場合、１枚の画像に写っている顔から判定する方法では、笑顔基準データとの相関がほとんど無く、笑顔と判定される可能性が低くなる。よって、この場合は、無表情の顔が写った画像と、笑顔を判定したい顔が写った画像の差分から判定する２つ目の方法を選択する。すなわち、逐次入力された複数の画像データに亘る顔部品ごとの特徴量の変化量の大きさを判定条件とし、その変化量が予め設定された基準の変化量より小さい場合は第２の判定モードで表情判定を行う。この方法では、無表情の顔との差分が少しでもあると検出できるため、笑顔のときに表情の変化が少ないユーザであっても、笑顔を検出することができる。具体的には、変化量検出手段としての表情判定処理部６により逐次入力された画像データに亘って抽出された顔部品ごとの特徴量の変化量を検出し、制御回路１１は検出された変化量から人物の表情がどの程度変化するかを監視する。そして、制御回路１１は、検出された変化量が予め設定された閾値（基準変化量）より小さく、表情の変化が少ない人物の場合は表情判定処理部６の笑顔判定方法を判定精度の高い２つ目の方法に設定する。よって、撮像装置１００は、人物の表情の変化に応じて判定モードを切り替えることができ、例え表情の変化が乏しい人物であっても的確な笑顔判定を行うことができる。

なお、上述した選択については、操作部１２の動作モードボタンなどによりユーザが自由に選択できるようにしてもよい。すなわち、ユーザから判定モードを指定する入力を操作部１２で受け付け、その入力内容を判定条件とし、上述した２種類の判定モードのうち、ユーザが所望する判定モードで人物の顔の笑顔判定が行われてもよい。その場合、笑顔を速く検出したいと思うユーザや、無表情の顔を予め登録しておくのが面倒だと感じるユーザは、１つ目の方法が設定されるため、その要求を満たすことができる。また、笑ってもあまり表情が変化しない人で判定を行う場合や、絶対に笑顔を撮り逃したくないと思われるシーンで判定精度を上げたい場合には２つ目の方法が設定されるため、その要求を満たすことができる。

［第２の実施形態］
第２の実施形態では、笑顔以外の顔パターンとして、目を瞑っている人物の顔であるか否かを判定する処理動作を例示して説明する。なお、本実施形態における撮像装置の構成などについては、前述した第１の実施形態と同様であり、表情判定処理部６の判定処理が目瞑り状態の顔を判定することが異なる。図５は、第２の実施形態に係る撮像装置１００の処理動作を示すフローチャートである。

図６に示すように、処理が開始されると、制御回路１１は、操作部１２の動作モードボタンなどにより目瞑り判定モードに設定されているか否かを判定する（Ｓ６０）。目瞑り判定モードに設定されていない場合は、通常の撮影モードとしての処理が行われて処理動作が終了する。具体的には、制御回路１１は、Ｓ６９に処理を進め、撮像素子２で撮影した画像データを外部メモリ９に記録させて処理動作を終了する。

Ｓ６０で目瞑り判定モードに設定されている場合、Ｓ６１で制御回路１１は、目瞑り判定用の画像を撮像素子２で撮影して取得する。次いで、Ｓ６２において、表情判定処理部６は、Ｓ６１で取得した画像から人物の顔を検出する顔検出処理をＳ３２と同様に行う。

次いで、Ｓ６３において、制御回路１１は、Ｓ６２で人物の顔が検出されたか否かを判定してその判定結果を１１へ出力する。人物の顔が検出された場合にはＳ６４に処理が進み、制御回路１１は、表情判定処理部６で目瞑り判定を行う際の判定方法（判定モード）を前述した判定条件に従って選択する。人物の顔が検出されなかった場合には、制御回路１１は処理動作を終了する。

Ｓ６４では、１枚の画像に写っている顔から判定する第１の判定モード、目が開いたときの顔が写った画像と、目を瞑っているかどうかを判定したい顔が写った画像との差分から判定する第２の判定モードの２種類のうち、どちらか一方の方法が選択される。なお、制御回路１１が行う判定方法の選択の詳細については後述する。

次いで、Ｓ６５において、制御回路１１は、Ｓ６４で選択された目瞑り判定方法を用いて、Ｓ６１で取得された画像に含まれる人物の顔が目を瞑っているか否かの判定処理を表情判定処理部６で行わせる。次いで、Ｓ６６において、制御回路１１は、表情判定処理部６における判定処理の結果が目を瞑っているか否かを判定する。Ｓ６６において目を瞑っていない場合、制御回路１１は、Ｓ６４に処理を進め、撮像素子２で撮影した画像データを外部メモリ９に記録させて処理動作を終了する。Ｓ６６において目を瞑っている場合、制御回路１１は、撮像素子２で撮影した画像データの消去、又は、表示部１０に警告を表示出力させて、ユーザへの警告を行う。

ここで、制御回路１１の選択に応じて表情判定処理部６が行う２種類の目瞑り判定方法について説明する。１つめの方法（第１の判定モード）は、前述した笑顔判定方法の１つ目の方法と同様、１枚の画像に写っている顔からその顔が目瞑り状態であるか否かを判定する方法である。この方法では、検出された顔の画像において、縦方向に伸びる中心軸を中心とした両側であって、目が存在すべきと考えられる２つの領域が検出される。次いで、検出された２つの領域内における黒色の割合（黒目の大きさ）が算出される。そして、算出された黒色の割合が所定以上の割合であれば、目が開いていると判断され、所定未満の割合であれば、目を瞑っていると判定される。

２つ目の方法（第２の判定モード）は、前述した笑顔判定方法の２つ目の方法と同様、目が開いたときの顔が写った画像と、目瞑りを判定したい顔が写った画像の差分から判定する方法である。この方法では、人物の目が開いたときの顔を予め撮影して登録しておき、１つ目の方法と同様に、目が存在すべきと考えられる２つの領域における黒色の割合を算出する。次いで、算出された黒色の割合と、目が開いたときの黒色の割合とを比較して、どの程度変化したかに基づいて、目瞑りを判定する。

次に、Ｓ６４において制御回路１１が行う目瞑り判定方法の選択について詳細に説明する。前述した１枚の画像に写っている顔から判定する１つ目の方法では、検出速度は速いが、目が開いているときと、目を瞑ったときとの変化が少ない人の場合は判定が困難であり、判定精度が低くなるという特徴がある。また、目が開いたときの顔が写った画像と、目瞑りを判定したい顔が写った画像の差分から判定する２つ目の方法では、判定精度は上がるが、目が開いたときの顔の登録が面倒であることや、判定速度も遅くなるという特徴がある。以上のような、それぞれの目瞑り判定方法の特徴をもとに、制御回路１１がどのように選択するかの選択例を以下に述べる。

例えば、撮影画像からＳ６２で顔検出を行った際に複数の顔が検出された場合は、どの顔が登録されている目が開いたときの顔に対応しているのか判断が困難であり、処理時間がかかるため、１つ目の方法を選択して設定する。よって、撮像装置１００では、撮像画像に複数の顔が含まれる場合であっても、笑顔判定にかかる判定時間の増加を防止できる。

また、もともと目が細い人のように、目が開いているときと、目を瞑ったときとの変化が少ない人の場合は、目を開いたときの顔が写った画像と、目瞑りを判定したい顔が写った画像の差分から判定する２つ目の方法を選択して設定する。この方法では、目を開いたときの顔との差分が少しでもあると検出できるため、目が細い人物であっても、目瞑りを検出することができる。よって、撮像装置１００では、撮像画像に目が細い人物の顔が含まれる場合であっても、的確な目瞑り判定を行うことができる。

なお、上述した判定条件については、操作部１２の動作モードボタンなどによりユーザが自由に選択できるようにしてもよい。すなわち、ユーザから判定モードを指定する入力を操作部１２で受け付け、上述した２種類の目瞑り判定モードのうち、ユーザが所望する判定モードで人物の顔の目瞑り判定を行うようにしてよい。その場合、目瞑りを速く検出したいと思うユーザや、目が開いたときの顔を予め登録しておくのが面倒だと感じるユーザは、１つ目の方法が設定されるため、その要求を満たすことができる。また、目の細い人で判定を行う場合や、絶対に目瞑りを見逃したくないと思われるシーンで判定精度を上げたい場合には２つ目の方法が設定されるため、その要求を満たすことができる。

以上のように、撮像装置１００は、撮影した画像から笑顔などの表情を判定する際に、２つの表情判定方法を切り替えて行うことができるため、状況に応じてそれぞれの表情判定方法が有する特徴を生かすことができる。

［第３の実施形態］
次に、第３の実施形態について説明する。本実施形態に係る撮像装置は、表情判定処理部の構成以外、前述した第１、第２の実施形態と同一である。以下の説明では、前述した実施形態と異なる表情判定処理部について詳細に述べる。図６は、第３の実施形態に係る表情判定処理部６ａの概略構成を示すブロック図である。

図６に示すように、表情判定処理部６ａは、画像入力部６１より入力されたデジタル映像信号における画像から人物の顔領域を検出し、その検出された顔領域に含まれる顔の表情を判定して、その判定結果を結果出力部６９より出力している。顔検出部６２は、画像入力部６１により入力された画像に含まれる人物の顔の位置やサイズを検出する。顔検出部６２における顔検出は、前述した既知の方法で行われる。

シーン変化検出部６３は、顔検出部６２により検出された顔の位置やサイズにより、入力された画像のシーンが変化したか否かを検出し、変化したと判定した場合には後述する記憶部６６に記憶された無表情画像の特徴量を消去する。本実施形態では、シーン変化検出部６３は、逐次入力された画像から検出された顔の位置やサイズにより、特に表情検出の対象とする人物が変わった場合をシーン変化として検出する。

顔検出部６２により検出された顔について、特徴量抽出部６４は、顔を構成する顔部品（目、鼻、口の位置など表情により変化する部位）の輪郭を表す特徴量を抽出し、抽出した特徴量を記憶部６６に記憶させる。例えば、特徴量抽出部６４は、図７（ａ）、図７（ｂ）に示したように、顔Ｆａ、Ｆｂの各パーツ（目、鼻、口など）の輪郭を抽出し、その輪郭に沿った位置の特徴点Ｆ１〜Ｆ２３を抽出する。

表情判定処理部６ａでは、特徴量抽出部６４により抽出された特徴量を用いて人物の顔の表情を判定するが、表情判定は制御部６０により制御される。制御部６０は、無表情判定部６５において、上記抽出した人物の顔が無表情であるか否かを判定させ、無表情である場合はその特徴量を記憶部６６に記憶させる。無表情判定部６５では、抽出した人物の顔の顔部品ごとの特徴量が、無表情の顔の顔部品ごとの特徴量を示す基準データに類似する場合であり、抽出した人物の顔と基準データが示す無表情の顔の輪郭が類似する場合に無表情であると判定する。また、記憶部６６には、基準となる表情の顔を構成する顔部品ごとの特徴量を示す、例えば笑顔を一般化して定義した基準値が予め記憶されている。したがって、記憶部６６は、基準となる表情の顔を構成する顔部品ごとの特徴量を予め記憶するとともに、抽出した無表情の顔の特徴量を記憶する基準表情記憶手段である。

次に、制御部６０は、記憶部６６に無表情画像の特徴量が記憶されていない場合、特徴量抽出部６４で抽出された特徴量と、記憶部６６に予め記憶された笑顔を一般化して定義した基準値とに基づいた表情判定を第１表情判定部６７で実施させる。第１表情判定部６７は、現時点で検出された顔の特徴量のみを用いた表情の判定、すなわち、第１の実施形態における１つ目の方法による表情判定を行う。

また、制御部６０は、記憶部６６に無表情画像の特徴量が記憶されている場合、その無表情画像の特徴量と、特徴量抽出部６４で検出されて記憶部６６に記憶された特徴量とに基づいた表情判定を第２表情判定部６８で実施させる。第２表情判定部６８では、無表情画像の特徴量と現時点で検出された顔の特徴量とを用いたその差分による表情判定、すなわち、第１の実施形態における２つ目の方法による表情判定を行う。結果出力部６９は、第１表情判定部６７又は第２表情判定部６８の判定結果を出力する。表情判定処理部６ａでは、画像入力部６１へ順次入力される画像について、上述した処理を繰り返して行うことで、表情判定を継続して行う。

次に、表情判定処理部６ａの処理動作を図８を参照してさらに詳細に説明する。図８に示すように、表情判定処理部６ａは、Ｓ８１において、画像入力部６１より表情判定を行う画像を入力する。次いで、表情判定処理部６ａは、Ｓ８２において、入力された画像に含まれる人物の顔を顔検出部６２により検出する。

次いで、表情判定処理部６ａは、Ｓ８３において、判別手段としてのシーン変化検出部６３で、別人物の顔に切り替わったか否かのシーン変化の検出を以下のように行う。今回検出した顔の大きさＳｉ及び位置（Ｐｘ，Ｐｙ）と、その直前に検出した顔の大きさＳｉ’及び位置（Ｐｘ’，Ｐｙ’）と、予め設定された閾値ＴＨｓ及びＴＨｐとを次式のように比較する。
｜Ｓｉ−Ｓｉ’｜＜ＴＨｓ
かつ
（Ｐｘ−Ｐｘ’）^２＋（Ｐｙ−Ｐｙ）^２＜ＴＨｐ

上式が満たされる場合、表情判定処理部６ａは、逐次入力された画像において、顔のサイズの変化も少なく（ＴＨｓ未満）、顔の位置の変化も少ない（ＴＨｐ未満）ことから、同一人物の顔であると判定し、シーン変化がなかったものと判定する。また、上式が満たされない場合、表情判定処理部６ａは、逐次入力された画像において、顔のサイズの変化が大きく、顔の位置の変化が大きいことから、シーン変化があったと判定する。シーン変化があったと判定した場合、表情判定処理部６ａは、記憶部６６に記憶されている無表情顔の特徴量を消去する。したがって、表情判定処理部６ａでは、シーン変化を判定することにより、別人の無表情顔と表情を比較して表情を誤判定することを避けることが可能となる。

次いで、表情判定処理部６ａは、Ｓ８４において、顔検出部６２で検出された人物の顔について、その特徴量を特徴量抽出部６４で検出する。次いで、表情判定処理部６ａは、Ｓ８５において、顔検出部６２で検出された人物の顔が無表情であるか否かを無表情判定部６５により次のように判定する。

図７（ａ）と図７（ｂ）との比較により明らかなように、笑顔である顔Ｆｂでは、口角にあたる特徴点Ｆ６、７が上がる、目尻にあたる特徴点Ｆ８、Ｆ１４が下がるといった特徴がある。また、人物の顔において、特徴点Ｆ４と特徴点Ｆ１０（又は特徴点Ｆ１２）とは比較的表情による変化が小さい特徴がある。したがって、比較的表情による変化が小さい特徴点Ｆ４と特徴点Ｆ１０（又は特徴点Ｆ１２）の距離、特徴点Ｆ６と特徴点Ｆ８（又は特徴点Ｆ７と特徴点Ｆ１４）の距離の比を見ることで表情（笑顔）の判定が可能である。例えば、上記比が所定範囲内であれば無表情との判定が可能である。その他、怒った顔などの他の表情に特徴的な部分についても同様な判定を行い、全ての判定において、比較的表情による変化が小さい部分と大きい部分との比が所定範囲内である場合に無表情の判定を行ってもよい。このように全ての表情判定で無表情である場合に、無表情とすることで、無表情判定の精度を向上することができる。無表情であると判定された場合には、無表情と判定された特徴量を記憶部６６に記憶する。

次いで、表情判定処理部６ａは、Ｓ１６において、無表情画像の特徴量が記憶部６６に記憶されているか否かを制御部６０で判定し、無表情画像の特徴量が記憶されている場合、Ｓ１８に処理を進める。Ｓ１８では、無表情画像の特徴量と今回検出した顔の特徴量とを用いた表情判定を第２表情判定部６８により行う。例えば、口角の位置（図７（ａ）、（ｂ）の特徴点Ｆ６、Ｆ７）が無表情時の特徴量と比較して上方に移動している。且つ、目尻の位置（図７（ａ）、（ｂ）の特徴点Ｆ８、Ｆ１４）が無表情時の特徴量と比較して下方に移動している。上記の条件を満たす場合は笑顔であると判定する。

また、Ｓ１６において無表情画像の特徴量が記憶されていない場合、表情判定処理部６ａは、Ｓ１９に処理を進め、今回取得した顔の特徴量のみを用いた表情判定を第１表情判定部６７により行う。例えば、上記無表情の判定と同様に、比較的表情による変化が小さい特徴点Ｆ４と特徴点Ｆ１０（又はＦ１２）の距離、特徴点Ｆ６と特徴点Ｆ８（又は特徴点Ｆ７と特徴点Ｆ１４）の距離の比を算出する。そして、算出された距離の比が所定値以上であれば笑顔であると判定する。次いで、表情判定処理部６ａは、Ｓ２０において、第１表情判定部６７又は第２表情判定部６８の判定結果を結果出力部６９より出力する。

したがって、第３の実施形態では、順次入力された画像から無表情画像の取得ができているか否かを判定し、無表情画像の取得ができていない場合は第１表情判定部６７が無表情画像を用いないで表情判定を行う。また、無表情画像の取得ができている場合は第２表情判定部６８が無表情画像を用いて表情判定を行う。したがって、撮像装置１００では、無表情画像が取得できていないときにも第１の判定モードによる表情判定が可能であり、また、無表情画像が取得できている場合には、その無表情画像との差分による精度の高い表情判定を行うことが可能である。

［第４の実施形態］
次に、前述した第３の実施形態を変形した第４の実施形態について説明する。第３の実施形態において、表情判定処理部は２つの異なる表情判定部を有する構成であった。第４の実施形態では、標準無表情特徴量を導入することで、表情判定処理部における表情判定部を１つで構成したものである。

図９に第４の実施形態に係る表情判定処理部６ｂの概略構成を示す。図９に示すように、表情判定処理部６ｂは、第３の実施形態における表情判定処理部６ａ比較して、１つの表情判定部６７ａと標準無表情特徴量が予め記憶されたメモリ７０とを有する構成であり、他の部分は同一な構成である。以下の説明では、前述した第３の実施形態と異なる部分についてのみ説明する。

図１０に表情判定処理部６ｂの処理動作を示す。図１０のフローチャートにおいて、Ｓ９１〜Ｓ９６までの処理動作は第３の実施形態のＳ８１〜Ｓ８６と同じである。Ｓ９６において無表情画像の特徴量が取得できていた場合、表情判定処理部６ｂは、Ｓ９７に処理を進め、取得している無表情画像の特徴量を表情判定用の比較データとして設定する。また、Ｓ９６において無表情画像の特徴量が取得できていない場合、表情判定処理部６ｂは、Ｓ９８に処理を進め、メモリ７０に予め記憶された標準無表情特徴量を表情判定用の比較データとして設定する。

標準無表情特徴量は、複数人の無表情画像から特徴量を取得して算出された平均値であり、平均的な無表情の特徴量である。したがって、表情判定部６７ａは、順次入力された画像から無表情画像の特徴量が取得できていない場合であっても、比較データとして標準無表情特徴量が設定されるため、無表情画像との差分による高精度で、万人に対して平均的な表情判定を実施できる。

次いで、表情判定処理部６ｂは、Ｓ９９において、設定された比較用の特徴量と今回取得した特徴量を用いて、第３の実施形態における第２表情判定部６８と同様な表情判定を表情判定部６７ａにより行う。具体的には、表情判定部６７ａにおいて、予め記憶された標準無表情特徴量を表情判定用の比較データとして設定された場合には、標準無表情特徴量と今回取得した特徴量を用いた判定方法（第１の判定モード）で表情判定が行われる。また、Ｓ９６において取得した無表情画像の特徴量を表情判定用の比較データとして設定された場合には、その取得した無表情画像の特徴量と今回取得した特徴量を用いた判定方法（第２の判定モード）で表情判定が行われる。次いで、表情判定処理部６ｂは、Ｓ１００において、表情判定部６７ａの判定結果を結果出力部６９より出力する。

以上のとおり、第４の実施形態では、順次入力される画像から無表情の特徴量が取得できた場合、その無表情の特徴量との差分による表情判定を行うことができ、本人の無表情な顔との比較による精度の高い表情判定を行うことが可能となる。また、無表情の特徴量が取得できない場合であっても、平均的な無表情の特徴量が表情判定部６７ａに設定されるため、現時点で検出された顔の特徴量のみを用いた表情判定を行う、表情判定部６７ａと異なる表情判定部を用意する必要がない。

なお、上述した実施の形態における記述は、一例を示すものであり、これに限定するものではない。上述した実施の形態における構成及び動作に関しては、適宜変更が可能である。

（他の実施形態）
上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。

なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。

有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。

また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。

第１の実施形態に係る撮像装置の概略構成を示すブロック図である。 第１の実施形態に係る撮像装置の処理動作を示すフローチャートである。 １枚の画像に写っている顔から笑顔判定を行う処理動作を示すフローチャートである。 無表情の顔が写った画像と、笑顔を判定したい顔が写った画像と、の差分から笑顔判定を行う処理動作を示すフローチャートである。 第２の実施形態に係る撮像装置の処理動作を示すフローチャートである。 第３の実施形態に係る表情判定処理部の概略構成を示すブロック図である。 （ａ）は、無表情時の特徴点を例示する概念図であり、（ｂ）は、笑顔時の特徴点を例示する概念図である。 第３の実施形態に係る表情判定処理部の処理動作を示すフローチャートである。 第４の実施形態に係る表情判定処理部の概略構成を示すブロック図である。 第４の実施形態に係る表情判定処理部の処理動作を示すフローチャートである。 （ａ）は、１枚の画像に写っている顔から笑顔を判定する方法を示す概念図であり、（ｂ）は、予め登録された画像と判定したい顔が写った画像との差分から笑顔を判定する方法を示す概念図である。

符号の説明

１００ 撮像装置
１ レンズ系
２ 撮像素子
３ アナログ信号処理部
４ Ａ／Ｄ変換部
５ デジタル信号処理部
６、６ａ、６ｂ 表情判定処理部
７ メモリ
８ 記憶制御部
９ 外部メモリ
１０ 表示部
１１ 制御回路
１２ 操作部

Claims (13)

1. 入力された画像データから人物の顔を検出する検出手段を有し、検出した顔が所定の表情であるか否かを判定する表情判定装置であって、
   前記検出された顔を構成する顔部品の輪郭を表す特徴量を、当該顔部品ごとに抽出する抽出手段と、
   前記抽出手段により抽出された顔部品ごとの特徴量に基づいて、第１の判定モード、又は、前記第１の判定モードと異なる第２の判定モードのいずれかで、前記検出された顔が前記所定の表情であるか否かを判定する表情判定手段と、
   前記表情判定手段における判定モードを、予め定められた判定条件に応じて前記第１の判定モード、又は、前記第２の判定モードのいずれかを前記表情判定手段に設定する制御手段と、
   を備えることを特徴とする表情判定装置。
2. 前記第１の判定モードは、前記抽出手段により抽出された顔部品ごとの特徴量と、前記所定の表情であることを示す基準値との相関に基づいて、前記検出された顔が前記所定の表情であるか否かを判定する判定モードであり、
   前記第２の判定モードは、前記抽出手段により抽出された顔部品ごとの特徴量と、予め記憶された基準となる表情の顔を構成する顔部品ごとの特徴量との差分に基づいて、前記検出された顔が前記所定の表情であるか否かを判定する判定モードであって、
   前記判定条件が、前記表情判定手段における判定速度と判定精度のどちらを優先するかであり、前記制御手段は、前記表情判定手段における判定速度を優先する場合は前記第１の判定モードを、前記表情判定手段における判定精度を優先する場合は前記第２の判定モードを前記表情判定手段に設定することを特徴とする請求項１に記載の表情判定装置。
3. 前記判定条件が、前記検出手段により前記画像データから検出された顔の数であり、前記制御手段は、前記検出手段により複数の顔が検出された場合は前記第１の判定モードを設定することを特徴とする請求項２に記載の表情判定装置。
4. 逐次入力された複数の前記画像データに基づいて前記顔の動き量を検出する動作検出手段を更に備え、
   前記判定条件が前記顔の動き量の大きさであって、前記制御手段は、前記動作検出手段により検出された動き量が予め設定された基準動き量より大きい場合は前記第１の判定モードを設定することを特徴とする請求項２に記載の表情判定装置。
5. 逐次入力された複数の前記画像データに亘って前記抽出手段により抽出された顔部品ごとの特徴量の変化量を検出する変化量検出手段を更に備え、
   前記判定条件が前記特徴量の変化量の大きさであって、前記制御手段は、前記変化量検出手段により検出された変化量が予め設定された基準変化量より小さい場合は前記第２の判定モードへ切り替えることを特徴とする請求項２に記載の表情判定装置。
6. ユーザから前記判定モードを指定する入力を受け付ける操作手段を更に備え、
   前記判定条件が前記操作手段で受け付けた入力の内容であり、前記制御手段は、前記操作手段が受け付けた入力で指定された判定モードを前記表情判定手段に設定することを特徴とする請求項２に記載の表情判定装置。
7. 前記検出手段で検出された顔について、逐次入力された前記画像データから前記抽出手段により抽出された顔部品ごとの特徴量のうち、前記基準となる表情の顔を構成する顔部品ごとの特徴量を、前記基準となる表情の顔を構成する顔部品ごとの特徴量として記憶する基準表情記憶手段を更に備え、
   前記判定条件が前記基準表情記憶手段に前記基準となる表情の顔を構成する顔部品ごとの特徴量が記憶されているか否かであり、前記制御手段は、前記検出手段で検出された顔について前記基準表情記憶手段に前記基準となる表情の顔を構成する顔部品ごとの特徴量が記憶されていない場合は前記第１の判定モードを、前記基準表情記憶手段に前記基準となる表情の顔を構成する顔部品ごとの特徴量が記憶されている場合は前記第２の判定モードを、前記表情判定手段に設定することを特徴とする請求項２に記載の表情判定装置。
8. 前記基準となる表情の顔を構成する顔部品ごとの特徴量を予め記憶するとともに、逐次入力された前記画像データから前記抽出手段により抽出された顔部品ごとの特徴量が、前記基準となる表情の顔を構成する顔部品ごとの特徴量の相関を示す基準データに類似する場合に、当該抽出された顔部品ごとの特徴量を記憶する基準表情記憶手段を更に備え、
   前記第１の判定モードは、前記抽出手段により抽出された顔部品ごとの特徴量と、前記基準表情記憶手段に予め記憶された前記基準となる表情の顔を構成する顔部品ごとの特徴量との差分に基づいて、前記顔領域に含まれた顔が前記所定の表情であるか否かを判定する判定モードであり、
   前記第２の判定モードは、前記抽出手段により抽出された顔部品ごとの特徴量と、前記基準表情記憶手段に記憶された前記抽出された顔部品ごとの特徴量との差分に基づいて、前記顔領域に含まれた顔が前記所定の表情であるか否かを判定する判定モードであって、
   前記判定条件が前記基準表情記憶手段に前記抽出された顔部品ごとの特徴量が記憶されているか否かであり、前記制御手段は、前記基準表情記憶手段に前記抽出された顔部品ごとの特徴量が記憶されていない場合は前記第１の判定モードを、前記基準表情記憶手段に前記抽出された顔部品ごとの特徴量が記憶されている場合は前記第２の判定モードを、前記表情判定手段に設定することを特徴とする請求項１に記載の表情判定装置。
9. 逐次入力された複数の前記画像データに亘って前記抽出手段により抽出された顔部品ごとの特徴量の変化量に応じて、前記顔領域に含まれた顔が別人物の顔に切り替わったか否かを判別する判別手段を更に備え、
   前記制御手段は、前記判別手段により別人物の顔に切り替わったと判別された場合は前記基準表情記憶手段に記憶された前記抽出された顔部品ごとの特徴量を消去することを特徴とする請求項７又は８に記載の表情判定装置。
10. 前記所定の表情は、笑顔、又は、目瞑り顔であることを特徴とする請求項１乃至９のいずか一項に記載の表情判定装置。
11. 撮像手段と、
    表示手段と、
    前記撮像手段により撮影された画像データを記録する記録手段と、
    前記撮像手段により撮影された画像データから人物の顔を検出する検出手段を有し、検出した顔が所定の表情であるか否かを判定する請求項１乃至１０のいずれか一項に記載の表情判定装置と、
    前記表情判定装置の判定結果に応じて前記撮影された画像データの前記記録手段への記録、又は、当該判定結果の前記表示手段への表示出力を制御する制御手段と、
    を備えることを特徴とする撮像装置。
12. 入力された画像データから人物の顔を検出する検出手段を有し、検出した顔が所定の表情であるか否かを判定する表情判定装置の制御方法であって、
    前記検出された顔を構成する顔部品の輪郭を表す特徴量を、当該顔部品ごとに抽出する抽出工程と、
    前記抽出工程により抽出された顔部品ごとの特徴量に基づいて、第１の判定モード、又は、前記第１の判定モードと異なる第２の判定モードのいずれかで、前記検出された顔が前記所定の表情であるか否かを判定する表情判定工程と、
    前記表情判定工程における判定モードを、予め定められた判定条件に応じて前記第１の判定モード、又は、前記第２の判定モードのいずれかを前記表情判定工程に設定する制御工程と、
    を備えることを特徴とする表情判定装置の制御方法。
13. 請求項１２に記載の表情判定装置の制御方法の各工程をコンピュータに実行させるためのプログラム。

Images