JP2011130131A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】 表情を判定する対象となる被写体が切り替わった際の、人物の表情の誤判定に対する抑止力を向上させる。
【解決手段】 主顔が特定の表情であると判定された回数が閾値に達した場合に、特定の処理を行うものであって、新たに選択された主顔とその直前に選択された主顔が同一人物であるかどうかを判定し、これらの主顔が同一人物でないと判定した場合には、特定の表情であると判定された回数をリセットする構成とする。
【選択図】 図１

Description

本発明は、画像中の人物が特定の表情を満たしたことを判定する画像処理装置に関するものである。

人物を撮影するときに、被写体が特定の表情になったタイミングで自動的に静止画の撮影を開始するカメラが開発されている。このようなカメラによれば、例えば笑顔といった特定の表情の人物を簡単に撮影することができる（特許文献１を参照）。

また、撮影画像において複数の人物の顔が検出された場合、その中から主被写体となる人物の顔（以下、「主顔」と呼ぶ）を選択する機能を備えるものがある（特許文献２を参照）。

これらの機能をあわせれば、主被写体となる人物が笑顔になったときに、自動的に撮影を行うカメラを提供することができる。

特開２００８−３１１８１９号公報 特開２００８−００５４３８号公報

人物の表情を検出するためには、まず画像から人物の顔を検出する必要がある。画像から人物の顔を検出する方法は様々なものが提案されているが、顔検出の精度を１００％とすることは困難であり、しばしば誤検出が生じてしまう。撮影画像に含まれる顔以外の画像を顔画像として誤検出した場合、この誤検出された画像を用いて表情の判定が行われることになるため、いつまでたっても撮影が開始されなかったり、全く意図しないタイミングで撮影が開始されてしまう可能性が生じる。

また、人物が正しく検出できた場合であっても、この人物が正面向きでなかったり、動いていた場合には、表情の誤判定が生じやすくなる。

このような誤判定に応じて撮影が開始されないようにするため、検出された主顔が特定の表情であると判定された回数をカウンタ値として数え、このカウンタ値が予め設定された所定値以上になった場合に、撮影を開始するように構成することが考えられる。こうすることで、一時的な特定の表情の誤判定によって記録用の画像の撮影が開始されることを抑止することができる。

しかしながら、このような構成では、以下に示す問題が発生することがある。

図７は、従来技術による笑顔判定処理を説明するための図である。この例は、被写体の特定の表情として笑顔を検出するものであり、主顔の笑顔のカウンタ値が３に達したら、静止画の撮影を行うものとする。

図７（ａ）のフレーム画像からは、画像から人物Ａ、Ｂのそれぞれの顔が検出され、人物Ａの顔が主顔として選択されている。さらに、主顔である人物Ａの顔が笑顔であると判定され、笑顔のカウンタ値がインクリメントされて１となる。なお、このとき、人物Ｂは笑顔ではないと判定されているものとする。

図７（ｂ）は図７（ａ）の次のフレーム画像を示している。この図７（ｂ）に示すフレーム画像からも人物Ａ、Ｂのそれぞれの顔が検出され、人物Ａの顔が主顔として選択されている。さらに、主顔である人物Ａの顔が笑顔であると判定され、笑顔のカウンタ値がインクリメントされて２となる。なお、このとき、人物Ｂは笑顔ではないと判定されているものとする。

図７（ｃ）は図７（ｂ）の次のフレーム画像を示している。この図７（ｃ）に示すフレーム画像では、人物Ａが半分ほど画面の外にはみ出したために顔が検出されず、人物Ｂの顔のみが検出される。この場合、人物Ｂの顔が主顔として選択される。さらに、人物Ｂの顔が一時的に斜め下を向いたために、口元が湾曲し、目が閉じたような表情に変化したため、笑顔でないにも関わらずに笑顔であると誤判定されてしまったものとする。このとき、主顔の笑顔のカウンタ値をそのままインクリメントしてしまうと、カウンタ値が３に達し、記録用の画像の撮影が開始されてしまう。

この場合、主顔が人物Ａの顔から人物Ｂの顔に入れ替わったにもかかわらず、人物Ａを対象として蓄積していたカウンタ値を、人物Ｂにそのまま引き継いだために、一時な表情の誤判定によって撮影が開始されることを抑止することができない場合がある。

なお、ここでは特定の表情として笑顔を判定し、静止画の撮影を開始する例をあげて説明を行ったが、特定の表情であると判定されたことに応じて、動画の撮影を開始する場合にも同様の誤判定の課題が生じるおそれがある。さらには、保存した動画から主顔の良い表情だけを抽出して表示したり、別画像として保存するような場合にも、同様の誤判定の課題が生じるおそれがある。

本発明は、このような課題を解決するものであり、表情を判定する対象となる被写体が切り替わった際の、人物の表情の誤判定に対する抑止力を向上させることを目的とするものである。

上記課題を解決するため、本発明は、動画から人物の顔を時系列的に検出する顔検出手段と、前記顔検出手段にて検出された顔の中から主顔を選択する主顔選択手段と、前記主顔選択手段にて新たに選択された主顔と、その直前に選択された主顔とが同一の人物であるかどうかを判定する主顔切り替わり判定手段と、前記新たに選択された主顔が特定の表情であるかどうかを判定する表情判定手段と、前記特定の表情と判定された回数を数える計数手段とを備え、前記計数手段は、前記主顔切り替わり判定手段によって新たに選択された主顔と、その直前に選択された主顔とが同一人物でないと判定された場合に、前記特定の表情と判定された回数をリセットすることを特徴とする画像処理装置を提供する。

本発明によれば、表情を判定する対象となる被写体が切り替わった際の、人物の表情の誤判定に対する抑止力を向上させることことが可能となる。

本発明の実施形態のにかかる笑顔判定処理のフローチャートである。 本発明の実施形態にかかる撮像装置の概略構成を示すブロック図である。 画像に存在する人物の顔情報の一例を示す図である。 顔情報の信頼度−重み特性を示すグラフである。 顔サイズの概要と顔サイズ−重み特性を示すグラフを示す図、および、顔の距離情報の概要と距離情報−重み特性を示すグラフを示す図である。 本実施形態における笑顔判定の処理動作を説明するための図である。 従来技術による笑顔判定の処理動作を説明するための図である。

以下に、本発明の実施形態を、図面に基づいて詳細に説明する。

図２は、本発明の実施形態にかかる撮像装置の概略構成を示すブロック図である。本実施形態では、主顔が笑顔であると連続して判定された回数が所定値に達した場合に、自動的に静止画の撮影を開始するデジタルカメラを例にあげて説明を行う。

１０１はレンズおよび絞りからなる光学系であり、１０２は光学系１０１を透過した光を遮るためのシャッターである。１０３はＣＣＤやＣＭＯＳセンサーで構成され、光学系１０１を透過した被写体像を電気信号からなる画像信号に変換する撮像素子である。１０４はアナログ信号処理を行うＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）回路である。１０５はＣＤＳ回路１０４から出力されたアナログ信号をデジタル信号に変換するＡ／Ｄ変換器であり、１０６は撮像素子１０３、ＣＤＳ回路１０４およびＡ／Ｄ変換器１０５の駆動を制御する信号を発生するタイミング信号発生回路である。１０７は光学系１０１、シャッター１０２および撮像素子１０３の駆動を制御する駆動回路であり、１０８は画像データに必要なホワイトバランスやガンマ補正などの信号処理を行う信号処理回路である。１０９は信号処理回路１０８で信号処理された画像データを記憶する画像メモリである。

１１０は撮像装置の本体から取り外し可能な記録媒体であり、１１１は信号処理された画像データを記録媒体１１０に記録する記録回路である。１１２は信号処理された画像データを表示する例えば液晶ディスプレイで構成された画像表示装置であり、１１３は画像表示装置１１２に画像を表示するための制御を行う表示回路である。１１４は画像データから人物の顔を検出する顔検出回路であり、１１５は顔検出回路１１４で検出された顔の表情を検出し、この顔が笑顔であるかどうかを判定する笑顔判定回路である。１１６は図２の撮像装置全体の動作を制御するシステム制御回路である。

以下、図２の撮像装置における静止画の撮影動作について説明する。まず、光学系１０１は、システム制御回路１１６からの制御信号により、絞りとレンズを駆動して適切な明るさに設定された被写体像を撮像素子１０３上に結像させる。次に、シャッター１０２は、システム制御回路１１６からの制御信号により、必要な露光時間となるように撮像素子１０３の動作に合わせて撮像素子１０３を遮光するように駆動される。この時、撮像素子１０３が電子シャッタ機能を有する場合は、シャッター１０２と併用して、必要な露光時間を確保してもよい。

撮像素子１０３は、システム制御回路１１６により制御されるタイミング信号発生回路１０６が発生する動作パルスをもとにした駆動パルスで駆動され、被写体像を光電変換により電気信号に変換してアナログ画像信号として出力する。撮像素子１０３から出力されたアナログの画像信号は、システム制御回路１１６により制御されるタイミング信号発生回路１０６が発生する動作パルスにより、ＣＤＳ回路１０４でクロック同期性ノイズを除去し、Ａ／Ｄ変換器１０５でデジタル画像信号に変換される。

次に、信号処理回路１０８において、色変換、ホワイトバランス、ガンマ補正等の画像処理、解像度変換処理、画像圧縮処理等を行う。信号処理回路１０８においては、システム制御回路１１６からの制御信号により信号処理をせずにデジタル画像信号をそのまま画像データとして、画像メモリ１０９や記録回路に出力してもよい。さらに、信号処理回路１０８は、システム制御回路１１６から要求があった場合に、信号処理の過程で生じたデジタル画像信号や画像データの情報をシステム制御回路１１６に出力する。画像データの情報としては、例えば、画像の空間周波数、指定領域の平均値、圧縮画像のデータ量等の情報、あるいは、それらから抽出された情報があげられる。また、記録回路は、システム制御回路１１６から要求があった場合に、記録媒体１１０の種類や空き容量等の情報をシステム制御回路１１６に出力する。

さらに、記録媒体１１０に画像データが記録されている場合の再生動作について説明する。記録回路１１１はシステム制御回路１１６からの制御信号により、記録媒体１１０から画像データを読み出す。同じく信号処理回路１０８は、システム制御回路１１６からの制御信号により、画像データが圧縮画像であった場合には、画像伸長処理を行い、画像メモリ１０９に記憶する。画像メモリ１０９に記憶されている画像データは、信号処理回路１０８で解像度変換処理を実施された後、表示回路において画像表示装置１１２に適した信号に変換されて画像表示装置１１２に表示される。

顔検出回路１１４は、信号処理回路１０８からの画像データに対して公知の顔検出処理を施し、撮像素子１０３の撮像画像内に含まれる人物の顔領域を検出する。なお、公知の顔検出処理としては、例えば、画像データで表される各画素の階調色から、肌色領域を抽出し、予め用意する顔の輪郭プレートとのマッチング度で顔を検出する方法がある。また、周知のパターン認識技術を用いて、目、鼻、口等の顔の特徴点を抽出することで顔検出を行う方法等も開示されている。なお、顔検出処理の手法については、上述した手法に限るものではなく、公知の種々の手法を用いることができる。

笑顔判定回路１１５は、顔検出回路１１４が検出した顔について、顔の笑顔レベルを算出する。具体的には、顔を構成する目、鼻および口等の顔構成部品の輪郭、並びに目頭、目尻、小鼻、口角および唇の位置等の顔構成部品の位置等、笑顔度の算出に必要な特徴量を取得する。ここで、特徴量を取得する手法としては、各顔構成部品のテンプレートを用いたテンプレートマッチングによる手法、および顔構成部品の多数のサンプル画像を用いたラーニング学習により得られた、顔構成部品毎の判別器を用いる手法等により取得することができる。そして、笑顔判定回路１１５は、特徴量に基づいて、顔が笑顔である度合を示す笑顔レベルを算出し、顔が笑顔であるかどうかを判定する。なお、笑顔レベルの算出手法としては、例えば、満点の笑顔および笑っていない顔から取得した特徴量に対する、取得した特徴量の位置および形状の差分に応じて、笑顔レベルを算出する手法を用いることができる。なお、笑顔レベルを算出する手法としては、これに限定されるものではなく、公知の種々の手法を用いることができる。すなわち、笑顔判定回路１１５は、被写体の表情が特定の表情であるか否かを判定する表情判定手段として機能する。

次に、システム制御回路１１６で行われる笑顔判定処理について説明する。
図１は、本実施形態にかかる笑顔判定処理のフローチャートである。この笑顔判定処理は、システム制御回路１１６内のメモリ（図示しない）に格納されたコンピュータプログラムに従って実行される。また、この笑顔判定処理は、撮像素子１０３において所定のフレームレートで逐次撮影された動画を構成するプレビュー画像について時系列的に順次行われる。なお、笑顔判定処理が行われる間隔は、顔検出回路１１４の処理能力にもよるが、数フレームに一回の割合程度であってよい。

図１のフローチャートに示すように、システム制御回路１１６は、処理が開始されると、ステップＳ１０１において、動画中の現在のプレビュー画像から顔検出した結果を顔検出回路１１４から取り込む。なお、システム制御回路１１６は、顔検出回路１１４から取り込んだ顔検出の結果を一時的に記憶するバッファを備えている。このバッファには、顔検出回路１１４から取り込んだ顔検出の結果について、少なくとも現在の分と直前の分とを記憶する記憶領域が確保されている。

次に、システム制御回路１１６は、ステップＳ１０２において、ステップＳ１０１で検出した顔の中から主顔の選択を行う。

主顔選択の具体的な構成例を以下に説明する。図３は、プレビュー画像に存在する人物の顔情報の一例を示す図である。複数の顔が検出された場合には、それぞれの顔に独立して顔情報が求められる。

顔情報には、撮像画像の中心座標（ｃｅｎｔｅｒ＿ｘ，ｃｅｎｔｅｒ＿ｙ）から検出された顔（Ｆａｃｅ１）の中心座標（ｘ，ｙ）までの距離がある。また、顔を正方形とした場合の一辺の長さを示す顔サイズ（ｓｉｚｅ１）、検出された顔が人物の顔である確からしさを示す信頼度値などもある。ここで、信頼度は、１〜１０までの１０段階で表現され、１が人物の顔である確率が最も高いことを示すものとする。これらの顔情報は、公知の顔検出技術を用いてプレビュー画像から取得される。

まず、検出された顔の信頼度と、図４に示す信頼度−重み特性グラフを用いて、第１の重みを算出する。図４は、入力（ｘ軸）を検出された顔の信頼度、出力（ｙ軸）を第１の重みとしたグラフである。信頼度が１から３までは第１の重みを１とし、信頼度５において第１の重みが０となるように信頼度３から５までの重みを直線で結び、信頼度５以上の場合は第１の重みが０としている。すなわち、顔の信頼度が高いほど優先度の重み付けが高くなり、顔の信頼度が低いほど優先度の重み付けが低くなるように設定されている。

次に、検出された顔のサイズと、図５（ａ）に示す顔サイズ−重み特性グラフを用いて、第２の重みを算出する。図５（ａ）は、入力（ｘ軸）を検出された顔サイズ、出力（ｙ軸）を第２の重みとしたグラフである。例えば、顔サイズが０ピクセルの時に重みを０、顔サイズが２０ピクセルの時に重みが０．２となるように顔サイズ０ピクセルから２０ピクセルまでを直線で結ぶ。更に、顔サイズが３０ピクセルの時に重みが１となるように顔サイズ２０ピクセルから３０ピクセルまでを直線で結び、顔サイズ３０ピクセル以上では重みを１．０とする。すなわち、画面の中央に近いほど優先度の重み付けが高くなり、画面の周辺に近いほど優先度の重み付けが低くなるように設定されている。

さらに、図５（ｂ）に示すように、検出された顔Ｆ１、Ｆ２の中心座標値と撮像画像の中心Ｏの中心座標値との距離情報ｄｉｓｔを算出する。そして、算出された距離情報ｄｉｓｔと図５（ｂ）に示す距離−重み特性グラフを用いて、第３の重みを算出する。例えば、顔検出用の撮像画像のサイズが３２０ピクセル×２４０ピクセルとして、中心からの距離が１０ピクセルまでは重みを１．０とする。また、距離８０ピクセルになると重みが０になるよう距離１０ピクセルから８０ピクセルまでを直線で結び、距離８０ピクセル以上では重みを０とする。すなわち、顔サイズが大きいほど重み付けが高くなり、顔サイズが小さいほど重み付けが低くなるように設定されている。

これら第１から第３の重み付けを乗算した結果、最も大きな値となった顔が、そのフレームにおいて、最も主顔らしい顔であると判定することができる。

さらに、システム制御回路１１６は、ステップＳ１０３において、現在のプレビュー画像から検出した主顔に対して、その位置とサイズを基に、バッファに記憶された前回のプレビュー画像から検出した主顔とのマッチングを行う。このマッチング結果に基づいて、システム制御回路１１６は、前回と現在のプレビュー画像において、同一の人物の顔を主顔として検出しているかどうかを判定することができる。すなわち、システム制御回路１１６は、新たな主顔と直前の主顔とが同一人物であるか否かを判別する主顔切り切り替わり判別手段として機能する。

前回と現在のプレビュー画像における主顔のマッチング方法の具体例を以下に示す。

顔が複数検出されている場合には、直前の顔検出時に主顔として選択された顔の座標と、現在の顔検出時に検出された複数の顔の座標との距離をそれぞれ求め、その距離が最も近い顔が、現在の主顔として選択されているかどうかを調べる。直前の主顔との距離が最も近い顔が、現在の主顔として選択されている場合には、直前と現在とで、同一の人物の顔を主顔として検出している可能性が高いと判断することができる。

さらに、直前と今回の主顔の距離とサイズの変化が、所定の範囲内に収まっている場合にも、同一の人物の顔を主顔として検出している可能性が高いと判断することができる。

したがって、前回と現在のプレビュー画像において、同一の人物の顔を主顔として検出していると判断するためには、次の条件を満たせばよい。すなわち、直前の主顔との距離が最も近い顔が、現在の主顔として選択されていることと、直前の主顔と今回の主顔の距離とサイズの変化が、所定の範囲内に収まっていることの、どちらか一方、または両方を満たせばよい。

また、上記以外のマッチング方法の例として、直前の主顔と現在のマッチング対象の主顔における、顔を構成する顔部品の輪郭を表す特徴量を抽出してそれをもとに、直前の主顔と現在との主顔の相関を表す指標値を算出する。そして、この指標値の大小に基づいて、直前の主顔と現在の主顔が、同一の人物の顔かどうかを判定するという方法もある。

以上、前回と現在のプレビュー画像における主顔のマッチング方法の具体例について説明したが、本発明はこれらの具体例に限定されず、公知の種々の手法を用いたり、その目的の範囲内で変形及び変更が可能である。

次に、システム制御回路１１６は、ステップＳ１０４において、ステップＳ１０３のマッチング結果に基づいて、直前の顔検出時に主顔と判定された人物と、現在のプレビュー画像から主顔と判定された人物とが同一人物であるとみなせるか否かを判定する。

この判定において、直前の顔検出時に主顔と判定された人物と、現在のプレビュー画像から主顔と判定された人物とが同一人物であるとみなせると判定された場合、システム制御回路１１６はステップＳ１０６へ処理を進める。また、直前の顔検出時に主顔と判定された人物と、現在のプレビュー画像から主顔と判定された人物とが同一人物であるとみなせると判定されなかった場合、システム制御回路１１６はステップＳ１０５へ処理を進める。

ここで、ステップＳ１０２において選択された主顔には、後述するカウンタ情報（以下、単にカウンタ値）が付与されている。具体的には、このカウンタ値は、上述したバッファに確保された所定の記憶領域に、ステップＳ１０２において選択された主顔に対応付けて記憶される。ステップＳ１０４において、直前の顔検出時に主顔と判定された人物と、現在のプレビュー画像から主顔と判定された人物とが同一の人物であると判断されれば、直前の顔検出時に主顔と判定された人物に対応付けて記憶されたカウンタ値がそのまま引き継がれる。

ステップＳ１０４において、直前の顔検出時に主顔と判定された人物と、現在のプレビュー画像から主顔と判定された人物とが同一の人物であると判別されなければ、ステップＳ１０５において、カウンタ値がリセットされる（値が０にされる）。すなわち、その新たに主顔となった人物に対してカウンタ値が０から数え始めることとなる。

そして、ステップＳ１０６でシステム制御回路１１６は、ステップＳ１０２において選択された主顔が笑顔であるかどうかの判定結果を、笑顔判定回路１１５から取り込む。笑顔であると判定された場合は、システム制御回路１１６は、ステップＳ１０７に進み、カウンタ値（笑顔と判定された回数）を加算する。すなわちシステム制御回路１１６は、主顔が笑顔と判定された回数を数える計数手段である。

次に、システム制御回路１１６は、ステップＳ１０８において、カウンタ値が予め設置された所定値（本実施形態では３）以上であるかどうか否かを判定する。

カウンタ値が所定値以上である場合、システム制御回路１１６は、ステップＳ１０９へ処理を進め、静止画としての記録用画像の撮影を実行して、この笑顔判定処理を終了する。なお、カウンタ値が所定値以上でない場合は、システム制御回路１１６は、現在のプレビュー画像に対する笑顔判定処理を終了し、次のプレビュー画像に対する笑顔判定処理へ進む。

なお、上述した所定値は、笑顔判定処理が行われる間隔などを考慮して予めメモリなどに設定されているものとする。

なお、ステップＳ１０６で笑顔であると判定されなかった場合は、システム制御回路１１６は、ステップＳ１１０に進み、カウンタ値をリセットして、現在のプレビュー画像に対する笑顔判定処理を終了する。つまり、システム制御回路１１６は、主顔の表情が連続して笑顔と判定されない場合は、一時的に笑顔であると誤判定された可能性があるとして、カウント値をリセットするようにしている。

図６は、本実施形態の笑顔判定処理を説明するための図である。本実施形態では、主顔の笑顔のカウンタ値が３以上になったら、静止画の記録用画像の撮影を開始するものとする。

まず、図６（ａ）のフレーム画像からは、画像から人物Ａ、Ｂのそれぞれの顔が検出され、人物Ａの顔が主顔として選択されている。さらに、主顔である人物Ａの顔が笑顔であると判定され、笑顔のカウンタ値がインクリメントされて１となる。なお、このとき、人物Ｂは笑顔ではないと判定されているものとする。

図６（ｂ）は図６（ａ）の次のフレーム画像を示している。この図６（ｂ）に示すフレーム画像からも人物Ａ、Ｂのそれぞれの顔が検出され、人物Ａの顔が主顔として選択されている。さらに、主顔である人物Ａの顔が笑顔であると判定され、笑顔のカウンタ値がインクリメントされて２となる。なお、このとき、人物Ｂは笑顔ではないと判定されているものとする。

図６（ｃ）は図６（ｂ）の次のフレーム画像を示している。この図６（ｃ）に示すフレーム画像では、人物Ａが半分ほど画面の外にはみ出したために顔が検出されず、人物Ｂの顔のみが検出される。この場合、人物Ｂの顔が主顔として選択される。これにより、カウンタ値が一度リセットされる。さらに、人物Ｂの顔が一時的に斜め下を向いたために、口元が湾曲し、目が閉じたように表情に変化したため、笑顔でないにも関わらずに笑顔であると誤判定されてしまったものとする。このとき、主顔の笑顔のカウンタ値をそのままインクリメントされて１となるが、予め設定された所定値３以上ではないため、静止画の記録用画像の撮影は開始されない。

図６（ｄ）は図６（ｃ）の次のフレーム画像を示している。この図６（ｄ）に示すフレーム画像では、人物Ａは引き続き検出されず、人物Ｂの顔のみが検出され、人物Ｂの顔が主顔として選択される。人物Ｂの顔が再び正面を向き、笑顔でないと判定されたため、カウンタ値が再びリセットされる。

以上のように、主顔が別の人物に入れ替わったときに、蓄積されていたカウンタ値を０にリセットしたために、主顔が入れ替わった際の一時的な笑顔の誤判定による記録用画像の撮影を防止することができるようになる。

なお、上述した実施の形態における記述は、一例を示すものであり、これに限定するものではない。

例えば、連続して笑顔と判定されない場合にすぐにカウンタ値をリセットするのではなく、前回主顔が選択された時から一定時間以上経過しても、顔が検出されなかった場合や、カウンタ値が加算されなかった場合に、カウンタ値をリセットするようにしても良い。また、記録用画像が撮影されたときや、撮影モードが切り替わったとき、一旦電源が切られたときなどにも、もちろんカウンタ値をリセットするようにしても良い。

さらに、本実施例では、記録用画像の撮影を行う場合のカウンタの所定値を３以上としたが、笑顔判定処理が行われる間隔などを考慮して別の回数に設定しても構わない。例えば、フレームレートや顔検出回路１１４や笑顔判定回路１１５の処理能力が高く、笑顔判定処理が行われる間隔が短い場合には、カウンタの所定値を多めに設定して、より検出精度を上げるようにしても良い。また、フレームレートや顔検出回路１１４や笑顔判定回路１１５の処理能力が低く、笑顔判定処理が行われる間隔が長い場合には、カウンタの所定値を少なめに設定して、笑顔判定されてから記録用画像を撮影するまでのタイムラグを短くするようにしても良い。

さらに、本実施形態では、特定の表情を検出する場合として、笑顔を例に挙げたが、別の表情であってももちろん構わない。

なお、主顔が特定の表情であることを判定する構成であるならば、例えば、動画の撮影を開始するビデオカメラに上記の構成を適用することが可能である。あるいは、保存された動画から主顔が特定の表情であることを満たす画像を抽出したり、特定の表情であることを満たす画像に対してフラグを付与したりするパーソナルコンピュータでも、上記と同様の構成を適用することが可能である。

このように、上述した実施の形態における構成及び動作に関しては、適宜変更が可能である。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０１ 光学系
１０３ 撮像素子
１０８ 信号処理回路
１０９ 画像メモリ
１１４ 顔検出回路
１１５ 笑顔判定回路
１１６ システム制御回路

Claims (7)

1. 動画から人物の顔を時系列的に検出する顔検出手段と、
   前記顔検出手段にて検出された顔の中から主顔を選択する主顔選択手段と、
   前記主顔選択手段にて新たに選択された主顔と、その直前に選択された主顔とが同一の人物であるかどうかを判定する主顔切り替わり判定手段と、
   前記新たに選択された主顔が特定の表情であるかどうかを判定する表情判定手段と、
   前記特定の表情と判定された回数を数える計数手段とを備え、
   前記計数手段は、前記主顔切り替わり判定手段によって新たに選択された主顔と、その直前に選択された主顔とが同一人物でないと判定された場合に、前記特定の表情と判定された回数をリセットすることを特徴とする画像処理装置。
2. 前記計数手段によって数えられた回数が予め設定された所定値に達した場合に、画像の撮影を開始することを特徴とする請求項１に記載の撮像装置。
3. 前記計数手段は、前記表情判定手段によって連続して前記主顔が前記特定の表情であると判定された場合に、前記特定の表情と判定された回数を増やし、判定されなかった場合に、前記特定の表情と判定された回数をリセットすることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記計数手段は、前記直前に主顔が選択されてから一定時間以上経過しても顔が検出されない場合に、前記特定の表情と判定された回数をリセットすることを特徴とする請求項１または２に記載の撮像装置。
5. 前記計数手段は、前記直前に主顔が選択されてから一定時間以上経過しても、前記特定の表情と判定されない場合に、前記特定の表情と判定された回数をリセットすることを特徴とする請求項１または２に記載の撮像装置。
6. 動画から人物の顔を時系列的に検出する顔検出工程と、
   前記顔検出工程にて検出された顔の中から主顔を選択する主顔選択工程と、
   前記主顔選択工程にて新たに選択された主顔と、その直前に選択された主顔とが同一の人物であるかどうかを判定する主顔切り替わり判定工程と、
   前記新たに選択された主顔が特定の表情であるかどうかを判定する表情判定工程と、
   前記特定の表情と判定された回数を数える計数工程とを備え、
   前記計数工程は、前記主顔切り替わり判定工程によって新たに選択された主顔と、その直前に選択された主顔とが同一人物でないと判定された場合に、前記特定の表情と判定された回数をリセットすることを特徴とする画像処理方法。
7. 請求項６に記載の画像処理方法をコンピュータに実行させるために前記コンピュータが読み出すことが可能なプログラム。

Images