JP2013186512A - 画像処理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】複数の被撮影者の表情が異なる場合であっても、満足度の高い画像を取得することができるようにする。
【解決手段】自動撮像モードがＯＮになると、顔検出部は、A/D変換部からの画像データの画像から、人間の顔を４つ検出し、検出した顔の位置、大きさなどの情報を、表情評価部に供給する。表情評価部は、Ｃ乃至Ｇの点線に示されるように、各人物に対して、表情評価値を算出する。閾値制御部は、画像において、表情評価値と数とに基づいて、最も人数の少ない表情である、泣き顔の閾値を１段階下げることで、基準の変更を行う。そして、すべての表情の評価値が、対応する閾値を超えたとき、画像が抽出される。本開示は、例えば、被写体を撮像する撮像装置に適用することができる。
【選択図】図３

Description

本開示は、画像処理装置および方法、並びにプログラムに関し、特に、複数の被撮影者の表情が異なる場合であっても、満足度の高い画像を取得することができるようにした画像処理装置および方法、並びにプログラムに関する。

近年においては、画像信号をもとにデジタル演算処理する画像処理技術が急速に進んでおり、その例として、画像から人間の顔を検出する技術がある（例えば、特許文献１）。このような顔検出技術は、デジタルスチルカメラなど、固体撮像素子で撮像を行う、デジタル方式の撮像装置に搭載できるレベルまで開発が進んでおり、最近では、さらに、検出された顔の表情を判別する技術なども注目されている。

例えば、特許文献２には、連続して複数コマを撮像した画像信号から、被撮影者の顔の表情などを撮像画像毎に評価し、それらの評価情報から好適な画像を選択できるようにすることが提案されている。

また、特許文献３には、画像に含まれる顔のみの評価ではなく、画像としての評価を行う技術に関する提案がなされている。

さらに、特許文献４には、２種類の表情判定モードを有し、検出される顔の数、速度優先か精度優先か、または、ユーザの操作などに応じて、判定モードを選択し、表情を検出する提案がなされている。

一方、撮像装置において、シャッタボタンを押下する操作から一定時間経過後に自動的にシャッタを切る、いわゆるセルフタイマ機能（自動撮像機能）は、銀塩カメラのみならず、デジタルスチルカメラにも一般的に搭載されている。

しかしながら、この自動撮像機能によりシャッタがきられるタイミングは、事前に決められたものとなるので、シャッタを切った時点で被撮影者が必ずしもよい表情になるという保証はなく、満足のいかない写真が撮像されることが少なくなかった。

これに対応して、例えば、特許文献５には、自動撮像機能において、撮像記録が行われる頻度などを変更するようにすることで、自動撮像機能の充実を図るようにした提案がなされている。

特開２００５−１５７６７９号公報 特開２００４−０４６５９１号公報 特開２００９−２１７７５８号公報 特開２０１０−１１７９４８号公報 特開２０１１−０３０１６３号公報

しかしながら、従来、複数の被撮影者の表情が異なる場合についての自動撮像機能についての提案はなされていなかった。

本開示は、このような状況に鑑みてなされたものであり、複数の被撮影者の表情が異なる場合であっても、満足度の高い画像を取得することができるものである。

本開示の一側面の画像処理装置は、入力画像から顔を検出する顔検出部と、前記顔検出部により検出された顔の表情毎に表情の度合を示す評価値を算出する評価値算出部と、前記顔検出部により検出された顔の表情毎の人数と、前記評価値算出部により算出された前記顔の表情毎の評価値とに基づいて、人数が少ない表情を含む画像が抽出されやすくなるように、前記画像を抽出するための基準を変更する制御部とを備える。

前記制御部は、前記人数が少ない表情が複数あった場合、前記人数が少ない複数の表情のうち、子供の人数が最も多い表情を含む画像が抽出されやすくなるように、前記基準を変更することができる。

前記制御部は、前記人数が少ない表情が複数あった場合、前記人数が少ない表情のうち、前記人数が少ない表情の人が最も画角中央に近くにいる表情を含む画像が抽出されやすくなるように、前記基準を変更することができる。

前記制御部により変更された基準に基づいて、前記人数が少ない表情を含む画像を抽出する処理を行う抽出部をさらに備えることができる。

前記抽出部による処理は、前記入力画像の記録処理である。

前記抽出部による処理は、自動的にシャッタを切る処理である。

前記抽出部による処理は、ユーザへの指示処理である。

前記抽出部による処理は、メタデータの付与処理である。

被写体を撮像し、前記入力画像を入力する撮像部と、前記撮像部を備える筐体を搭載する雲台の駆動を制御する雲台制御部とをさらに備えることができる。

前記抽出部により抽出する処理が行われた場合、前記制御部により変更された基準を元に戻す方向に調整する基準調整部をさらに備える

前記基準調整部は、所定の時間が経過した場合、前記制御部により変更された基準をさらに変更する方向に調整することができる。

前記制御部は、前記評価値に対応する閾値を下げる、または上げることにより、前記画像を抽出するための基準を変更することができる。

前記制御部は、前記評価値にゲインをかけることにより、前記画像を抽出するための基準を変更することができる。

本開示の一側面の画像処理方法は、画像処理装置が、入力画像から顔を検出し、検出された顔の表情毎に表情の度合を示す評価値を算出し、検出された顔の表情毎の人数と、算出された前記顔の表情毎の評価値とに基づいて、人数が少ない表情を含む画像が抽出されやすくなるように、前記画像を抽出するための基準を変更する。

本開示の一側面のプログラムは、入力画像から顔を検出する顔検出部と、前記顔検出部により検出された顔の表情毎に表情の度合を示す評価値を算出する評価値算出部と、前記顔検出部により検出された顔の表情毎の人数と、前記評価値算出部により算出された前記顔の表情毎の評価値とに基づいて、人数が少ない表情を含む画像が抽出されやすくなるように、前記画像を抽出するための基準を変更する制御部として機能させる。

本開示の一側面においては、入力画像から顔が検出され、検出された顔の表情毎に表情の度合を示す評価値が算出される。そして、検出された顔の表情毎の人数と、算出された前記顔の表情毎の評価値とに基づいて、人数が少ない表情を含む画像が抽出されやすくなるように、前記画像を抽出するための基準が変更される。

本開示の一側面によれば、画像を抽出することができる。特に、複数の被撮影者の表情が異なる場合であっても、満足度の高い画像を取得することができる。

本技術を適用した撮像装置の構成例を示すブロック図である。 制御部の構成例を示すブロック図である。 自動撮像モードによる撮像処理の概要を説明する図である。 自動撮像モードによる撮像処理の例を説明するフローチャートである。 表情評価値算出処理を説明するフローチャートである。 自動撮像モードによる撮像処理の他の例を説明するフローチャートである。 自動撮像モードによる撮像処理のさらに他の例を説明するフローチャートである。 雲台を使用しての自動撮像モードによる撮像処理の例を説明するフローチャートである 閾値調整処理の例を説明するフローチャートである。 閾値調整処理の他の例を説明するフローチャートである。 コンピュータの構成例を示すブロック図である。

以下、本開示を実施するための形態（以下実施の形態とする）について説明する。

[撮像装置の構成例]
図１は、本技術を適用した画像処理装置の一例としての撮像装置の構成例を示すブロック図である。

図１に示す撮像装置１１は、デジタルスチルカメラなどで構成され、例えば、雲台１２に搭載し、雲台１２と接続することができる。

雲台１２は、被写体を様々な角度から撮像するために、搭載（接続）された撮像装置１１の通信による制御のもと、撮像装置１１を左右（パン：水平方向）に回転移動させたり、撮像装置１１の画角を上下（チルト：垂直方向）に動作させたりする。なお、動作制御を、雲台１２に内蔵するように構成してもよい。

撮像装置１１は、レンズ２１、撮像素子２２、アナログ信号処理部２３、A/D変換部２４、制御部２５、フォーカス部２６、アイリス部２７、およびズーム部２８を含むように構成されている。また、撮像装置１１は、表示部２９、記録部３０、操作部３１、メモリ３２、および雲台対応通信部３３を含むように構成されている。

レンズ２１は、図示せぬフォーカス機構、アイリス機構、およびズーム機構を有している。被写体光は、レンズ２１を介して、撮像素子２２に結像する。撮像素子２２は、例えば、CCD(Charge Coupled Device)やCMOS (Complementary Metal Oxide Semiconductor)などの光電変換デバイスで構成される。撮像素子２２は、結像した被写体光を取り込み、電気信号に変換し、変換した電気信号をアナログ信号処理部２３に出力する。

アナログ信号処理部２３は、撮像素子２２からの電気信号に対して、ガンマ補正やホワイトバランスなどの信号処理を施し、信号処理後の電気信号を、A/D変換部２４に出力する。A/D変換部２４は、アナログ信号処理部２３からの電気信号に対して、A/D変換を行い、変換後のデジタル画像データを、制御部２５に出力する。

制御部２５は、操作部３１からの操作信号またはメモリ３２に展開されたプログラムに基づいて、撮像装置１１の各部の動作を統括的に制御する制御回路である。すなわち、制御部２５は、A/D変換部２４からのデジタル画像データに対して所定の処理を行い、処理後の画像データを、表示部２９に表示させたり、記録部３０やメモリ３２に記録させる。また、制御部２５は、フォーカス部２６、アイリス部２７、およびズーム部２８を制御し、撮像制御を行う。さらに、制御部２５は、雲台１２を使用する自動撮像モードにおいて、雲台対応通信部３３で通信を行うことにより、雲台１２のパン・チルトなどの動作を制御する。

フォーカス部２６は、レンズ２１のフォーカス機構を駆動させる。アイリス部２７は、レンズ２１のアイリス機構を駆動させる。ズーム部２８は、レンズ２１のズーム機構を駆動させる。

表示部２９は、例えば、液晶表示素子からなり、制御部２５で生成された表示用の画像データに対応する画像を表示させる。記録部３０は、ICメモリカードまたは内蔵メモリなどからなり、制御部２５からのデータを記録する。

操作部３１は、表示部２９に積層されるタッチパネルや、筐体に設けられるボタン、スイッチ、およびダイヤルなどからなり、ユーザの操作に対応する信号を制御部２５に入力する。例えば、操作部３１がタッチパネルで構成される場合、操作部３１は、ユーザの操作を検出し、検出位置に応じた信号を制御部２５に入力する。

メモリ３２は、RAM(Random Access Memory)などで構成され、所定のプログラムが展開されたり、制御部２５で処理したデータの一時記憶領域として利用される。

雲台対応通信部３３は、雲台１２との間で所定の通信方式に従った通信を行う。例えば、雲台対応通信部３３は、制御部２５からの動作制御信号などを、雲台１２に送信し、雲台１２からの応答信号などを制御部２５に送信する。

[制御部の構成例]
図２は、カメラの動作モードが自動撮像モードに遷移した場合の制御部の構成例を示す図である。自動撮像モードへの遷移は、例えば、操作部３１を介して、ユーザにより自動撮像モードのＯＮが指示されることにより行われる。

図２の例においては、制御部２５は、顔検出部５１、表情評価部５２、閾値制御部５３、および抽出部５５を含むように構成される。

A/D変換部２４からの画像データは、顔検出部５１および抽出部５５に入力される。また、この画像データは、表示部２９にも入力され、表示部２９には、スルー画像が表示されている。

顔検出部５１は、A/D変換部２４からの画像データの画像から、人間の顔を検出し、検出した顔が複数ある場合、検出した顔の位置や、大きさなどの情報を、表情評価部５２に供給する。なお、顔の検出には、例えば、特許文献１に記載の技術などが用いられる。また、顔検出部５１は、子供判定部６１を内蔵している。子供判定部６１は、検出した人間の顔のうち、子供の顔であるか大人の顔であるかを判定し、その判定結果を、表情評価部５２に供給する。ここで、大人であるか子供であるかの判定は、例えば、大人および子供の各学習データが用いられて行われる。

表情評価部５２は、顔検出部５１により画像から検出された各顔の表情に対して、表情１の評価値、表情２の評価値、表情３の評価値を算出する。そして、表情評価部５２は、検出した各顔の表情が、どの表情１乃至表情３に分類されるかを決定し、分類された表情の評価値を加算する。表情１乃至表情３とは、表情の種類のことであり、例えば、笑顔、泣き顔、得意顔、怒り顔、および変顔などがあげられる。なお、表情は、３種類に限らず、もっと多くの表情に分類することも可能である。

表情評価部５２は、決定された各表情１乃至表情３の人数と、それぞれの評価値を、閾値制御部５３に供給する。また、表情評価部５２は、顔検出部５１により検出された顔の位置の情報や、子供判定部６１からの子供であるか大人であるかの判定結果も、必要に応じて、閾値制御部５３に供給する。

閾値制御部５３は、各表情１乃至表情３に対してそれぞれ閾値を保持している。閾値制御部５３は、表情評価部５２からの情報を用い、決定された各表情１乃至表情３の人数と、それぞれの評価値とに基づいて、例えば、最も人数の少ない表情の閾値を変更する。閾値制御部５３は、表情１乃至表情３の評価値と、それぞれの評価値に対応する各閾値を、抽出部５５に供給する。

抽出部５５は、表情１乃至表情３の評価値のすべての評価値が、それぞれ、対応する閾値以上になった場合、入力された画像データから、画像を一か所だけ抽出（選択）する処理である、シャッタ処理を行う。

抽出部５５においては、画像を抽出する一例として、撮像装置１１においては、例えば、入力された画像データに対するシャッタ処理が行われる。ここで、シャッタ処理とは、自動シャッタのことを示す。すなわち、抽出部５５は、閾値（基準）を満たす画像を抽出する。抽出部５５は、抽出された（すなわち、シャッタ処理が施された）画像データを、記録部３０に供給し、記録させる。

すなわち、撮像装置１１における自動撮像モードとは、すべての表情の評価値が、それぞれ対応する閾値以上になった場合に自動でシャッタ処理が行われるモードのことである。

なお、画像抽出の例として、シャッタ処理の他に、複数ある画像の中から該当する画像にメタデータを付与する処理や、複数ある画像の中から該当する画像だけを記録する処理などがあげられる。

[自動撮像モードによる撮像処理の概要]
次に、図３を参照して、上述した自動撮像モードによる撮像処理の概要を説明する。

被写体光は、レンズ２１を介して、撮像素子２２に結像する。撮像素子２２は、結像した被写体光を取り込み、電気信号に変換し、変換した電気信号をアナログ信号処理部２３に出力する。アナログ信号処理部２３は、撮像素子２２からの電気信号に対して、ガンマ補正やホワイトバランスなどの信号処理を施し、信号処理後の電気信号を、A/D変換部２４に出力する。A/D変換部２４は、アナログ信号処理部２３からの電気信号に対して、A/D変換を行い、変換後のデジタル画像データを、制御部２５に出力する。

制御部２５は、デジタル画像データを、表示部２９に出力し、表示部２９には、デジタル画像データに対応する、図３のＡに示される画像１０１が表示される。表示部２９には、上に３人の人物、下の中央に泣き表情の人物がいる画像１０１が表示されている。上の人物は、左から、表情なし、笑顔、笑顔の表情をしている。

このような状態で、ユーザは、操作部３１を用いて、自動撮像モードをＯＮに設定する。制御部２５は、操作部３１を介して入力される自動撮像モードＯＮのポーリング処理を読み込み、撮像装置１１の動作モードを自動撮像モードに遷移させる。そして、制御部２５は、表示部２９の画像１０１上に、図３のＢに示されるように、自動撮像モードがＯＮしたことを示す画像１０２を重畳させるとともに、図２の各部を起動させる。

顔検出部５１は、A/D変換部２４からの画像データの画像から、人間の顔を４つ検出し、検出した顔の位置、大きさなどの情報を、表情評価部５２に供給する。

表情評価部５２は、まず、図３のＣの点線に示されるように、左上の人物に対して、各表情の評価値を算出する。左上の人物の表情は、算出した各表情の評価値に基づき、表情なしとされる。表情なしの場合、どの表情にも分類されない。なお、自動撮像モードへの遷移後、自動撮像モードがＯＮしたことを示す画像１０３は、自動撮像モードへの遷移中よりも小さく、左下側に表示される。

次に、表情評価部５２は、図３のＤの点線に示されるように、中央上の人物に対して、各表情の評価値を算出する。中央上の人物の表情は、算出した各表情の評価値に基づき、笑顔（表情１）と分類され、笑顔の人数が２となる。

次に、表情評価部５２は、図３のＦの点線に示されるように、右上の人物に対して、各表情の評価値を算出する。右上の人物の表情は、算出した各表情の評価値に基づき、笑顔（表情１）と分類され、笑顔の人数が３となる。

表情評価部５２は、図３のＧの点線に示されるように、中央下の人物に対して、各表情の評価値を算出する。中央下の人物の表情は、算出した各表情の評価値に基づき、泣き顔（表情２）と分類され、泣き顔の人数が１となる。なお、図３のＣ乃至Ｇの点線は、説明の便宜上示されているだけであり、実際の画像１０１には表示されない。

表情評価部５２は、表情検出を行う人数と、画角内の人数４とを画角内に検出された人数４とを比較し、同じ４になったので、表情評価算出を終了する。閾値制御部５３は、画像１０１において、各表情の評価値と数とを参照して、基準の変更を行う。閾値制御部５３は、例えば、最も人数の少ない表情である、泣き顔の閾値を１段階下げることで、基準の変更を行う。閾値制御部５３は、表情１乃至表情３の評価値と、対応する閾値を、抽出部５５に供給する。

そして、抽出部５５は、表情１および表情３の評価値が対応する各閾値をそれぞれ超え、さらに、表情２（泣き顔）の評価値が、基準が変更された閾値を超えたとき、シャッタ処理を行う。抽出部５５は、図３のＨに示されるように、入力された画像データから、静止画を抽出する処理である、シャッタ処理を行い、シャッタ処理が施された、すなわち、抽出された静止画像データを、記録部３０に供給し、記録させる。

すなわち、自動撮像モードにおいては、すべての表情の評価値が、それぞれの閾値を超えたときに、静止画が抽出される。これにより、みんな笑顔とかではなくても、すなわち、表情が違っていても、静止画が抽出される。

そして、基準の変更において、閾値を１段階下げることにより、画像抽出に対する判定処理の判定基準が甘くなる。判定基準が甘くなることにより、基準を変更した表情、すなわち、最も人数の少ない表情が抽出されやすくなる。

周囲とは異なる顔、換言するに、最も人数の少ない表情の顔をしている人が、その場の中心人物であったり、主役であったりすることが多く、なるべく、その人物の画像をより多く抽出（取得）したい。したがって、以上のようにすることで、例えば、少ない表情をしている人物（＝主役）の画像をより多く撮像することが可能となる。

なお、閾値を１段階下げるとしたが、段階は、１段階に限定されない。また、基準の変更方法としては、閾値を下げることに限定されず、数が少ない表情を含む画像が抽出されやすくなるような基準の変更方法であれば、どんな方法であってもよい。例えば、数が多い表情の閾値を上げてもよいし、あるいは、数が少ない表情の評価値に１より大きいゲインをかけるようにしてもよい。

[自動撮像モードによる撮像処理の例]
次に、図４のフローチャートを参照して、撮像装置１１の自動撮像モードによる撮像処理について説明する。例えば、この処理は、上述したように、ユーザは、操作部３１を用いて、自動撮像モードをＯＮに設定する。これに対応して、制御部２５により、撮像装置１１の動作モードが自動撮像モードに遷移されることにより開始される。

撮像素子２２は、レンズ２１を介して、結像した被写体光を取り込み、電気信号に変換し、変換した電気信号をアナログ信号処理部２３に出力する。アナログ信号処理部２３は、撮像素子２２からの電気信号に対して、ガンマ補正やホワイトバランスなどの信号処理を施し、信号処理後の電気信号を、A/D変換部２４に出力する。そして、顔検出部５１には、A/D変換部２４によりA/D変換された画像データが入力される。

ステップＳ１１において、顔検出部５１は、A/D変換部２４からの画像データの画像から、人間の顔を検出し、検出した人間の顔に基づいて、画角内の人数を算出する。ステップＳ１２において、顔検出部５１は、画角内の人数が１以上であるか否かを判定する。

ステップＳ１２において、顔検出部５１は、画角内の人数が１以上であると判定された場合、顔検出部５１は、検出した顔の位置、大きさなどの情報を、表情評価部５２に供給し、処理は、ステップＳ１３に進む。

ステップＳ１３において、表情評価部５２は、表情評価値算出処理を行う。この表情評価値算出処理の詳細は、図５を参照して後述されるが、ステップＳ１３の処理により、決定された各表情１乃至表情３の人数と、それぞれの評価値が算出される。算出された各表情１乃至表情３の人数と各評価値は、閾値制御部５３に供給される。

閾値制御部５３は、ステップＳ１４において、表情評価部５２からの各表情１乃至表情３の人数と各評価値とを参照して、最も人数の少ない表情があるか否かを判定する。例えば、表情１（笑顔）が２で、表情２（泣き顔）が１で、表情３（得意顔）が２だった場合、ステップＳ１４において、最も人数の少ない表情があると判定され、処理は、ステップＳ１５に進む。

ステップＳ１５において、閾値制御部５３は、最も人数の少ない表情である表情２（泣き顔）の閾値を１段階下げる。なお、図４の例においては、最も人数の少ない表情が複数ある場合も、ステップＳ１５に進み、ステップＳ１５において、複数の最も人数の少ない表情に対して、閾値が下げられる。そして、閾値制御部５３は、表情１乃至表情３の評価値と、それぞれの評価値に対応する各閾値を、抽出部５５に供給する。

ステップＳ１４において、最も人数の少ない表情がないと判定された場合、ステップＳ１５はスキップされ、処理は、ステップＳ１６に進む。なお、画角内の人数が１人、または２人のときも、ステップＳ１４においては、最も人数の少ない表情がないと判定されるものとする。そして、閾値制御部５３は、表情１乃至表情３の評価値と、それぞれの評価値に対応する各閾値を、抽出部５５に供給する。

ステップＳ１６において、抽出部５５は、各表情の評価値が対応する閾値をそれぞれ超えたか否かを判定する。ステップＳ１６において、各表情の評価値が対応する閾値をそれぞれ超えたと判定された場合、処理は、ステップＳ１７に進む。

ステップＳ１７において、抽出部５５は、入力された画像データから、画像を抽出する。抽出部５５は、抽出された（すなわち、シャッタ処理が施された）画像データを、記録部３０に供給し、記録させる。なお、ここで施されるシャッタ処理は、１回に限らず、複数回でもよい。

また、ステップＳ１６において、各表情の評価値が対応する閾値をそれぞれ超えていない、すなわち、表情の評価値が対応する閾値を超えてないものが１つでもあると判定された場合、ステップＳ１７の処理はスキップされ、処理は、ステップＳ１８に進む。

一方、ステップＳ１２において、顔検出部５１は、画角内の人数が０であると判定された場合、ステップＳ１３乃至Ｓ１７の処理はスキップされ、処理は、ステップＳ１８に進む。

ステップＳ１８において、顔検出部５１は、操作部３１を介して、ユーザからの処理終了の指示があったか否かを判定する。ステップＳ１８において、処理終了の指示がないと判定された場合、処理は、ステップＳ１１に戻り、それ以降の処理が繰り返される。

ステップＳ１８において、処理終了の指示があったと判定された場合、自動撮像モードによる撮像処理は、終了される。

以上のように、最も人数の少ない表情があると判定された場合に、最も人数の少ない表情の閾値を下げるようにしたので、最も人数の少ない表情（すなわち、中心であろう人物の表情）が含まれる画像が取得される可能性が高くなる。

なお、自動撮像モードの場合、ステップＳ１８の判定処理は、画像が抽出されたか否かを判定するようにして、１度画像が抽出されたら図４の撮像処理を終了するようにしてもよい。

また、図４の撮像処理が繰り返される場合には、図８を参照して後述する雲台１２を使用した場合の自動撮像モードの処理のように、画像の抽出後に、閾値調整を行うようにしてもよい。

[表情評価値算出処理]
次に、図５のフローチャートを参照して、図４のステップＳ１３の表情評価値算出処理について説明する。

表情評価部５２は、ステップＳ３１において、Ｎ＝１とし、ステップＳ３２において、１人目の表情評価値を算出する。例えば、１人目の表情について、表情１の度合を示す表情１の評価値、表情２の度合を示す表情２の評価値、および表情３の度合を示す表情３の評価値がそれぞれ算出される。

ステップＳ３３において、表情評価部５２は、算出した各表情の評価値に基づいて、１人目の表情を、表情１乃至表情３のいずれかの表情に分類する。表情評価部５２においては、例えば、各表情に対する学習データが用いられて分類される。なお、ステップＳ３３における分類の際にも閾値が用いられるが、この閾値は、図４のステップＳ１６において、用いられる画像抽出タイミングを決める閾値よりも小さい。

表情評価部５２は、ステップＳ３４において、分類した表情の人数に１を加算し、ステップＳ３５において、分類した表情の評価値に、ステップＳ３２により算出された評価値のうちの分類した１人目の表情の評価値を加算する。

表情評価部５２は、ステップＳ３６において、Ｎ＝Ｎ＋１とし、ステップＳ３７において、Ｎが画角内の人数以下であるか否かを判定する。ステップＳ３７において、Ｎが画角内の人数以下であると判定された場合、処理は、ステップＳ３２に戻り、それ以降の処理が繰り返される。ステップＳ３７において、Ｎが画角内の人数より多くなったと判定された場合、表情評価値算出処理は終了される。

[自動撮像モードによる撮像処理の他の例]
次に、図６のフローチャートを参照して、撮像装置１１の自動撮像モードによる撮像処理の子供優先の例について説明する。なお、図６のステップＳ５１乃至Ｓ５４およびステップＳ５９乃至Ｓ６１は、図４のステップＳ１１乃至Ｓ１４およびステップＳ１６乃至Ｓ１８と基本的に同様の処理であり、その詳細な説明は繰り返しになるので適宜省略される。

ステップＳ５１において、顔検出部５１は、A/D変換部２４からの画像データの画像から、人間の顔を検出し、検出した人間の顔に基づいて、画角内の人数を算出する。このとき、子供判定部６１は、検出した人間の顔のうち、子供の顔であるか大人の顔であるかを判定する。ステップＳ５２において、顔検出部５１は、画角内の人数が１以上であるか否かを判定する。

ステップＳ５２において、顔検出部５１は、画角内の人数が１以上であると判定された場合、顔検出部５１は、検出した顔の位置、大きさなどの情報を、表情評価部５２に供給し、処理は、ステップＳ５３に進む。子供判定部６１からの子供であるか大人であるかの判定結果も、必要に応じて、表情評価部５２に供給される。

ステップＳ５３において、表情評価部５２は、図５を参照して上述した表情評価値算出処理を行う。このステップＳ５３の処理により、決定された各表情１乃至表情３の人数と、それぞれの評価値が算出される。算出された各表情１乃至表情３の人数と各評価値は、閾値制御部５３に供給される。

閾値制御部５３は、ステップＳ５４において、表情評価部５２からの各表情１乃至表情３の人数と各評価値とを参照して、最も人数の少ない表情があるか否かを判定する。ステップＳ５４において、最も人数の少ない表情があると判定された場合、処理は、ステップＳ５５に進む。

ステップＳ５５において、閾値制御部５３は、最も人数の少ない表情が複数あるか否かを判定する。ステップＳ５５において、最も人数の少ない表情が１つしかないと判定された場合、処理は、ステップＳ５６に進む。ステップＳ５６において、閾値制御部５３は、最も人数の少ないと判定された表情の閾値を１段階下げ、表情１乃至表情３の評価値と、それぞれの評価値に対応する各閾値を、抽出部５５に供給し、処理は、ステップＳ５９に進む。

例えば、表情１（笑顔）が３人で、表情２（泣き顔）が２人で、表情３（得意顔）が２人だった場合、最も人数の少ない表情が複数あるので、ステップＳ５５において、最も人数の少ない表情が複数あると判定されて、処理は、ステップＳ５７に進む。

例えば、表情１が１人、表情２が１人、表情３が１人の場合、表情１が２人、表情２が２人、表情３が２人の場合など、同数の表情がある場合や、表情１が１人、表情２が１人、表情３が２人などの場合も、ステップＳ５５において、最も人数の少ない表情が複数あると判定される。

ここで、子供判定部６１からの子供であるか大人であるかの判定結果は、表情評価部５２を介して、閾値制御部５３に供給されている。ステップＳ５７において、閾値制御部５３は、最も人数の少ない表情のうち、子供の人数が多い表情があるか否かを判定する。すなわち、表情２（泣き顔）の２人のうち、１人の表情が子供の表情であって、表情３（得意顔）の２人のうち、２人ともの表情が子供の表情である場合、表情３が、最も人数の少ない表情のうち、子供の人数が多い表情であるとされる。

ステップＳ５７において、最も人数の少ない表情のうち、子供の人数が多い表情があると判定された場合、処理は、ステップＳ５８に進む。ステップＳ５８において、閾値制御部５３は、最も人数の少ない表情のうち、子供の人数が多い表情（表情３）の閾値を１段階下げ、表情１乃至表情３の評価値と、それぞれの評価値に対応する各閾値を、抽出部５５に供給し、処理は、ステップＳ５９に進む。

ステップＳ５７において、最も人数の少ない表情のうち、子供の人数が多い表情がないと判定された場合、ステップＳ５８の処理はスキップされ、処理は、ステップＳ５９に進む。このとき、閾値制御部５３は、表情１乃至表情３の評価値と、それぞれの評価値に対応する各閾値を、抽出部５５に供給する。

ステップＳ５９において、抽出部５５は、各表情の評価値が対応する閾値をそれぞれ超えたか否かを判定する。ステップＳ５９において、各表情の評価値が対応する閾値をそれぞれ超えたと判定された場合、処理は、ステップＳ６０に進む。ステップＳ６０において、抽出部５５は、入力された画像データから、画像を抽出する。抽出部５５は、抽出された（すなわち、シャッタ処理が施された）画像データを、記録部３０に供給し、記録させる。

また、ステップＳ５９において、表情の評価値が対応する閾値を超えていないものが１つでもあると判定された場合、ステップＳ６０の処理はスキップされ、処理は、ステップＳ６１に進む。

一方、ステップＳ５２において、顔検出部５１は、画角内の人数が０であると判定された場合、ステップＳ５３乃至Ｓ６０の処理はスキップされ、処理は、ステップＳ６１に進む。

ステップＳ６１において、顔検出部５１は、操作部３１を介して、ユーザからの処理終了の指示があったか否かを判定する。ステップＳ６１において、処理終了の指示がないと判定された場合、処理は、ステップＳ５２に戻り、それ以降の処理が繰り返される。

ステップＳ６１において、処理終了の指示があったと判定された場合、自動撮像モードによる撮像処理は、終了される。

以上のように、最も人数の少ない表情が複数あると判定された場合に、その複数の表情のうち、子供の人数が多い表情の閾値を下げるようにしたので、最も人数の少ない表情で、その表情の中に子供の表情が多く含まれる画像が取得される可能性が高くなる。

子供がいる集まりにおいては、子供を中心に撮影することが多いので、このようにすることで、子供のいろいろな表情の画像が取得される可能性が高くなる。

[自動撮像モードによる撮像処理の他の例]
次に、図７のフローチャートを参照して、撮像装置１１の自動撮像モードによる撮像処理の画角中央優先の例について説明する。なお、図７のステップＳ８１乃至Ｓ８４およびステップＳ８９乃至Ｓ９１は、図４のステップＳ１１乃至Ｓ１４およびステップＳ１６乃至Ｓ１８と基本的に同様の処理であり、その詳細な説明は繰り返しになるので適宜省略される。

ステップＳ８１において、顔検出部５１は、A/D変換部２４からの画像データの画像から、人間の顔を検出し、検出した人間の顔に基づいて、画角内の人数を算出する。ステップＳ８２において、顔検出部５１は、画角内の人数が１以上であるか否かを判定する。

ステップＳ８２において、顔検出部５１は、画角内の人数が１以上であると判定された場合、顔検出部５１は、検出した顔の位置、大きさなどの情報を、表情評価部５２に供給し、処理は、ステップＳ８３に進む。

ステップＳ８３において、表情評価部５２は、図５を参照して上述した表情評価値算出処理を行う。このステップＳ８３の処理により、決定された各表情１乃至表情３の人数と、それぞれの評価値が算出される。算出された各表情１乃至表情３の人数と各評価値は、閾値制御部５３に供給される。

閾値制御部５３は、ステップＳ８４において、表情評価部５２からの各表情１乃至表情３の人数と各評価値とを参照して、最も人数の少ない表情があるか否かを判定する。ステップＳ８４において、最も人数の少ない表情があると判定された場合、処理は、ステップＳ８５に進む。

ステップＳ８５において、閾値制御部５３は、最も人数の少ない表情が複数あるか否かを判定する。ステップＳ８５において、最も人数の少ない表情が１つしかないと判定された場合、処理は、ステップＳ８６に進む。ステップＳ８６において、閾値制御部５３は、最も人数の少ないと判定された表情の閾値を１段階下げ、表情１乃至表情３の評価値と、それぞれの評価値に対応する各閾値を、抽出部５５に供給し、処理は、ステップＳ８９に進む。

例えば、表情１（笑顔）が３で、表情２（泣き顔）が２で、表情３（得意顔）が２だった場合、最も人数の少ない表情が複数あるので、ステップＳ８５において、最も人数の少ない表情が複数あると判定されて、処理は、ステップＳ８７に進む。

ここで、顔検出部５１により検出された顔の位置の情報は、表情評価部５２を介して、閾値制御部５３に供給されている。ステップＳ８７において、閾値制御部５３は、最も人数の少ない表情のうち、画角中央に最も近い人物の表情があるか否かを判定する。例えば、画角の中央に最も近い人物が、泣き顔をしていた場合、ステップＳ８７において、最も人数の少ない表情のうち、画角中央に最も近い人物の表情（表情２：泣き顔）があると判定され、処理は、ステップＳ８８に進む。

ステップＳ８８において、閾値制御部５３は、最も人数の少ない表情のうち、画角中央に最も近い人物の表情（表情２：泣き顔）の閾値を１段階下げ、表情１乃至表情３の評価値と、それぞれの評価値に対応する各閾値を、抽出部５５に供給し、処理は、ステップＳ８９に進む。

ステップＳ８７において、最も人数の少ない表情のうち、画角中央に最も近い人物の表情がないと判定された場合、ステップＳ８８の処理はスキップされ、処理は、ステップＳ８９に進む。このとき、閾値制御部５３は、表情１乃至表情３の評価値と、それぞれの評価値に対応する各閾値を、抽出部５５に供給する。

ステップＳ８９において、抽出部５５は、各表情の評価値が対応する閾値をそれぞれ超えたか否かを判定する。ステップＳ８９において、各表情の評価値が対応する閾値をそれぞれ超えたと判定された場合、処理は、ステップＳ９０に進む。ステップＳ９０において、抽出部５５は、入力された画像データから、画像を抽出する。抽出部５５は、抽出された（すなわち、シャッタ処理が施された）画像データを、記録部３０に供給し、記録させる。

また、ステップＳ８９において、表情の評価値が対応する閾値を超えていないものが１つでもあると判定された場合、ステップＳ９０の処理はスキップされ、処理は、ステップＳ９１に進む。

一方、ステップＳ８２において、顔検出部５１は、画角内の人数が０であると判定された場合、ステップＳ８３乃至Ｓ９０の処理はスキップされ、処理は、ステップＳ９１に進む。

ステップＳ９１において、顔検出部５１は、操作部３１を介して、ユーザからの処理終了の指示があったか否かを判定する。ステップＳ９１において、処理終了の指示がないと判定された場合、処理は、ステップＳ８２に戻り、それ以降の処理が繰り返される。

ステップＳ９１において、処理終了の指示があったと判定された場合、自動撮像モードによる撮像処理は、終了される。

以上のように、最も人数の少ない表情が複数あると判定された場合に、その複数の表情のうち、画角中央に最も近い人物の表情と同じ表情の閾値を下げるようにした。これにより、最も人数の少ない表情で、かつ、画角中央に最も近い人物の表情が含まれる画像が取得される可能性が高くなる。

例えば、結婚式においては、新郎新婦が画角中央配置されるなど、画角中央には、中心となる人物が配置される可能性が高いので、このようにすることで、中心となる人物のいろいろな表情の画像が取得される可能性が高くなる。

なお、図６の子供優先の例と図７の画角中央優先の例とを並列で行うようにしてもよい。この場合、例えば、図６のステップＳ５７のＮｏの場合に、図７のステップＳ８７およびＳ８８を入れてもよい。逆に、図７のステップＳ８７のＮｏの場合に、図６のステップＳ５７およびＳ５８を入れてもよい。

また、上述した本技術は、雲台１２を使用して、自動的にシャッタを何枚も切る機能にも適用可能である。この機能は、例えば、特許文献５に記載されている。このような機能に本技術を適用した場合の例を、雲台１２を使用しての自動撮像モードとして、以下に説明する。

[雲台を使用しての自動撮像モードによる撮像処理の例]
撮像装置１１は、雲台１２を使用して、カメラ動作モードを自動撮像モードに設定する。これにより、撮影装置１１においては、雲台１２を使用して、撮像装置１１を左右（パン：水平方向）に回転移動させたり、撮像装置１１の画角を上下（チルト：垂直方向）に動作させたりして、撮像装置１１の周囲の様々な被写体に対して数多くの撮影が行われる。

すなわち、雲台１２を使用しての自動撮像モードの場合の撮像処理は、処理終了の指示があるまでに、シャッタ処理（画像の抽出）が、繰り返し行われることが多い。したがって、この場合、閾値制御部５３は、表情の評価値が閾値を超えたかを判定する度に、その前に変更した基準（閾値）を元に戻す方向に調整する処理を行う閾値調整部にもなる。

次に、図８のフローチャートを参照して、撮像装置１１の雲台１２を使用しての自動撮像モードによる撮像処理の例について説明する。なお、図８のステップＳ１１１乃至Ｓ１１７は、図４のステップＳ１１乃至Ｓ１７と基本的に同様の処理であり、その詳細な説明は繰り返しになるので省略される。

ステップＳ１１６において、各表情の評価値がそれぞれ閾値を超えたと判定されて、ステップＳ１１７において、画像が抽出された後、処理は、ステップＳ１１８に進む。あるいは、ステップＳ１１６において、表情の評価値が１つでも対応する閾値を超えていないと判定された後、処理はステップＳ１１８に進む。

ステップＳ１１８において、閾値制御部５３は、ステップＳ１１８において、閾値調整処理を行う。この閾値調整処理の例を、図９のフローチャートを参照して説明する。

ステップＳ１３１において、閾値制御部５３は、ステップＳ１１７で画像が抽出されたか否かを判定する。ステップＳ１３１において、画像が抽出されたと判定された場合、処理は、ステップＳ１３２に進む。

ステップＳ１３２において、閾値制御部５３は、表情の閾値を上げる。なお、ここで閾値調整の対象となる表情は、ステップＳ１１５で閾値を下げられた表情であってもよいし、人数の少ない表情であってもよいし、また、所定の閾値に比べて評価値の最も高い表情であってもよい。すなわち、閾値を上げる対象の表情は、これらに限定されず、さまざまな方法がある。

また、基準の調整方法も、基準の変更方法と同様に、閾値を上げる方法に限定されず、例えば、閾値を下げる方法や、評価値に対するゲインの調整などであってもよい。

一方、ステップＳ１３１において、ステップＳ１１７で画像が抽出されていないと判定された場合、ステップＳ１３２はスキップされ、閾値調整処理は終了され、処理は、図８のステップＳ１１９に進む。

ステップＳ１１９において、顔検出部５１は、操作部３１を介して、ユーザからの処理終了の指示があったか否かを判定する。ステップＳ１１９において、処理終了の指示がないと判定された場合、処理は、ステップＳ１１１に戻り、それ以降の処理が繰り返される。なお、雲台１２を使用する自動撮像モードの場合、このステップＳ１１１の前に、制御部２５は、フォーカス部２６、アイリス部２７、ズーム部２８、および雲台対応通信部３３を介して接続される雲台１２の動作を制御し、撮像する範囲などを変更する。

ステップＳ１１９において、処理終了の指示があったと判定された場合、自動撮像モードによる撮像処理は、終了される。

以上のように、雲台１２の使用においては、画像が抽出される度に、基準を調整するようにしたので、閾値が下がり過ぎてしまうのを防止することができる。さらに、同じ構図が撮像されることを抑制することができる。これにより、例えば、笑顔ばかりの構図に限られることなく、いろいろな構図を撮像することが可能となる。

なお、図９の例においては、雲台１２を使用の場合の例として、図４を参照して上述した自動撮像モードの処理の例を説明したが、その例に限らない。すなわち、雲台１２を使用した場合にも、図６を参照して上述した子供優先の例や、図７を参照して上述した中央位置優先の例の処理を行うことができる。

[閾値調整処理の例]
さらに、図１０のフローチャートを参照して、図８のステップＳ１１８の閾値調整処理の他の例について説明する。なお、図１０のステップＳ１５１およびＳ１５２は、図９のステップＳ１３１およびＳ１３２と基本的に同じ処理であるので、その詳細な説明は適宜省略される。

ステップＳ１５１において、閾値制御部５３は、図８のステップＳ１１７で画像が抽出されたか否かを判定する。ステップＳ１５１において、画像が抽出されたと判定された場合、処理は、ステップＳ１５２に進む。

ステップＳ１５２において、閾値制御部５３は、表情の閾値を上げ、処理は、ステップＳ１５３に進む。

一方、ステップＳ１５１において、ステップＳ１１７で画像が抽出されていないと判定された場合、ステップＳ１５２はスキップされ、処理は、ステップＳ１５３に進む。

ステップＳ１５３において、閾値制御部５３は、内蔵するタイマがＮ（所定時間）以上であるか否かを判定する。なお、タイマは、後述するステップＳ１５６において開始される。

ステップＳ１５３において、タイマがＮ以上である、すなわち、Ｎを経過したと判定された場合、処理は、ステップＳ１５４に進む。閾値制御部５３は、ステップＳ１５４において、ステップＳ１５２で上げられた表情の閾値を下げ、ステップＳ１５５において、タイマを０に設定する。

ステップＳ１５３において、タイマがＮ未満である、すなわち、まだＮを経過していないと判定された場合、ステップＳ１５４乃至Ｓ１５５をスキップし、ステップＳ１５６に進む。

ステップＳ１５６において、閾値制御部５３は、ステップＳ１５６において、タイマを開始し、閾値調整処理を終了する。

以上のように、画像が抽出される度に閾値調整により上がっていく閾値が、所定時間ごとに下げられる。これにより、例えば、画像が抽出される度に閾値調整により閾値が上がっていくことによって生じる恐れがある、いずれ閾値が高すぎて画像が抽出されなくなってしまうことを避けることができる。

なお、図１０の例においては、所定時間経過したら、閾値を下げる例を説明したが、例えば、画像が抽出されない回数をカウントし、その回数が一定数を超えたら、閾値を下げるようにすることも可能である。

なお、上記説明においては、画像の抽出処理の例として、シャッタ処理を行う例を説明したが、画像の抽出処理としては、シャッタ処理に限定されない。本技術の画像の抽出は、例えば、記録画像の画像処理時、再生時などに行われる記録画像の画像抽出に適用できる。また、一例として、画像抽出の決定を先にやっておいて、メタデータとして保存しておき、後で処理する場合にも適用できる。

なお、画像抽出の一例として、シャッタを自動的に切る例を説明したが、切るのでなく、今、シャッタチャンスであることをユーザ示唆（指示）するユーザへの指示処理であってもよい。

さらに、本技術は、ユーザへの指示処理として、「この画像を抜き出すとよいですよ」など、ユーザに特定の処理（この場合は、画像の抽出処理）を行うように促す表示（音声出力）などにも適用することができる。

また、本技術は、例えば、スチルカメラに限定されることなく、デジタルビデオカメラレコーダにも適用できる。デジタルビデオカメラレコーダに適用する場合、例えば、メタデータを動画と合わせて記録、または動画から、静止画を抽出またはメタデータを付与することができる。このメタデータの付与も抽出に相当する。これにより、再生時に重要な画像を認識することができる。なお、デジタルビデオカメラレコーダの場合、動画記録中に本条件に合うものを抽出する（メタデータの付与も含む）こともできる。

本技術を記録機能がないカメラ、すなわち、カメラ側では処理せず、構図決めは受信側（パーソナルコンピュータや監視カメラシステムの受信側(サーバ）)などで行う場合にも適用できる。

さらに、本技術は、プリンタ、アルバム、サムネイル、またはスライドショーにも適用できる。

すなわち、具体的には、プリンタとしては、予め記録されている複数の画像から、本技術に基づいて抽出した画像をプリントアウトすることなどが考えられる。アルバムやスライドショーとしては、抽出した複数の画像からアルバムやスライドショーを作ることなどが考えられる。また、本技術に基づいて抽出した画像をサムネイルとする、抽出した画像でサムネイルの一覧を作る。さらに、サムネイル画像に本技術を適用して抽出することなどが考えられる。

上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、又は、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、プログラム記録媒体からインストールされる。

[コンピュータの構成例]
図１１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータにおいて、CPU(Central Processing Unit)２０１、ROM(Read Only Memory)２０２、RAM(Random Access Memory)２０３は、バス２０４により相互に接続されている。

バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、およびドライブ２１０が接続されている。

入力部２０６は、キーボード、マウス、マイクロホンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。

以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを入出力インタフェース２０５及びバス２０４を介してRAM２０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、システムの用語は、複数の装置、ブロック、手段などにより構成される全体的な装置を意味するものである。

なお、本開示における実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有するであれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例また修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、本技術は以下のような構成も取ることができる。
（１） 入力画像から顔を検出する顔検出部と、
前記顔検出部により検出された顔の表情毎に表情の度合を示す評価値を算出する評価値算出部と、
前記顔検出部により検出された顔の表情毎の人数と、前記評価値算出部により算出された前記顔の表情毎の評価値とに基づいて、人数が少ない表情を含む画像が抽出されやすくなるように、前記画像を抽出するための基準を変更する制御部と
を備える画像処理装置。
（２） 前記制御部は、前記人数が少ない表情が複数あった場合、前記人数が少ない複数の表情のうち、子供の人数が最も多い表情を含む画像が抽出されやすくなるように、前記基準を変更する
前記（１）に記載の画像処理装置。
（３） 前記制御部は、前記人数が少ない表情が複数あった場合、前記人数が少ない表情のうち、前記人数が少ない表情の人が最も画角中央に近くにいる表情を含む画像が抽出されやすくなるように、前記基準を変更する
前記（１）または（２）に記載の画像処理装置。
（４） 前記制御部により変更された基準に基づいて、前記人数が少ない表情を含む画像を抽出する処理を行う抽出部を
さらに備える
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（５） 前記抽出部による処理は、前記入力画像の記録処理である
前記（４）に記載の画像処理装置。
（６） 前記抽出部による処理は、自動的にシャッタを切る処理である
前記（４）に記載の画像処理装置。
（７） 前記抽出部による処理は、ユーザへの指示処理である
前記（４）に記載の画像処理装置。
（８） 前記抽出部による処理は、メタデータの付与処理である
前記（４）に記載の画像処理装置。
（９） 被写体を撮像し、前記入力画像を入力する撮像部と、
前記撮像部を備える筐体を搭載する雲台の駆動を制御する雲台制御部と
をさらに備える
前記（４）に記載の画像処理装置。
（１０） 前記抽出部により抽出する処理が行われた場合、前記制御部により変更された基準を元に戻す方向に調整する基準調整部を
さらに備える前記（９）に記載の画像処理装置。
（１１） 前記基準調整部は、所定の時間が経過した場合、前記制御部により変更された基準をさらに変更する方向に調整する
前記（１０）に記載の画像処理装置。
（１２） 前記制御部は、前記評価値に対応する閾値を下げる、または上げることにより、前記画像を抽出するための基準を変更する
前記（１）乃至（１１）のいずれかに記載の画像処理装置。
（１３） 前記制御部は、前記評価値にゲインをかけることにより、前記画像を抽出するための基準を変更する
前記（１）乃至（１１）のいずれかに記載の画像処理装置。
（１４） 画像処理装置が、
入力画像から顔を検出し、
検出された顔の表情毎に表情の度合を示す評価値を算出し、
検出された顔の表情毎の人数と、算出された前記顔の表情毎の評価値とに基づいて、人数が少ない表情を含む画像が抽出されやすくなるように、前記画像を抽出するための基準を変更する
画像処理方法。
（１５） 入力画像から顔を検出する顔検出部と、
前記顔検出部により検出された顔の表情毎に表情の度合を示す評価値を算出する評価値算出部と、
前記顔検出部により検出された顔の表情毎の人数と、前記評価値算出部により算出された前記顔の表情毎の評価値とに基づいて、人数が少ない表情を含む画像が抽出されやすくなるように、前記画像を抽出するための基準を変更する制御部と
して、コンピュータを機能させるプログラム。

１１ 撮像装置， １２ 雲台， ２１ レンズ、２２ 撮像素子， ２３ アナログ信号処理部， ２４ A/D変換部， ２５ 制御部， ２６ フォーカス部， ２７ アイリス部， ２８ ズーム部， ２９ 表示部， ３０ 記録部， ３１ 操作部， ３２ メモリ， ３３ 雲台対応通信部， ５１ 顔検出部， ５２ 表情評価部， ５３ 閾値制御部， ５５ 抽出部

Claims (15)

1. 入力画像から顔を検出する顔検出部と、
   前記顔検出部により検出された顔の表情毎に表情の度合を示す評価値を算出する評価値算出部と、
   前記顔検出部により検出された顔の表情毎の人数と、前記評価値算出部により算出された前記顔の表情毎の評価値とに基づいて、人数が少ない表情を含む画像が抽出されやすくなるように、前記画像を抽出するための基準を変更する制御部と
   を備える画像処理装置。
2. 前記制御部は、前記人数が少ない表情が複数あった場合、前記人数が少ない複数の表情のうち、子供の人数が最も多い表情を含む画像が抽出されやすくなるように、前記基準を変更する
   請求項１に記載の画像処理装置。
3. 前記制御部は、前記人数が少ない表情が複数あった場合、前記人数が少ない表情のうち、前記人数が少ない表情の人が最も画角中央に近くにいる表情を含む画像が抽出されやすくなるように、前記基準を変更する
   請求項１に記載の画像処理装置。
4. 前記制御部により変更された基準に基づいて、前記人数が少ない表情を含む画像を抽出する処理を行う抽出部を
   さらに備える請求項１に記載の画像処理装置。
5. 前記抽出部による処理は、前記入力画像の記録処理である
   請求項４に記載の画像処理装置。
6. 前記抽出部による処理は、自動的にシャッタを切る処理である
   請求項４に記載の画像処理装置。
7. 前記抽出部による処理は、ユーザへの指示処理である
   請求項４に記載の画像処理装置。
8. 前記抽出部による処理は、メタデータの付与処理である
   請求項４に記載の画像処理装置。
9. 被写体を撮像し、前記入力画像を入力する撮像部と、
   前記撮像部を備える筐体を搭載する雲台の駆動を制御する雲台制御部と
   をさらに備える請求項４に記載の画像処理装置。
10. 前記抽出部により抽出する処理が行われた場合、前記制御部により変更された基準を元に戻す方向に調整する基準調整部を
    さらに備える請求項９に記載の画像処理装置。
11. 前記基準調整部は、所定の時間が経過した場合、前記制御部により変更された基準をさらに変更する方向に調整する
    請求項１０に記載の画像処理装置。
12. 前記制御部は、前記評価値に対応する閾値を下げる、または上げることにより、前記画像を抽出するための基準を変更する
    請求項１に記載の画像処理装置。
13. 前記制御部は、前記評価値にゲインをかけることにより、前記画像を抽出するための基準を変更する
    請求項１に記載の画像処理装置。
14. 画像処理装置が、
    入力画像から顔を検出し、
    検出された顔の表情毎に表情の度合を示す評価値を算出し、
    検出された顔の表情毎の人数と、算出された前記顔の表情毎の評価値とに基づいて、人数が少ない表情を含む画像が抽出されやすくなるように、前記画像を抽出するための基準を変更する
    画像処理方法。
15. 入力画像から顔を検出する顔検出部と、
    前記顔検出部により検出された顔の表情毎に表情の度合を示す評価値を算出する評価値算出部と、
    前記顔検出部により検出された顔の表情毎の人数と、前記評価値算出部により算出された前記顔の表情毎の評価値とに基づいて、人数が少ない表情を含む画像が抽出されやすくなるように、前記画像を抽出するための基準を変更する制御部と
    して、コンピュータを機能させるプログラム。

Images