JP2010034685A - デジタルカメラ - Google Patents

Abstract

【課題】被写体人物に応じて撮影したい顔表情やジェスチャーの種類を設定または選択する手間を省くこと。
【解決手段】デジタルカメラに、被写体画像の中の人物画像についてその人物の年代と性別の少なくとも一方を推論する年代／性別推論部２２と、被写体の顔画像が年代／性別推論部２２の推論結果により決定される所定の顔表情に対応するか否かを検出する顔表情検出部２３と、顔表情検出部２３が所定の顔表情を検出すると自動撮影を行う自動撮影部２４とを設ける。
【選択図】図１

Description

本発明は、被写体の顔の表情又はジェスチャーを認識して自動的に撮影を行う機能を有するデジタルカメラに関する。

従来、被写体の顔を検出し、その顔が所定の表情、例えば、喜び、悲しみ、怒り、驚きといった特徴的な表情となった時に自動的に撮影を行うカメラが知られている（例えば、特許文献１参照）。例えば、乳幼児の笑顔を撮影したい場合、いつ笑顔になるかは予測し難い。特許文献１のカメラでは、予め撮影したい所定の表情を決めておき、その表情を検出した時に自動的に撮影するので、シャッタチャンスを逃さないという利点がある。

特開２００１−５１３３８号公報

しかしながら、被写体人物に応じて撮影者が撮影したいと思う表情は様々であり、被写体人物に相応しい表情を撮影するためには、被写体人物毎に、その表情を設定または選択しなければならないという煩わしさがあった。

（１）請求項１の発明によるデジタルカメラは、被写体を撮像し、被写体画像を出力する撮像手段と、被写体画像の中の人物画像に基づきその人物の年代と性別との少なくとも一方を推論する推論手段と、人物画像が推論結果により決定される所定の顔表情又は所定のジェスチャーに対応するか否かを検出する検出手段と、検出手段が所定の顔表情又は所定のジェスチャーを検出した時に、自動撮影を行う自動撮影手段とを備えたことを特徴とする。

本発明のデジタルカメラによれば、被写体人物の年代／性別に関する推論結果によって決定される顔表情又はジェスチャーを検出した時に自動撮影を行うので、ユーザーが被写体人物に応じて撮影したい顔表情又はジェスチャーを設定または選択する手間を省くことができる。

以下、本発明の実施の形態による電子スチルカメラについて、図１〜５を参照しながら説明する。
−第１の実施の形態−
図１は、本発明の第１の実施の形態によるデジタルカメラの構成を示すブロック図である。

図１に示されるように、デジタルカメラは、撮影レンズ１１、絞り１２、撮像素子１３、バッファメモリ１４、画像処理部１５、メモリーカードなどの画像記録部１６および制御部２０を備える。また、デジタルカメラは、顔検出部２１、年代／性別推論部２２、顔表情検出部２３、自動撮影部２４および液晶ディスプレイ２５を備える。さらに、デジタルカメラは、顔データ記憶部３１、年代／性別データ記憶部３２、顔表情データ記憶部３３、顔表情レベルデータ記憶部３４、顔登録データ記憶部３５、顔認識部３６、音声記録部３７、顔表情撮影モード設定部４０、顔表情設定部４１、顔表情レベル設定部４２、優先度設定部４３および画像検索部４４を備える。

撮影レンズ１１は、ズームレンズやフォーカスレンズを含む複数のレンズで構成され、被写体像を撮像素子１３上に結像する。図１では簡単のため、撮影レンズ１１は１枚のレンズで示されている。撮像素子１３は、撮影レンズ１１からの被写体光Ｌ１を光電変換することにより画像信号を生成する。

撮像素子１３から出力される画像信号は、バッファメモリ１４を介して画像処理部１５に送られ、ここで所定の種々の画像処理が施される。撮影開始前の段階では、撮像素子１３からの画像信号は、バッファメモリ１４、画像処理部１５および制御部２０を介して液晶ディスプレイ２５に送られ、スルー画像として表示される。撮影段階では、撮像素子１３からの画像信号は、バッファメモリ１４、画像処理部１５を介して画像記録部１６にて記録される。画像記録部１６は、画像情報にテキストまたは記号などの付加情報を付加して記録する。

顔検出部２１は、撮像素子１３からバッファメモリ１４、画像処理部１５、制御部２０を介して送られたスルー画像データを入力し、このスルー画像データを顔データ記憶部３１に予め記憶されている顔データと比較することにより、スルー画像中の被写体人物の顔を検出する。検出された顔領域の画像は、顔検出部２１から制御部２０へ送られる。顔データ記憶部３１は、例えば、眉、眼、鼻、唇の形状に関する特徴点のデータを記憶している。

顔検出には、例えば、特開２００１−１６５７３号公報に開示されている検出手法を用いることができる。この検出手法は、入力画像中から特徴点を抽出して被写体の顔領域、顔の大きさ等を検出するものである。特徴点としては、眉、眼、鼻、唇の各端点、および顔の輪郭点、例えば頭頂点や顎の下端点が挙げられる。

他の顔検出としては、例えば、特開２００５−１５７６７９号公報に開示されている検出手法を用いることができる。この検出手法は、先ず、入力画像中の２画素間の輝度差を特徴量として学習しておき、その特徴量に基づいて入力画像中の所定領域に顔が存在するか否かを示す推定値を算出し、推定値が１以上のときにその所定領域に顔が存在すると判別するものである。

年代／性別推論部２２は、顔検出部２１により検出された顔領域の画像を制御部２０を介して入力し、顔検出部２１により検出された顔領域の画像に基づき被写体人物の年代／性別を推論する。すなわち、年代／性別推論部２２は、その顔領域の画像中の各特徴点と、年代／性別データ記憶部３２に予め記憶されている顔の各特徴点とについて、各特徴点が持つ特徴量や色彩データなどを比較して被写体人物の年代／性別を推論する。そして、年代／性別推論部２２は、推論結果、例えば、被写体人物の年代は２０歳代、性別は女性という推論データを制御部２０へ出力する。年代／性別データ記憶部３２は、男女それぞれの年代別に、例えば、眉、眼、鼻、唇などの特徴点が持つ特徴量のデータおよび色彩データを記憶している。

年代／性別を推論する方法としては、例えば、特開２００４−２２２１１８号公報に開示されている方法を用い、上記の特徴量をサポートベクタマシンというシステムに入力することによって行う。

顔表情検出部２３は、顔検出部２１により検出された顔領域の画像を制御部２０を介して入力し、その顔領域の画像の表情を顔表情データ記憶部３３に予め記憶されている所定の顔表情データと比較することにより、顔領域の画像中の被写体人物の顔表情が所定の顔表情データに対応することを検出する。顔表情には、笑顔、泣き顔、怒り顔、驚き顔、くしゃみ顔、あくび顔、寝顔などの様々な種類があり、これらの各データが顔表情データ記憶部３３に記憶されている。

顔表情検出部２３が顔領域の画像の顔表情を検出する場合には、特開２００８−４２３１９号公報に開示されている検出手法を用いることができる。この検出手法は、例えば笑顔であることを検出するには、検出された画像の顔が笑顔と通常時の顔という２つの顔表情のいずれに近いかに基づいて表情の種類を判断するものである。

また、顔表情検出部２３は、顔検出部２１により検出された顔領域の画像を制御部２０から入力し、その顔領域の画像の表情の度合い（表情レベル）を顔表情レベルデータ記憶部３４に予め記憶されている所定の顔表情レベルデータと比較することにより、顔領域の画像中の被写体人物の顔の表情レベルが所定の顔表情データに対応することを検出することもできる。顔表情レベルデータ記憶部３４は、例えば、笑顔の度合い（笑顔レベル）が１０％、２０％、３０％、４０％、５０％、６０％、７０％、８０％、９０％、１００％であるときの各笑顔の特徴を表す笑顔レベルデータ（例えば、特徴点同士の間隔）を笑顔レベル毎に記憶している。笑顔レベルの数値が高まるにつれて、笑顔表情は微笑程度から大笑いへとその笑顔の度合いが大きくなってゆく。

顔表情検出部２３は、さらに、顔領域の画像の顔が笑顔であることを検出した後で、笑顔の度合いを判定する。笑顔の度合いを判定する手法には、例えば、特開２００４−４６５９１号公報に開示されている手法を用いることができる。この判定手法は、入力された部分画像の笑顔について笑顔の度合いの評価を行い、笑顔評価値を算出する。笑顔評価の際は、予め記憶されている笑顔データを参照して眉、瞳孔、唇の各要素の形状の評価ポイントを算出し、各評価ポイントを係数により重み付けした上で合算した値を笑顔評価値としている。

液晶ディスプレイ２５は、デジタルカメラの背面に設けられ、スルー画像の表示や記録画像の再生などに使用される。液晶ディスプレイ２５は、画面の角度や方向が可変となっており、画面を被写体側へ向けることも可能である。液晶ディスプレイ２５には、画像だけではなく、上述した表情レベル値などを表示してもよい。

顔登録データ記憶部３５は、特定の人物の顔画像に人物の名前などのインデックスを付してデータとして登録する。登録データとしては、その人物の通常時の顔画像1枚でもよいし、顔表情や顔表情レベルの異なる複数枚の画像でもよい。

顔認識部３６は、顔検出部２１により検出された顔領域の画像を制御部２０から入力し、その顔領域の画像を顔登録データ記憶部３５に登録されている顔登録データと照合することにより、顔領域の画像中の被写体人物の顔が登録済みの特定の人物の顔であるか否かを判定し、その判定結果を制御部２０へ送出する。

音声記録部３７は、外部の音声を録音する装置であり、音声の入力を行うマイクを有する。顔表情検出部２３は、被写体人物の顔表情や顔表情レベルを検出する際に、音声記録部３７に録音された被写体人物の声を入力し、声の大きさや声紋などを分析し、笑い声や泣き声を検出する。被写体人物の声を分析することにより顔表情検出の精度を高めることができる。また、年代／性別推論部２２による被写体人物の年代／性別を推論する際にも、被写体人物の声を分析することは、より正確な推論データを得るのに役立つ。

顔表情設定部４１は、被写体人物の顔表情の種類、例えば笑顔や泣き顔や怒り顔などの顔表情を外部から設定する操作部である。この顔表情の設定は、被写体人物の年代又は性別と関連付けて行われる。例えば、笑顔や泣き顔は、乳幼児に関連付けて設定する。これにより、年代／性別推論部２２が被写体人物を乳幼児と推論した場合、顔表情検出部２３がその乳幼児の笑顔あるいは泣き顔を検出したときに自動撮影が行われる。

顔表情レベル設定部４２は、顔の表情レベル（例えば、笑顔レベル値が４０％）を外部から設定する操作部であり、顔表情設定部４１と同様に、顔表情レベルの設定は、被写体人物の年代又は性別と関連付けて行われる。顔表情レベル設定部４２が例えば乳幼児に対して所定の笑顔レベルや所定の泣き顔レベルを設定すると、年代／性別推論部２２が被写体人物を乳幼児と推論した場合、顔表情検出部２３がその乳幼児の笑顔あるいは泣き顔などが所定のレベルに達したことを検出したときに自動撮影が行われる。

次に、年代／性別推論部２２と、顔表情検出部２３と、顔表情設定部４１又は顔表情レベル設定部４２との関係を説明する。
顔表情設定部４１又は顔表情レベル設定部４２は、被写体人物の年代／性別と関連付けて顔表情の種類又は顔表情レベルを設定する。年代／性別推論部２２が被写体人物の画像から年代、性別を推論すると、顔表情検出部２３は、被写体人物の顔画像がその推論された年代、性別に関連付けられた顔表情又は顔表情レベルに対応又は一致することを検出し、検出信号を出力する。制御部２０は、検出信号を受けると、自動撮影部２４へ指令信号を出力する。

自動撮影部２４は、制御部２０から発せられる指令信号に応じて、撮影レンズ１１、絞り１２および撮像素子１３に動作信号を出力して被写体の撮影を行う。

顔表情撮影モード設定部４０は、被写体人物の顔表情の種類あるいは顔表情レベルが推論データにより決定される顔表情の種類あるいは顔表情レベルにそれぞれ相当したときに自動撮影を実行するモードをＯＮ／ＯＦＦ設定する操作部である。

優先度設定部４３は、自動撮影を行うべき顔表情の種類が顔表情設定部４１によって複数設定されている場合に、外部操作によって顔表情の種類に優先順位付けを行う操作部である。優先度を設けることにより、優先順位の高い表情を優先順位の低い表情よりも高い頻度で撮影することができる。

画像記録部１６は、撮像された画像と、年代／性別の推論結果や顔表情の種類又は顔表情レベルなどの付加情報とを互いに関連付けて記録している。

画像検索部４４は、画像記録部１６に記録されている画像情報を外部から検索する操作部であって、顔表情などの付加情報を検索キーワードとして容易に所望の画像を検索して抽出することができる。液晶ディスプレイ２５は、検索手順や抽出された画像を表示する。また、液晶ディスプレイ２５は、画像だけではなく、付加情報も併せて表示してもよい。

以上のように構成されたデジタルカメラは、顔表情撮影モードを設定した場合、図２に示すフローチャートに沿って動作する。

図２を参照すると、ステップＳ１１では、ユーザーが顔表情撮影モード設定部４０の操作によって顔表情撮影モードのＯＮ設定を行う。ステップＳ１２では、顔表情設定部４１の操作によって顔表情の種類、すなわち笑顔や泣き顔や怒り顔などを被写体人物の年代／性別に関連付けて設定する。例えば、被写体人物が乳幼児であれば笑顔と泣き顔を設定し、２０代の女性であれば泣き顔を設定し、５０代の男性であれば笑顔と泣き顔を設定する。

ステップＳ１３では、顔検出部２１によって被写体人物の顔が検出され、その顔画像データが制御部２０を介して年代／性別推論部２２に入力される。ステップＳ１４では、年代／性別推論部２２は、顔検出部２１により検出された顔領域の画像データと、年代／性別データ記憶部３２の記憶データとに基づき被写体人物の年代／性別を推論する。

ステップＳ１５では、年代／性別推論部２２は、その推論した年代／性別に基づき、ステップＳ１２でその年代／性別に関連付けられて設定された顔表情を選定する。このステップＳ１５では、検出すべき表情として笑顔が選定されたものとする。

ステップＳ１６では、顔表情検出部２３は、年代／性別推論部２２によって年代／性別が推論された被写体人物の顔画像と顔表情データ記憶部３３に予め記憶されている笑顔データとを比較することにより、被写体人物の顔表情が笑顔であることを検出する。この検出信号は顔表情検出部２３から制御部２０へ入力される。

ステップＳ１７では、制御部２０は、顔表情検出部２３からの検出信号に基づき自動撮影部２４に指令信号を送出し、自動撮影部２４は、制御部２０から発せられた指令信号に応じて、撮影レンズ１１、絞り１２および撮像素子１３に動作信号を出力して被写体の撮影を行う。ステップＳ１８では、撮影画像と、推論された年代／性別や顔表情の種類（ここでは、笑顔）などの付加情報とが互いに関連付けられて、画像記録部１６へ保存される。

上述のフローチャートにおいて、ステップＳ１２では、顔表情設定部４１の操作によって顔表情の種類が設定された。この顔表情設定部４１の操作の代りに、ステップＳ１２で、顔表情レベル設定部４２の操作によって顔表情レベル、例えば笑顔レベル値４０％を設定した場合には、その後の動作は以下の通りである。

ステップＳ１４では、被写体人物の年代／性別を推論し、ステップＳ１５では、この推論結果に基づき、検出すべき顔表情レベル、すなわち笑顔レベル値４０％が決定される。そして、ステップＳ１６では、顔表情検出部２３は、年代／性別が推論された被写体人物の顔画像と、顔表情レベルデータ記憶部３４に予め記憶されている笑顔レベルデータとを比較することにより、被写体人物の顔表情が笑顔レベル値４０％であることを検出する。ステップＳ１７では、笑顔レベル値４０％の被写体人物の自動撮影を行う。ステップＳ１８では、撮影画像と、推論された年代／性別や笑顔レベル値４０％などの付加情報とが互いに関連付けられて、画像記録部１６へ自動保存される。

上述の実施の形態によると、年代／性別推論部２２は、被写体人物の年代／性別を推論するために、被写体人物の顔画像を使用している。同様に、顔表情検出部２３は、被写体人物の顔表情や顔表情レベルを検出するために、被写体人物の顔画像を使用している。このような年代／性別の推論と顔表情や顔表情レベルの検出のためには、上述の被写体人物の顔画像に加えて被写体人物の音声（例えば、笑い声など）を補助的に使用することもできる。この音声を使用する場合には、図２において、ステップＳ１１３で、音声記録部３７は、被写体人物の音声を録音する。ステップＳ１４で、年代／性別推論部２２は、被写体人物の顔画像に加えて、録音された笑い声などの音声を参照して、被写体人物の年代／性別を推論する。

同様に、ステップＳ１１５で、音声記録部３７は被写体人物の笑い声を録音する。ステップＳ１６で顔表情検出部２３は、被写体人物の顔画像に加えて、録音された笑い声などの音声を参照して、被写体人物の顔表情が笑顔であると判定する。

なお、顔登録データ記憶部３５に、特定の人物の顔画像データが登録されている場合には、ユーザーは、顔表情設定部４１又は顔表情レベル設定部４２によってその登録された人物に対する顔表情の種類又は顔表情レベルを設定する。これにより、顔表情撮影モード設定部４０によって顔表情撮影モードがＯＮ設定されると、最初に、顔認識部３６は、被写体人物の顔画像が顔登録データ記憶部３５に登録されている顔登録データに対応するか否かを判定する。

顔認識部３６が被写体人物が登録人物であると判定すると、顔表情検出部２３は、被写体人物の顔画像がその登録人物について顔表情設定部４１又は顔表情レベル設定部４２によって設定した顔表情の種類又は顔表情レベルに対応又は一致したことを検出し、自動撮影部２４がこの検出に基づき自動撮影を行う。

他方、顔認識部３６が被写体人物の顔画像は顔登録データに対応しないと判定した場合には、上述したように、年代／性別推論部２２が被写体人物の年代／性別を推論した推論結果に基づき、顔表情検出部２３が被写体人物の顔表情又は顔表情レベルを検出し、自動撮影部２４が自動撮影を行う。

顔表情設定部４１によって、被写体人物、例えば乳幼児に対して２種類以上の顔表情、例えば笑顔と泣き顔を設定した場合には、顔表情検出部２３が乳幼児の笑顔と泣き顔のいずれかを検出したときに自動撮影が行われる。

優先度設定部４３は、上述のように、顔表情設定部４１によって複数の顔表情を設定した場合に、それらの複数の顔表情の中で優先順位を付与するものである。第１の顔表情（例えば、笑顔）と第２の顔表情（例えば、泣き顔）を設定した場合に、優先度設定部４３により、例えば第１の顔表情を第１優先とし、第２の顔表情を第２優先とするように優先度を付与する。ここで、第１優先とは、顔表情検出部２３が第１の顔表情を１回検出すると直ちに自動撮影を行い、第２優先とは、顔表情検出部２３が第２の顔表情を例えば２回又は３回検出したときに自動撮影を行うように定められる。

なお、顔表情データ記憶部３３は、例えば、乳幼児の笑顔データ、泣き顔データや２０代女性の泣き顔データのように、年代又は性別毎に顔表情データを記憶するようにしてもよい。例えば、笑顔でも老人と乳幼児では特徴が異なるように、年代／性別によって違いがあるが、年代又は性別毎の顔表情データを用いることにより、顔表情検出部２３は高精度の検出が可能になる。同様に、顔表情レベルデータ記憶部３４も年代又は性別毎に顔表情データを記憶するようにしてもよい。

図３は、顔表情設定部４１又は顔表情レベル設定部４２によって設定する顔表情の種類又は顔表情レベルと、被写体人物の年代／性別との関係を示す表である。表中、顔表情を設定した場合は○印、設定しない場合は×印で示す。また、顔表情レベルの場合はパーセンテージで示す。

図３の表において、横欄（ａ）は、乳幼児の男性／女性に対して○印で示したように、顔表情設定部４１により顔表情として笑顔と泣き顔を設定し、顔表情レベル設定部４２により顔表情レベルとして笑顔レベル値４０％を設定したことを示している。このように乳幼児に対しては笑顔と泣き顔を設定しておき、顔表情検出部２３が、年代／性別推論部２２によって乳幼児と推論された被写体人物の笑顔または泣き顔を検出すると、その乳幼児の笑顔または泣き顔を自動撮影する。

同様に、乳幼児に対して笑顔レベル値４０％を設定すると、顔表情検出部２３が、先ず乳幼児と推論された被写体人物の笑顔を検出し、その後、笑顔レベル値４０％を検出すると、その笑顔レベル値４０％の乳幼児の笑顔を自動撮影する。このように乳幼児の例では、赤ん坊の典型的な表情である笑顔と泣き顔を設定しておき、笑顔レベル値を中笑い程度の４０％に設定しておくことにより、ユーザーが撮影したい顔表情を確実に撮影することができる。

図３の表において、横欄（ｂ）は、２０代／女性に対して顔表情として泣き顔を設定したことを示している。このような２０代／女性の泣き顔設定は、例えば卒業式における女学生の泣き顔撮影に好都合である。横欄（ｃ）は、５０代／男性に対して顔表情として笑顔と泣き顔を設定し、笑顔レベル値は設定していないことを示している。したがって、笑顔の程度によらず笑顔が検出されれば自動撮影を行う。

図３の表において、横欄（ｄ）は、顔登録データ記憶部３５に人物Ａが登録されており、怒り顔および驚き顔を設定したことを示している。同様に、横欄（ｅ）は登録人物Ｂであり、顔表情として笑顔と驚き顔を設定し、さらに笑顔レベル値として６０％を設定したことを示している。

顔表情設定部４１による顔表情の種類の設定と、顔表情レベル設定部４２による顔表情レベルの設定との関係を説明する。図３の横欄（ａ）に示したように、顔表情設定部４１によって笑顔と泣き顔を設定し、顔表情レベル設定部４２によって笑顔レベル値４０％を設定した場合には、顔表情検出部２３が泣き顔を検出すると直ちに自動撮影が行われる。一方、顔表情検出部２３が微笑のような笑顔レベルの低い笑顔を検出しても自動撮影は行われず、笑顔レベル値４０％の笑顔を検出したときに自動撮影が行われる。

また、横欄（ｅ）の登録人物Ｂが非登録人物とともにスルー画像中に存在する場合、顔認識部３６がその登録人物Ｂを認識したときは、非登録人物に優先して顔表情を検出する。そして、その登録人物Ｂの顔表情が笑顔レベル値６０％であるか驚き顔の場合に自動撮影を行う。なお、スルー画像中に登録人物が複数存在する場合は、例えば画面中央により近い人物を優先、あるいは男性より女性を優先、あるいは年配より若年を優先するように優先度を決めておいてもよい。

第１の実施の形態によるデジタルカメラは、以下の作用効果を奏する。
（１）被写体人物の年代／性別に関する推論結果によって所定の顔表情が決定され、顔表情検出部２３がその所定の顔表情を検出した時に自動撮影を行うので、ユーザーが被写体人物毎に撮影したい顔表情を設定または選択する手間を省くことができる。
（２）例えば、結婚披露宴の席で、新郎新婦の両親が嬉し泣きした決定的な瞬間を撮影したい場合では、５０代、６０代の男性女性に対して泣き顔を顔表情設定部４１によって設定すれば、極めて簡単に両親の嬉し泣き顔を自動撮影することができる。
（３）被写体人物の年代／性別に関する推論結果から顔表情の度合いを決定して自動撮影を行うので、撮影したい表情をよりきめ細かく選ぶことができる。

（４）顔表情検出部２３が顔表情あるいは顔表情レベルを検出するときに、画像データに加えて、音声記録部３７に録音された被写体人物の声のデータも利用することができるので、顔表情検出の精度を高めることができる。
（５）年代／性別推論部２２が被写体人物の年代／性別を推論する際にも、被写体人物の声のデータも利用することができるので、より正確な推論データを得ることができる。

（６）複数の顔表情を検出するように設定した場合に、これらの顔表情に優先度を設けておくことにより、被写体人物の最も撮影したい表情を多数撮影することができる。
（７）登録人物と非登録人物がスルー画像中に存在する場合、登録人物を非登録人物に優先して顔表情あるいは顔表情レベルを検出するので、被写体が複数人の場合に登録人物主体の映像が得られる。

−第２の実施の形態−
図４は、本発明の第２の実施の形態によるデジタルカメラの構成を示すブロック図である。本実施の形態では、第１の実施の形態で説明した構成要素に対応するものには同一符号を付し、説明を省略する。

図４に示される第２の実施の形態によるデジタルカメラは、顔表情や顔表情レベルの代わりに被写体人物のジェスチャーを利用する点で第１の実施の形態と異なり、年代／性別を推論された被写体人物の所定のジェスチャーを検出して自動撮影を行う。本実施の形態では、第１の実施の形態と異なる点を中心に説明する。

図４に示されるように、第２の実施の形態によるデジタルカメラは、ジェスチャー検出部１２３、ジェスチャーデータ記憶部１３３、ジェスチャー撮影モード設定部１４０、ジェスチャー設定部１４１およびジェスチャー優先度設定部１４３を備える。

ジェスチャー検出部１２３は、スルー画像中の被写体人物のジェスチャーをジェスチャーデータ記憶部１３３に予め記憶されている所定のジェスチャーデータと比較することにより、被写体人物のジェスチャー（ポーズ）がジェスチャー設定部１４１によって設定したジェスチャーに対応又は一致することを検出する。ジェスチャーには多数の種類があるが、典型的なものとして、人指し指と中指でＶ字形を作ったり、両腕でＶ字形を作るＶサイン、拍手、万歳、両手を頭上に上げて輪を作る所作などがあり、これらの各データがジェスチャーデータ記憶部１３３に記憶されている。

ジェスチャー検出部１２３が画像中の被写体人物のジェスチャーを検出する場合には、特開２００４−２９４４９８号公報に開示されている検出手法を用いることができる。この検出手法は、スルー画像中の被写体人物の体の輪郭線形状を、ジェスチャーデータ記憶部１３３の形状データと比較して一致度が所定の値を超えた時に被写体人物のジェスチャーを検出するものである。

ジェスチャー設定部１４１は、被写体人物の年代／性別と関連付けてジェスチャーの種類を外部から設定する操作部である。ジェスチャー検出部１２３は、年代／性別推論部２２によって推論された被写体人物の年代／性別に関連付けて設定された所定のジェスチャーを検出し、検出出力を制御部２０へ送る。制御部２０はこの検出出力に基づき自動撮影部２４へ指令信号を出力し、これにより、自動撮影部２４はその所定のジェスチャーの被写体を自動撮影する。

ジェスチャー撮影モード設定部１４０は、被写体人物のジェスチャーの種類が推論結果によって決定されるジェスチャーの種類に相当したときに自動撮影を実行するモードをＯＮ／ＯＦＦ設定する操作部である。
ジェスチャー優先度設定部１４３は、自動撮影を行うべきジェスチャーの種類が複数設定されている場合に、外部操作によってジェスチャーの種類に優先順位付け行う操作部である。優先度を設けることにより、優先順位の高いジェスチャーを優先順位の低いジェスチャーよりも高い頻度で撮影することができる。

以上のように構成されたデジタルカメラは、ジェスチャー撮影モードを設定した場合、図５に示すフローチャートに沿って動作する。

図５を参照すると、ステップＳ２１では、ユーザーがジェスチャー撮影モード設定部１４０の操作によってジェスチャー撮影モードのＯＮ設定を行う。ステップＳ２２では、ジェスチャー設定部１４１の操作によって、被写体人物の年代／性別に関連付けてジェスチャーの種類を１つ以上設定する。ここでは、例えば１０代の男性／女性に対してＶサインが設定される。ステップＳ２３では、顔検出部２１は、被写体人物の顔を検出する。同時に、ステップＳ１２３では、音声記録部３７が被写体人物の声を録音する。ステップＳ２４では、年代／性別推論部２２は、顔検出部２１によって検出された顔領域の画像と録音された被写体人物の声のデータとに基づき、被写体人物の年代／性別を１０代の男性／女性と推論する。このとき、音声が録音されなかった場合には、年代／性別推論部２２は、顔検出部２１によって検出された顔画像に基づいて年代／性別を推論する。

ステップＳ２５では、年代／性別推論部２２の推論結果に基づき、ステップＳ２２において設定されたＶサインのジェスチャーが決定または選定される。同時に、ステップＳ１２５では、音声記録部３７が被写体人物の声を録音する。ステップＳ２６では、ジェスチャー検出部１２３は、被写体人物のジェスチャー画像とジェスチャーデータ記憶部１３３に予め記憶されているＶサインデータとを比較することにより、被写体人物のジェスチャーがＶサインであることを検出する。また、録音された被写体人物の声、例えば「ピース」の発声からも被写体人物のジェスチャーがＶサインであることを検出する。もし、音声が録音されなかった場合には、ジェスチャー検出部１２３は、ジェスチャー画像に基づいてＶサインであることを検出する。

ステップＳ２７では、ジェスチャー検出部１２３からの検出信号に基づき、自動撮影部２４は、撮影レンズ１１、絞り１２および撮像素子１３へ動作信号を出力して自動撮影を行い、Ｖサインポーズの被写体を撮像する。撮影画像は、画像記録部１６へ自動保存される。

ジェスチャーを検出して自動撮影を行う第２の実施の形態のデジタルカメラも、第１の実施の形態のデジタルカメラと同様の作用効果を奏する。

本発明のデジタルカメラの変形例は以下の通りである。
（１）顔表情や顔表情レベルを検出して自動撮影を行う第１の実施の形態のデジタルカメラと、ジェスチャーを検出して自動撮影を行う第２の実施の形態のデジタルカメラとの両方の機能を併せ持つデジタルカメラも本発明に含まれるものである。
（２）第１および第２の実施の形態では、年代／性別推論部２２は、年代／性別の両方を推論するものであったが、年代／性別のいずれか一方を推論するように構成してもよい。
本発明は、その特徴を損なわない限り、以上説明した実施の形態に何ら限定されない。

本発明の第１の実施の形態に係るデジタルカメラの構成を示すブロック図である。 第１の実施の形態に係るデジタルカメラにおいて、顔表情撮影モードによる動作を示すフローチャートである。 顔表情の種類又は顔表情レベルと、被写体人物の年代／性別との関係の具体例を示す表である。 本発明の第２の実施の形態に係るデジタルカメラの構成を示すブロック図である。 第２の実施の形態に係るデジタルカメラにおいて、ジェスチャー撮影モードによる動作を示すフローチャートである。

符号の説明

１３：撮像素子 １６：画像記録部
２１：顔検出部 ２２：年代／性別推論部
２３：顔表情検出部 ２４：自動撮影部
３１：顔データ記憶部 ３２：年代／性別データ記憶部
３３：顔表情データ記憶部 ３４：顔表情レベルデータ記憶部
３５：顔登録データ記憶部 ３６；顔認識部
３７：音声記録部 ４０：顔表情撮影モード設定部
４１：顔表情設定部 ４２：顔表情レベル設定部
４３：優先度設定部 ４４：画像検索部
１２３：ジェスチャー検出部 １３３：ジェスチャーデータ記憶部
１４０：ジェスチャー撮影モード設定部 １４１：ジェスチャー設定部
１４３ジェスチャー優先度設定部

Claims (9)

1. 被写体を撮像し、被写体画像を出力する撮像手段と、
   前記被写体画像の中の人物画像に基づきその人物の年代と性別との少なくとも一方を推論する推論手段と、
   前記人物画像が前記推論結果により決定される所定の顔表情又は所定のジェスチャーに対応するか否かを検出する検出手段と、
   前記検出手段が前記所定の顔表情又は所定のジェスチャーを検出した時に、自動撮影を行う自動撮影手段とを備えたことを特徴とするデジタルカメラ。
2. 請求項１に記載のデジタルカメラにおいて、
   前記検出手段は、前記人物画像が前記推論結果により決定される所定の表情レベルに達したことを検出し、
   前記自動撮影手段は、前記検出手段が前記所定の表情レベルを検出した時に、前記自動撮影を行うことを特徴とするデジタルカメラ。
3. 請求項１に記載のデジタルカメラにおいて、
   所定の人物の顔情報を顔登録データとして記憶する顔登録データ記憶手段と、
   前記被写体画像の中の人物画像が前記顔登録データ記憶手段に記憶された前記顔登録データに対応することを認識する顔認識手段とを更に備え、
   前記検出手段は、前記顔認識手段が前記被写体画像の中の人物画像が前記顔登録データ記憶手段に記憶された前記顔登録データに対応することを認識した場合に、前記認識した人物画像について他の人物画像に優先して前記所定の顔表情又は所定のジェスチャーを検出することを特徴とするデジタルカメラ。
4. 請求項１に記載のデジタルカメラにおいて、
   前記推論結果により決定される所定の顔表情又はジェスチャーを外部操作によって設定する設定手段を更に備えることを特徴とするデジタルカメラ。
5. 請求項４に記載のデジタルカメラにおいて、
   前記設定手段は、前記被写体人物の顔表情又は所定のジェスチャーについて複数の顔表情又は複数のジェスチャーを外部操作によって設定可能であり、
   前記設定手段が前記複数の顔表情又は複数のジェスチャーを設定した場合に、前記自動撮影手段が前記複数の顔表情又は複数のジェスチャーのいずれを優先して自動撮影を行うかを外部操作によって設定する優先度設定手段を更に備えることを特徴とするデジタルカメラ。
6. 請求項１に記載のデジタルカメラにおいて、
   前記自動撮影手段によって自動撮影された被写体画像と、前記検出手段が検出した顔表情又はジェスチャーを示す付加情報とを関連付けて記録する画像記録手段を更に備えることを特徴とするデジタカメラ。
7. 請求項６に記載のデジタルカメラにおいて、
   前記付加情報を検索キーワードとして前記被写体画像を検索する検索手段と、
   前記検索手段により検索された被写体画像を表示する表示手段とを更に備えることを特徴とするデジタカメラ。
8. 請求項１に記載のデジタルカメラにおいて、
   被写体人物の音声を記録する音声記録手段を更に備え、
   前記検出手段は、前記被写体画像の中の人物画像と前記音声記録手段に記録された音声とに基づき、前記顔表情又はジェスチャーの検出を行うことを特徴とするデジタカメラ。
9. 請求項１に記載のデジタルカメラにおいて、
   被写体人物の音声を記録する音声記録手段を更に備え、
   前記推論手段は、前記被写体画像の中の人物画像と前記音声記録手段に記録された音声とに基づき、その人物の年代と性別との少なくとも一方を推論することを特徴とするデジタカメラ。
   

Images