JP2010041503A - デジタルカメラ - Google Patents

Abstract

【課題】顔表情の度合いが高い被写体画像を検索して抽出する作業を容易にすること。
【解決手段】顔表情判定部２３は、被写体画像から被写体人物の所定の顔表情を検出し、被写体人物の顔表情を顔表情レベルデータと比較し、その顔表情の度合いが顔表情レベル設定部２７で設定入力した表情レベル値以上であるときに判定信号を発生する。画像保存指示部３０は、その判定信号に応じて画像記録部１６に予め設けられている所定のフォルダに、表情レベル値以上の顔表情を含む被写体画像を保存する指示信号を発生する。
【選択図】図１

Description

本発明は、被写体の顔の表情を認識して自動的に撮影を行う機能を有する電子スチルカメラに関する。

従来、被写体画像データから複数の人物の顔画像を検出し、各人物の顔表情の評価値を算出し、その評価値が所定値以上である人物画像を抽出し、こうして抽出された複数の人物画像を合成処理する技術が知られている（例えば、特許文献１参照）。

特開２００７−２９９２９７号公報

しかしながら、引用文献１の技術にあっては、顔表情評価値が所定値以上である人物画像を再度利用したい場合には、多数の撮影画像の中からその人物画像を抽出しなければならず、検索作業に手間がかかるという問題がある。

（１）請求項１の発明によるデジタルカメラは、被写体を撮像して被写体画像を生成し、被写体画像から被写体人物の所定の顔表情を検出し、その検出結果に基づき自動撮影を行うデジタルカメラにおいて、被写体画像を記録する記録手段と、被写体画像の被写体人物の顔表情を顔表情レベルデータと比較し、被写体人物の顔表情の度合いが所定レベル値以上であるときに判定信号を発生する判定手段と、判定信号に応じて所定レベル値以上の顔表情を含む被写体画像を、記録手段に予め設けられている特定のフォルダに自動保存する自動保存手段とを備えることを特徴とする。

本発明のデジタルカメラによれば、顔表情の度合いが所定レベル値以上の被写体画像は、特定のフォルダに自動的に保存するようにしたので、これらの画像を検索して抽出する作業が容易となる。

以下、本発明の実施の形態によるデジタルカメラについて、図１、２を参照しながら説明する。
図１は、本発明の実施の形態によるデジタルカメラの構成を示すブロック図である。

図１に示されるように、デジタルカメラは、撮影レンズ１１、絞り１２、撮像素子１３、バッファメモリ１４、画像処理部１５、画像記録部１６および制御部２０を備える。また、デジタルカメラは、顔検出部２１、顔データ記憶部２２、顔表情判定部２３、顔表情データ記憶部２４、顔表情設定部２５、顔表情レベルデータ記憶部２６、顔表情レベル設定部２７および液晶ディスプレイ２８を備える。さらに、デジタルカメラは、画像保存指示部３０、自動撮影部３１、顔登録データ記憶部３２、顔認識部３３、顔表情撮影モード設定部４０および検索部４１を備える。

撮影レンズ１１は、ズームレンズやフォーカスレンズを含む複数のレンズで構成され、被写体像を撮像素子１３上に結像する。図１では簡単のため、撮影レンズ１１は１枚のレンズで示されている。撮像素子１３は、撮影レンズ１１からの被写体光Ｌ１を光電変換することにより画像信号を生成する。

撮像素子１３から出力される画像信号は、バッファメモリ１４を介して画像処理部１５に送られ、ここで所定の種々の画像処理が施される。撮影開始前の段階では、撮像素子１３からの画像信号は、バッファメモリ１４、画像処理部１５および制御部２０を介して液晶ディスプレイ２８に送られ、スルー画像として表示される。撮影段階では、撮像素子１３からの画像信号は、バッファメモリ１４、画像処理部１５を介して画像記録部１６にて記録される。

ここで、図２を参照して画像記録部１６の構成を説明する。
図２に示されるように、画像記録部１６はメモリーカード（記憶媒体）５０を有し、メモリーカード５０には、第１フォルダ５１、第２フォルダ５２およびメインフォルダ５３が区分されて作成されている。そして、画像内の被写体人物の顔表情の度合いが所定レベル以上であると判定された被写体画像は、特定のフォルダである第１フォルダ５１および第２フォルダ５２のいずれかに振り分けられて記録される。

第１フォルダ５１には、被写体人物の少なくとも１人の顔表情の度合いが所定レベル以上であると判定された被写体画像を記録し、第２フォルダ５２には、複数の被写体人物の全員の顔表情の度合いが所定レベル以上であると判定された被写体画像を記録する。

また、所定レベル以上であるとは判定されなかった被写体画像を始めその他の画像は、メインフォルダ５３に振り分けられて記録される。このような被写体画像の各フォルダへの振り分けは、後述の画像保存指示部３０の判定出力に基づき、画像記録部１６内の図示なき制御回路によって行われる。記憶保存の際には、画像情報にテキストまたは記号などの付加情報を付加して記録する。なお、第１フォルダ５１と第２フォルダ５２とをまとめて、以下では特定フォルダという。

顔検出部２１は、撮像素子１３からバッファメモリ１４、画像処理部１５、制御部２０を介して送られたスルー画像データを入力し、このスルー画像データを顔データ記憶部２２に予め記憶されている顔データと比較することにより、スルー画像中の被写体人物の顔を検出する。被写体人物が複数人いる場合は、全員の顔を個別に検出する。検出された顔領域の画像は、顔検出部２１から制御部２０へ送られる。顔データ記憶部２２は、例えば、眉、眼、鼻、唇の形状に関する特徴点のデータを記憶している。

顔検出には、例えば、特開２００１−１６５７３号公報に開示されている検出手法を用いることができる。この検出手法は、入力画像中から特徴点を抽出して被写体の顔領域、顔の大きさ等を検出するものである。特徴点としては、眉、眼、鼻、唇の各端点、および顔の輪郭点、例えば頭頂点や顎の下端点が挙げられる。

他の顔検出としては、例えば、特開２００５−１５７６７９号公報に開示されている検出手法を用いることができる。この検出手法は、先ず、入力画像中の２画素間の輝度差を特徴量として学習しておき、その特徴量に基づいて入力画像中の所定領域に顔が存在するか否かを示す推定値を算出し、推定値が１以上のときにその所定領域に顔が存在すると判別するものである。

顔表情判定部２３は、顔検出部２１により検出された顔領域の画像を制御部２０を介して入力し、その顔領域の画像の顔表情を顔表情データ記憶部２４に予め記憶されている所定の顔表情データと比較することにより、顔領域の画像中の被写体人物の顔表情が所定の顔表情データに対応することを検出する。顔表情には、笑顔、泣き顔、怒り顔、驚き顔、寝顔などの様々な種類があり、顔表情データ記憶部２４は、笑顔データを含む複数の顔表情のデータを記憶している。
顔表情設定部２５は、被写体人物の顔表情の種類を外部から設定する操作部であり、笑顔を含む複数の顔表情を設定することができる。

顔表情判定部２３が顔領域の画像の顔表情を検出する場合には、特開２００８−４２３１９号公報に開示されている検出手法を用いることができる。この検出手法は、例えば笑顔であることを検出するには、検出された画像の顔が笑顔と通常時の顔という２つの顔表情のいずれに近いかに基づいて表情の種類を判断するものである。

また、顔表情判定部２３は、顔表情の検出だけではなく、顔表情の度合い（表情レベル）を検出する。すなわち、顔表情判定部２３は、顔検出部２１により検出された顔領域の画像を制御部２０から入力し、その顔領域の画像の表情の度合いを顔表情レベルデータ記憶部２６に予め記憶されている所定の顔表情レベルデータと比較することにより、顔領域の画像中の被写体人物の顔の表情レベルが所定の顔表情レベルデータに対応することを検出できる。被写体人物が複数人いる場合は、全員の顔表情および顔表情レベルを個別に検出する。

笑顔の度合いを判定する手法には、例えば、特開２００４−４６５９１号公報に開示されている手法を用いることができる。この判定手法は、入力された部分画像の笑顔について笑顔の度合いの評価を行い、笑顔評価値を算出する。笑顔評価の際は、予め記憶されている笑顔データを参照して眉、瞳孔、唇の各要素の形状の評価ポイントを算出し、各評価ポイントを係数により重み付けした上で合算した値を笑顔評価値としている。

顔表情レベルデータ記憶部２６は、顔表情設定部２５が設定可能な複数の顔表情について、各顔表情の度合い（顔表情レベル値）として、１０％から１００％まで１０％間隔で、各顔表情レベル毎に顔表情レベルデータを記憶している。例えば、笑顔レベル値が１０％、２０％、３０％・・・と高まるにつれて、笑顔表情は微笑程度から大笑いへとその笑顔の度合いが大きくなってゆく。

顔表情レベル設定部２７は、顔表情設定部２５が設定可能な複数の顔表情について、例えば、笑顔レベル値１０％、２０％、３０％・・・などの顔表情レベル値を外部から設定する操作部である。この笑顔レベル値は、被写体の自動撮影や撮影された被写体画像の自動保存を行うための基準となる。

例えば、顔表情レベル設定部２７によって笑顔レベル値８０％を設定した場合、顔表情判定部２３は、被写体人物の笑顔が８０％の笑顔レベル値に対応することを検出したときに判定信号を出力する。

液晶ディスプレイ２８は、デジタルカメラの背面に設けられ、スルー画像の表示や画像記録部１６に記録された被写体画像の再生などに使用される。液晶ディスプレイ２８は、画面の角度や方向が可変となっており、画面を被写体側へ向けることも可能である。液晶ディスプレイ２８には、画像だけではなく、上述した笑顔レベル値等の付帯情報も表示することができる。

画像保存指示部３０は、上記の判定信号に基づき、その被写体画像を画像記録部１６の特定のフォルダ５１，５２に保存するようにとの指示信号を出力する。すなわち、その指示信号が画像保存指示部３０から制御部２０を介して画像記録部１６へ送出されると、例えばレベル値８０％の笑顔画像が画像記録部１６の特定のフォルダ５１，５２に保存される。この自動保存の際には、笑顔画像に、例えばレベル値８０％の笑顔である旨の付加情報、例えばタグ情報（ＥＸＩＦ）を付して画像データとともに付加情報データも保存する。

自動撮影部３１は、上記の判定信号に基づき、撮影レンズ１１、絞り１２および撮像素子１３に動作信号を出力して被写体の自動撮影を行う。

顔登録データ記憶部３２には、特定の人物の顔画像が人物の名前などのインデックスを付したデータとして登録される。人物登録は、例えば、液晶ディスプレイ２８の画面に表示されたガイドに、人物の眼と口を合わせて撮影することで行われる。人物登録をすることにより、登録されていない人物に優先してその人物を撮影することも可能となる。

顔認識部３３は、顔検出部２１により検出された顔領域の画像を制御部２０を介して入力し、その顔領域の画像を顔登録データ記憶部３２に登録されている顔登録データと照合することにより、顔領域の画像中の被写体人物の顔が登録済みの特定の人物の顔であるか否かを判定し、その判定結果を制御部２０へ送出する。顔認識には、例えば特開２００４−６２５６０号公報に開示されている手法を用いることができる。

顔表情撮影モード設定部４０は、被写体人物の顔表情レベルが所定の顔表情レベルに相当したときに自動撮影を実行するモードをＯＮ／ＯＦＦ設定する操作部である。

検索部４１は、画像記録部１６に記録されている被写体画像などの情報の検索や再生を行う操作部である。

以上のように構成されたデジタルカメラは、次のように動作する。
先ず、顔表情撮影モード設定部４０をＯＮとし、顔表情設定部２５によって顔表情の種類として例えば笑顔を設定し、顔表情レベル設定部２７によって例えば笑顔レベル値８０％を設定する。

顔表情判定部２３は、顔検出部２１により検出された被写体人物の顔画像を顔表情データ記憶部２４に記憶されている笑顔データと比較し、被写体人物の笑顔を検出する。続いて、顔表情判定部２３は、顔検出部２１により検出された被写体人物の笑顔画像を顔表情レベルデータ記憶部２６に記憶されている笑顔レベルデータと比較し、被写体人物の笑顔レベルを検出する。顔表情判定部２３は、被写体人物の顔表情が笑顔レベル値８０％以上に対応すると判定したときに判定信号を出力する。

制御部２０は、その判定信号を受けると、自動撮影部３１へ信号を出力する。自動撮影部３１は、制御部２０から発せられる信号に応じて、撮影レンズ１１、絞り１２および撮像素子１３に動作信号を出力し、笑顔レベル値８０％以上の笑顔の被写体の自動撮影を行う。

また、制御部２０は、上述の判定信号を受けると、更に画像保存指示部３０へも信号を出力する。画像保存指示部３０は、制御部２０から発せられる信号に応じて、笑顔レベル値８０％以上の笑顔画像を画像記録部１６の特定のフォルダ５１，５２に保存するようにとの指示信号を出力し、画像記録部１６の第１フォルダ５１または第２フォルダ５２への自動保存が行われる。

笑顔レベル値８０％以上の笑顔画像の第１フォルダ５１への自動保存について、以下に詳細に説明する。
被写体人物が１人の場合は、その人物の顔表情が笑顔レベル値８０％に達すると、顔表情判定部２３は第１の判定信号を発し、被写体画像の自動撮影が行われ、被写体画像は、画像記録部１６の第１フォルダ５１に保存される。

被写体人物が複数人の場合、例えば３人の場合、顔検出部２１は、３人全員の顔画像を検出する。顔表情判定部２３は、３人の各々についての笑顔画像が笑顔レベル値８０％以上であるか否かを検出し、３人のうちの１人の笑顔画像が笑顔レベル値８０％以上であると判定すると、第１の判定信号を発生する。この第１の判定信号に応じてその人物の笑顔レベル値８０％の笑顔を含む被写体画像の自動撮影が行われ、被写体画像は、第１フォルダ５１に自動保存される。
なお、この笑顔自動撮影は、１回の撮影を行ったら終了させることもできるし、所定の複数回の撮影を行ったら終了させることもできる。後者の場合、上述の３人の被写体人物の例では、２番目の被写体人物の笑顔画像が笑顔レベル値８０％以上になると、顔表情判定部２３は第１の判定信号を発し、その人物の笑顔レベル値８０％の笑顔を含む被写体画像の自動撮影が行われ、その被写体画像も第１フォルダ５１に自動保存される。

次に、笑顔レベル値８０％以上の笑顔画像の第２フォルダ５２への自動保存について、以下に詳細に説明する。
被写体人物が複数人である場合に、顔検出部２１は、その複数人全員の顔画像をそれぞれ検出する。顔表情判定部２３は、顔検出部２１によって検出された全員の顔画像について、全員の笑顔が笑顔レベル値８０％以上に同時になったと判定すると、第２の判定信号を発し、全員の笑顔レベル値８０％の笑顔を含む被写体画像の自動撮影が行われ、被写体画像は、図２に示す第２フォルダ５２に自動保存される。
こうして、第２フォルダ５２には、複数の被写体人物の全員が笑顔レベル値８０％以上になったときに自動撮影された撮影画像が自動保存される。

顔表情判定部２３は、被写体人物が複数人である場合に、そのうちの１人の笑顔が笑顔レベル値８０％以上であることを判定したときに第１の判定信号を出力し、その後に、全員の笑顔が笑顔レベル値８０％以上であることを判定したときに第２の判定信号を出力にするように、顔表情判定部２３を構成することもできる。この場合には、上述の第１の判定信号に応じて自動撮影が行われ、その撮影画像が第１フォルダ５１に自動保存され、その後に出力される第２の判定信号に応じて自動撮影が行われ、その撮影画像が第２フォルダ５２に自動保存される。

このように、顔表情判定部２３からの第１の判定信号により、被写体画像は第１フォルダ５１に自動保存され、顔表情判定部２３からの第２の判定信号により、被写体画像は第２フォルダ５２に自動保存される。フォルダ毎に振り分けられて記録された被写体画像について、検索部４１によって被写体画像データの検索や再生が行われる。なお、メインフォルダ５３は、第１フォルダ５１あるいは第２フォルダ５２に保存する被写体画像以外の画像を保存するためのフォルダである。例えば、通常撮影モードで撮影された画像はメインフォルダ５３に保存される。

複数の被写体人物の顔データを顔登録データ記憶部３２に記憶し、且つ被写体人物の顔が顔登録データ記憶部３２に登録されている人物の顔であることを顔認識部３３が認識することにより、この登録人物の笑顔が笑顔レベル値８０％になったときに自動撮影を行い、その撮影画像を第１フォルダ５１に自動保存することができる。この自動保存では、撮影画像とその登録人物の名称などのデータとを互いに関連付けて第１フォルダ５１に記録する。さらに、登録人物を含む全被写体人物の笑顔が笑顔レベル値８０％以上になったときに自動撮影を行い、その撮影画像とその登録人物の名称などのデータとを互いに関連付けて第２フォルダ５２に自動保存することができる。これにより、第１フォルダ５１、第２フォルダ５２について、登録人物別に画像を分類することも可能になり、さらに、登録人物に基づき撮影画像の検出も可能になる。分類や検索を行う場合には、画像情報に付加したタグ情報（ＥＸＩＦ）を利用することができる。

本発明のデジタルカメラは以下の作用効果を奏する。
（１）被写体人物の少なくとも１人の笑顔レベルが所定のレベル値以上であるときには、その被写体画像を第１フォルダ５１に自動保存するので、笑顔レベルの高い顔表情を含む被写体画像を取り出す検索抽出作業が簡便となる。
（２）複数の被写体人物全員の笑顔レベルが所定のレベル値以上であるときには、その被写体画像を第２フォルダ５２に自動保存するので、全員が笑顔レベルの高い顔表情の被写体画像を取り出す検索抽出作業が簡便となる。

本実施の形態によるデジタルカメラにおいて、変形例は以下の通りである。
（１）笑顔レベル値
上記の説明では、第１フォルダ５１へ保存する画像を撮影するための笑顔レベル値（Ｓ１とする）と、第２フォルダ５２へ保存する画像を撮影するための笑顔レベル値（Ｓ２とする）とは、いずれも８０％と等しい値であった。しかし、これら両者は異なる値であってもよい。そのときの笑顔レベル値は、Ｓ１＞Ｓ２に設定するのが一般的である。つまり、複数の被写体人物全員が同時に所定の笑顔レベル値に達するようにするためには、笑顔レベル値Ｓ２をＳ１よりも低く設定するのが合理的である。

（２）顔表情レベル設定部２７
本実施の形態では、レベル値Ｓ１もレベル値Ｓ２も顔表情レベル設定部２７によって設定するものであった。しかし、顔表情レベル設定部２７を、レベル値Ｓ１設定用とレベル値Ｓ２設定用とに分割して設けてもよい。

（３）仮想フォルダ
本実施の形態では、メモリーカード５０に第１フォルダ５１、第２フォルダ５２およびメインフォルダ５３が区分されて作成されており、顔表情判定部２３の判定結果に応じで被写体画像を分別して保存している。このようなフォルダ構成に代えて以下のような「仮想フォルダ」を用いることができる。
すなわち、メモリーカード５０にはメインフォルダのみがあり、撮影された被写体画像はすべてメインフォルダに保存する。検索部４１によって笑顔レベルの高い被写体画像データを検索した場合、その検索結果から例えば第１フォルダ５１に相当する仮想フォルダが形成される。検索した画像は、その仮想フォルダ内にあたかもが格納されているかのように見える。本発明のデジタルカメラには、このような仮想フォルダの技術も利用することができる。

（４）本実施の形態では、顔表情設定部２５と顔表情レベル設定部２７は、別個の構成部品として説明したが、顔表情設定部２５の機能を顔表情レベル設定部２７に組み込む構成としてもよい。
本発明は、その特徴を損なわない限り、以上説明した実施の形態に何ら限定されない。

本発明の実施の形態に係るデジタルカメラの構成を示すブロック図である。 本実施の形態に係るデジタルカメラの画像記録部１６の構成を示す模式図である。

符号の説明

１６：画像記録部 ２０：制御部
２３：顔表情判定部 ２４：顔表情データ記憶部
２５：顔表情設定部 ２６：顔表情レベルデータ記憶部
２７：顔表情レベル設定部 ３０：画像保存指示部
３１：自動撮影部 ４０：顔表情撮影モード設定部
４１：検索部 ５０：メモリーカード
５１：第１フォルダ ５２：第２フォルダ

Claims (6)

1. 被写体を撮像して被写体画像を生成し、前記被写体画像から被写体人物の所定の顔表情を検出し、その検出結果に基づき自動撮影を行うデジタルカメラにおいて、
   被写体画像を記録する記録手段と、
   前記所定の顔表情に関する表情度合いを段階的に示す複数の顔表情レベルを顔表情レベルデータとして記憶する顔表情レベルデータ記憶手段と、
   前記被写体画像の被写体人物の顔表情を前記顔表情レベルデータと比較し、前記被写体人物の顔表情の度合いが所定レベル値以上であるときに判定信号を発生する判定手段と、
   前記判定信号に応じて前記所定レベル値以上の顔表情を含む被写体画像を、前記記録手段に予め設けられている特定のフォルダに自動保存する自動保存手段とを備えることを特徴とするデジタルカメラ。
2. 請求項１に記載のデジタルカメラにおいて、
   前記判定手段は、前記被写体画像中の複数の被写体人物の少なくとも１人の顔表情の度合いが第１の所定レベル値以上であるときに第１の判定信号を発生し、
   前記自動保存手段は、前記第１の判定信号に応じて前記第１の所定レベル値以上の顔表情を含む被写体画像を、前記特定のフォルダ中の第１のフォルダに自動保存することを特徴とするデジタルカメラ。
3. 請求項１に記載のデジタルカメラにおいて、
   前記判定手段は、前記被写体画像中の複数の被写体人物のすべての顔表情の度合いが第２の所定レベル値以上であるときに第２の判定信号を発生し、
   前記自動保存手段は、前記第２の判定信号に応じて前記第２の所定レベル値以上の顔表情を含む被写体画像を、前記特定のフォルダ中の第２のフォルダに自動保存することを特徴とするデジタルカメラ。
4. 請求項２に記載のデジタルカメラにおいて、
   前記第１の所定レベル値を外部操作によって設定する第１の顔表情レベル設定手段を更に備えることを特徴とするデジタルカメラ。
5. 請求項３に記載のデジタルカメラにおいて、
   前記第２の所定レベル値を外部操作によって設定する第２の顔表情レベル設定手段を更に備えることを特徴とするデジタルカメラ。
6. 請求項１〜５のいずれか1項に記載のデジタルカメラにおいて、
   前記記録手段は、前記所定のフォルダに保存された前記被写体画像以外の画像を保存するメインフォルダを有することを特徴とするデジタルカメラ。
   

Images