JP2010068297A - デジタルカメラ - Google Patents

Abstract

【課題】顔認識されずに強制レリーズによって撮影した画像を容易に知ることができる。
【解決手段】所定の顔表情を検出すると自動的に撮影を行うモードに設定されている状態で、顔認識部２１によって被写体人物の顔が認識される前にレリーズ釦５０によって強制的な撮影動作が行われた場合には、警告部５１が液晶ディスプレイ３７上に警告表示を行う。
【選択図】図１

Description

本発明は、被写体の顔の表情を認識して自動的に撮影を行う機能を有するデジタルカメラに関する。

従来、被写体人物の表情が笑顔であることを検出したときに、自動的に撮影を行う笑顔検出撮影モードをもつデジタルカメラが知られている。すなわち、被写体人物の顔を認識し、その顔にピントを合わせ、その顔表情が笑顔であることを検出すると自動的に撮影を行い、その結果、被写体人物の顔にピントが合った笑顔画像が得られる。このようなカメラでは、シャッターチャンスが生じた時には、手動でレリーズ釦を押すことにより、笑顔検出とは関係なく撮影が可能である（非特許文献１参照）。

ニコンデジタルカメラ ＣＯＯＬＰＩＸ Ｓ５５０ 使用説明書 ｐ．４３，４４

このような手動レリーズ動作を行った時に顔認識されていれば、顔検出ＡＦ機構が働いてその人物にピントが合った画像を撮影できる。しかし、顔認識されていないと、所定の焦点検出エリアでＡＦが働き、例えば、最も至近の被写体にピントが合い、撮影者が意図する主要人物の顔がピンボケの画像となってしまうという問題があった。

（１）請求項１の発明によるデジタルカメラは、被写体像を撮像して撮影画像データを出力する撮像手段と、撮影画像データに基づき被写体人物の顔を認識する顔認識手段と、顔認識手段が認識した被写体人物について自動焦点調節を行う自動焦点調節手段と、顔認識手段によって顔認識された被写体人物について所定の顔表情を検出すると、検出信号を出力する顔表情検出手段と、顔表情検出手段の前記検出信号に基づき、自動的に撮影動作を開始する自動撮影手段と、外部からの操作によって強制的に撮影動作を開始する強制レリーズ手段と、顔認識手段が前記被写体人物の顔を認識していないときに強制レリーズ手段によって強制的な撮影動作が行われた場合に、警告表示を行う表示手段と、を備えたことを特徴とする。

本発明のデジタルカメラによれば、顔認識されずに強制レリーズによって撮影した画像についてはその旨の警告を表示することができる。

以下、本発明の実施の形態によるデジタルカメラについて、図１〜４を参照しながら説明する。
−第１の実施の形態−
図１は、本発明の第１の実施の形態によるデジタルカメラの構成を示すブロック図である。

図１に示されるように、デジタルカメラは、撮影レンズ１１、絞り１２、撮像素子１３、バッファメモリ１４、画像処理部１５、画像記録部１６および制御部２０を備える。また、デジタルカメラは、顔認識部２１、顔データ記憶部２２、ＡＦ機構（自動焦点調節機構）２５、顔表情検出部３１、顔表情データ記憶部３２、顔表情設定部３３、自動撮影部３４、表示制御部３６および液晶ディスプレイ３７を備える。さらに、デジタルカメラは、顔表情撮影モード設定部４０、レリーズ釦５０、警告部５１およびレリーズ禁止部５２を備える。

撮影レンズ１１は、ズームレンズやフォーカスレンズを含む複数のレンズで構成され、被写体像を撮像素子１３上に結像する。図１では簡単のため、撮影レンズ１１は１枚のレンズで示されている。撮像素子１３は、撮影レンズ１１からの被写体光Ｌ１を光電変換することにより画像信号を生成する。

撮像素子１３から出力される画像信号は、バッファメモリ１４を介して画像処理部１５に送られ、ここで所定の種々の画像処理が施される。撮影開始前の段階では、撮像素子１３からの画像信号は、バッファメモリ１４、画像処理部１５および制御部２０を介して液晶ディスプレイ３７に送られ、スルー画像として表示される。撮影段階では、撮像素子１３からの画像信号は、バッファメモリ１４、画像処理部１５を介して画像記録部１６へ送られ、不揮発性メモリ１６ａに記録される。メモリ１６ａは、画像情報にテキストまたは記号などの付加情報を付加して記録する。

顔認識部２１は、撮像素子１３からバッファメモリ１４、画像処理部１５、制御部２０を介して送られたスルー画像データを入力し、このスルー画像データを顔データ記憶部２２に予め記憶されている顔データと比較することにより、スルー画像中の被写体人物の顔を検出する。被写体人物が複数人いる場合は、全員の顔を個別に検出する。検出された顔領域の画像は、顔認識部２１から制御部２０へ送られる。顔データ記憶部２２は、例えば、眉、眼、鼻、唇の形状に関する特徴点のデータを記憶している。

顔認識には、例えば、特開２００１−１６５７３号公報に開示されている検出手法を用いることができる。この検出手法は、入力画像中から特徴点を抽出して被写体の顔領域、顔の大きさ等を検出するものである。特徴点としては、眉、眼、鼻、唇の各端点、および顔の輪郭点、例えば頭頂点や顎の下端点が挙げられる。

他の顔認識としては、例えば、特開２００５−１５７６７９号公報に開示されている検出手法を用いることができる。この検出手法は、先ず、入力画像中の２画素間の輝度差を特徴量として学習しておき、その特徴量に基づいて入力画像中の所定領域に顔が存在するか否かを示す推定値を算出し、推定値が１以上のときにその所定領域に顔が存在すると判別するものである。

ＡＦ機構２５は、上述したスルー画像中の所定の焦点検出エリアの被写体について焦点調節を行い、顔認識部２１により被写体人物の顔が検出された場合は、その人物の顔について焦点調節を行う。

顔表情検出部３１は、顔認識部２１により検出された顔領域の画像を制御部２０を介して入力し、その顔領域の画像の顔表情を顔表情データ記憶部３２に予め記憶されている所定の顔表情データと比較することにより、顔領域の画像中の被写体人物の顔表情が所定の顔表情データに対応することを検出する。この顔表情検出は、一定の時間間隔毎に行われる。

顔表情には、笑顔、泣き顔、怒り顔、驚き顔、寝顔などの様々な種類があり、顔表情データ記憶部３２は、笑顔データを含む複数の顔表情データを記憶している。
顔表情設定部３３は、被写体人物の顔表情の種類を外部から設定する操作部であり、笑顔を含む複数の顔表情を設定することができる。顔表情設定部３３が所定の顔表情を設定すると、顔表情検出部３１は、画像中の被写体人物の顔表情が上記の設定された顔表情に対応することを検出する。

顔表情検出部３１が顔領域の画像の顔表情を検出する場合には、特開２００８−４２３１９号公報に開示されている検出手法を用いることができる。この検出手法は、例えば笑顔であることを検出するには、検出された画像の顔が笑顔と通常時の顔という２つの顔表情のいずれに近いかに基づいて表情の種類を判断するものである。

顔表情検出部３１は、被写体人物の顔表情が顔表情設定部３３によって設定された顔表情であることを検出すると、検出信号を制御部２０に対して出力する。
自動撮影部３４は、顔表情検出部３１からの検出信号に応じて制御部２０から発せられる信号に基づき、撮影レンズ１１、絞り１２および撮像素子１３に動作信号を出力して被写体の自動撮影を行う。この自動撮影は、顔表情検出部３１が所定の顔表情、例えば笑顔を検出する毎に１枚の画像を撮像する。

表示制御部３６は、液晶ディスプレイ３７による表示を制御する。すなわち、表示制御部３６は、液晶ディスプレイ３７がスルー画像の表示、バッファメモリ１４に一時的に記録されている撮影画像の表示、画像記録部１６のメモリ１６ａに保存された撮影画像の再生表示を行なう時の表示態様を制御する。また、表示制御部３６は、液晶ディスプレイ３７に撮影画像のみを表示させたり、属性情報を付加した撮影画像を表示させる。

液晶ディスプレイ３７は、スルー画像の表示やバッファメモリ１４に一時的に記録されている撮影画像、メモリ１６ａに保存された撮影画像の再生表示を行い、また、表示制御部３６の指令により、撮影画像に関連する属性情報の表示などを行う。

顔表情撮影モード設定部４０は、被写体人物の所定の顔表情、例えば笑顔を検出すると、自動撮影を実行するモードをＯＮ／ＯＦＦ設定する操作部である。

レリーズ釦５０は、マニュアルで撮影指示するための部材であり、撮影者がレリーズ釦５０を操作することにより被写体の撮影ができる。顔表情撮影モード設定部４０によって顔表情検出による自動撮影モードがＯＮとなっていても、レリーズ釦５０を押圧するレリーズ割込み処理（強制レリーズ）による撮影が可能である。強制レリーズによる撮影が行われると、その撮影信号がレリーズ釦５０から制御部２０へ出力される。なお、レリーズ釦５０を押圧したときのストローク量により、全押しと半押しとがあり、全押し操作によって上述の強制レリーズが行われ、半押し操作によってＡＥ（自動露出調節）やＡＦの機能を働かせる。

警告部５１は、被写体人物の顔認識がされていないときに、上述の強制レリーズが行われて撮影が行われた場合に、人物にピントが合っていない画像が撮影された可能性があることを報せる警告信号を発生する。表示制御部３６は、その警告信号に基づいて被写体人物にピントが合っていない可能性がある旨の警告表示を液晶ディスプレイ３７に表示させる。また、表示制御部３６は、その警告信号に基づき、ピンボケの恐れがある画像の拡大表示およびその画像を削除するか否かを問うメッセージ表示を液晶ディスプレイ３７に指示する。

以上のように構成されたデジタルカメラは、以下のように動作する。
先ず、顔表情撮影モード設定部４０をＯＮとし、顔表情設定部３３によって顔表情の種類として笑顔を設定する。

通常の笑顔検出による自動撮影モードでは、次のように動作する。
顔認識部２１は、スルー画像中の被写体人物の顔を認識すると、その認識信号を制御部２０へ出力する。制御部２０は、この認識信号に応じてＡＦ機構２５を起動するとともに、顔表情検出部３１へ認識信号を送る。ＡＦ機構２５は、スルー画像中の顔画像のエリアでＡＦ動作を行う。顔表情検出部３１は、顔認識部２１により認識された被写体人物の顔画像を顔表情データ記憶部３２に記憶されている笑顔データと比較し、被写体人物の笑顔検出動作を開始する。そして、顔表情検出部３１が被写体人物の笑顔を検出すると、その検出信号を制御部２０へ出力する。制御部２０は、この検出信号に応じて自動撮影部３４を起動し、自動撮影部３４は、被写体人物の顔にピントが合った笑顔画像を自動撮影する。

上記の動作を図２に模式的に示す時系列チャートにより説明すると、時刻ｔ1で、笑顔検出による自動撮影モードをＯＮ設定し、時刻ｔ2で、顔認識部２１による顔認識とＡＦ機構２５による顔部分のＡＦ動作とが行われ、時刻ｔ3で、顔表情検出部３１による笑顔検出と自動撮影部３４による自動撮影とが行われる。

時間帯Ｂにおいてシャッタチャンスが訪れ、撮影者がレリーズ釦５０を押圧して強制レリーズ動作を行うと、このとき、顔認識部２１が被写体人物の顔認識をしているので、ＡＦ機構２５が被写体人物の顔について焦点調節を行い、被写体人物の顔にピントが合った撮影画像が得られる。

次に、時間帯Ａにおいて強制レリーズを行った場合について説明する。被写体人物が横を向いていたり帽子を目深にかぶっていて顔認識部２１が顔認識できない状況の下で、シャッタチャンスが訪れ、撮影者がレリーズ釦５０を押圧すると、ＡＦ機構２５は、所定の焦点検出エリアの被写体について焦点調節を行い、撮影画像が得られる。この場合には、被写体人物の顔にピントが合っていない恐れがある画像が得られる。

被写体人物の顔認識がされていないときに強制レリーズによる撮影が行われた場合、警告部５１は、顔認識部２１による認識信号が出力されていない状態でレリーズ釦５０からの撮影信号が出力されると、人物の顔にピントが合っていない可能性があることを報せる警告信号を発生する。

表示制御部３６は、その警告信号に基づき、被写体人物にピントが合っていない画像の可能性がある旨の警告メッセージを液晶ディスプレイ３７に表示させ、その後、その被写体人物にピントが合っていない恐れがある画像を拡大表示させると同時にその画像を削除するか否かを問うメッセージも液晶ディスプレイ３７に表示させる。ユーザーは、画像が拡大表示されるので、ピントが合っていないことを容易に確認できる。ユーザーは、拡大表示された画像をチェックし、削除するか否かを問うメッセージに従って、撮影画像を削除するか保存する。なお、上記の警告メッセージ、拡大表示された画像および削除するか否かを問うメッセージの３者を同時に液晶ディスプレイ３７に表示させてもよい。

本実施の形態によるデジタルカメラは、以下の作用効果を奏する。
（１）警告メッセージが表示されるので、ピンボケ画像の可能性がある旨の情報を容易に知ることができる。
（２）ピンボケの恐れがある画像が拡大表示されるので、その画像を正確にチェックすることができる。
（３）ピンボケの恐れがある画像を削除するか否かを問うメッセージが表示されるので、削除を忘れることがない。

第１の実施の形態によるデジタルカメラは次のように変形することができる。
図１に示したように、デジタルカメラにレリーズ禁止部５２を設け、外部操作によってレリーズ禁止部５２をＯＮ設定する。レリーズ禁止部５２は、被写体人物の顔認識がされていないときに、上述の強制レリーズを不可とするレリーズ禁止信号を制御部２０へ出力する。この禁止信号により、レリーズ釦５０を押圧しても撮影動作は行われないので画像は得られない。

第１の実施の形態では、被写体人物の顔認識がされていないときに強制レリーズを行った場合に撮影が行われるが、この変形例では、強制レリーズを禁止して撮影できないようにする。すなわち、レリーズ禁止部５２は、被写体人物の顔認識がされていないときには、強制レリーズを不可とし撮影を禁止する。強制レリーズを禁止するとのメッセージを液晶ディスプレイ３７上に表示してもよい。ユーザーは、笑顔撮影モードの最中に強制レリーズを行ってピンボケの恐れがある画像を撮像する心配はない。

−第２の実施の形態−
図３は、本発明の第２の実施の形態によるデジタルカメラの構成を示すブロック図である。
本実施の形態によるデジタルカメラが第１の実施の形態によるデジタルカメラと構成上異なるのは、画像再生部４１と画像選択部４２とを更に備えている点であり、その他の構成は同様であるので、説明を省略する。

画像再生部４１は、画像記録部１６のメモリ１６ａに保存されている撮影画像などの情報の検索や再生を行う操作部である。

画像選択部４２は、画像再生部４１によってメモリ１６ａに保存されている撮影画像などが液晶ディスプレイ３７の画面上に再生表示されたときに、所望の画像を選択するための操作部である。例えば、液晶ディスプレイ３７にサムネイル一覧画像を表示させ、その中で所望の画像を選択することができる。

以下、本実施の形態によるデジタルカメラの動作を説明する。
先ず、顔表情撮影モード設定部４０をＯＮとし、顔表情設定部３３によって顔表情の種類として笑顔を設定する。
本実施の形態では、顔認識部２１が被写体人物の顔を認識していないときにレリーズ釦５０によって強制レリーズが行われた場合、このような被写体人物の顔に焦点が合っていない可能性がある画像にはその旨の属性情報を付加してメモリ１６ａに記録する。このとき、画像記録部１６は、属性情報が付加されている画像のリストを作成してメモリ１６ａに記録する。

画像再生部４１によってメモリ１６ａに記録された画像を再生するとき、上述したリストに従って複数枚の撮影画像が液晶ディスプレイ３７上にサムネイル一覧表示される。例えば、図４に示されるサムネイル一覧画像１００のように、画像３，６，１０，１１，１５，１８の６枚の撮影画像にそれぞれ属性情報１０１が付加されて表示される。表示の際に、人物の顔にピントが合っていない可能性があることを報せる警告メッセージも液晶ディスプレイ３７に表示される。

そして、画像選択部４２は、カーソルなどによりいずれかのサムネイル画像をディスプレイ画面上で選択して拡大表示させる。第１の実施の形態と同様に、拡大表示させると同時にその画像を削除するか否かを問うメッセージも液晶ディスプレイ３７に表示させてもよい。

ユーザーは、警告メッセージを見、拡大表示された画像をチェックし、削除するか否かを問うメッセージに従って、その撮影画像を削除するか保存するかを決めることができる。
本実施の形態によるデジタルカメラも、第１の実施の形態と同様の作用効果を奏する。
本発明は、その特徴を損なわない限り、以上説明した実施の形態に何ら限定されない。

本発明の第１の実施の形態に係るデジタルカメラの構成を示すブロック図である。 笑顔検出による自動撮影モードでの動作を模式的に示すタイミングチャートである。 本発明の第２の実施の形態に係るデジタルカメラの構成を示すブロック図である。 サムネイル一覧画像が表示された液晶ディスプレイ３７の画面を模式的に示す図である。

符号の説明

１６：画像記録部 ２０：制御部
２１：顔認識部 ２２：顔データ記憶部
２５：ＡＦ機構 ３１：顔表情検出部
３２：顔表情データ記憶部 ３３：顔表情設定部
３４：自動撮影部 ３６：表示制御部
３７：液晶ディスプレイ ４０：顔表情撮影モード設定部
４１：画像再生部 ４２：画像選択部
５０：レリーズ釦 ５１：警告部
５２：レリーズ禁止部

Claims (6)

1. 被写体像を撮像して撮影画像データを出力する撮像手段と、
   前記撮影画像データに基づき被写体人物の顔を認識する顔認識手段と、
   前記顔認識手段が認識した被写体人物について自動焦点調節を行う自動焦点調節手段と、
   前記顔認識手段によって顔認識された被写体人物について所定の顔表情を検出すると、検出信号を出力する顔表情検出手段と、
   前記顔表情検出手段の前記検出信号に基づき、自動的に撮影動作を開始する自動撮影手段と、
   外部からの操作によって強制的に撮影動作を開始する強制レリーズ手段と、
   前記顔認識手段が前記被写体人物の顔を認識していないときに前記強制レリーズ手段によって強制的な撮影動作が行われた場合に、警告表示を行う表示手段と、
   を備えたことを特徴とするデジタルカメラ。
2. 請求項１に記載のデジタルカメラにおいて、
   前記表示手段は、前記警告表示に加えて、前記強制的な撮影動作によって取得された撮影画像を拡大表示することを特徴とするデジタルカメラ。
3. 請求項１に記載のデジタルカメラにおいて、
   前記顔認識手段が前記被写体人物の顔を認識していない時に前記強制レリーズ手段によって強制的に撮影動作が行われた場合に、その撮影動作によって取得した撮影画像を所定の付加情報と共に記憶媒体に記録する記録手段と、
   前記所定の付加情報の付された前記撮影画像を複数個、前記記憶媒体から読み出し、前記表示手段にサムネイル一覧表示する再生手段と、
   前記サムネイル一覧表示された複数の撮影画像から選択された撮影画像を拡大表示する選択手段と、を更に備えることを特徴とするデジタルカメラ。
4. 請求項２または３に記載のデジタルカメラにおいて、
   前記表示手段は、前記撮影画像の拡大表示と同時にこの表示された撮影画像を削除するか否かを問うメッセージを表示することを特徴とするデジタルカメラ。
5. 請求項１に記載のデジタルカメラにおいて、
   前記顔認識手段が前記被写体人物の顔を認識していないときに前記強制レリーズ手段が操作された場合に、前記強制的な撮影動作を禁止する禁止手段を更に備えることを特徴とするデジタルカメラ。
6. 請求項５に記載のデジタルカメラにおいて、
   前記強制レリーズ手段は、外部からの操作により全押し動作と半押し動作とが可能であり、前記全押し動作によって前記強制的な撮影動作が行われ、
   前記顔認識手段は、前記禁止手段の作動後に前記強制レリーズ手段の前記半押し動作が行われると、前記顔認識動作を再実行することを特徴とするデジタルカメラ。

Images