JP2008167028A - 撮像装置 - Google Patents

Abstract

【課題】 より適切に被写体の状態を判定できる画像データを取得するための手段を提供することを目的とする。
【解決手段】 被写体を撮像して画像のデータを生成する撮像素子と、レリーズ前の予備撮影期間に撮像した複数のスルー画像のデータに基づいて、前記被写体の状態が所定の条件を満たす基準画像のデータを生成する制御部と、を備えることを特徴とする撮像装置。
【選択図】 図１

Description

本発明は、デジタルカメラなどの撮像装置において、好ましい画像を取得するための処理に関する。

従来から、レリーズ直前の先行撮影の撮影情報とレリーズ時の本撮影の撮影情報とを比較して、先行撮影の画像に対して本撮影の画像に一定以上の変化が生じていれば警告を行う電子カメラが公知である（例えば特許文献１参照）。また、撮像された画像から被写体を検出するとともにその被写体の状態を判定し、被写体の状態が好適でない場合には警告を行う電子カメラも公知である（例えば特許文献２参照）。
特開２００５−２２９３６８号公報 特開２００６−８７０８３号公報

従来の電子カメラでは、レリーズ直前に撮像された１枚（１フレーム）の画像と本撮影の画像とを対比して被写体の状態を判定するか、本撮影の画像のみから被写体の状態を判定している。そのため、必ずしも撮影者の意図通りに被写体の状態を判定できない点で改善の余地があった。例えば、レリーズ直前に撮像された画像がもし被写体の好ましくない状態をサンプリングしていた場合には、本撮影の画像が被写体の好ましい状態を撮像したものか否かを判定することは困難である。また、本撮影の画像のみで被写体の状態を判定する場合には、被写体の特徴などが十分に考慮されないので誤判定が起こる可能性がある。

そこで、本発明は、より適切に被写体の状態を判定できる画像データを取得するための手段を提供することを目的とする。

請求項１に記載の撮像装置は、被写体を撮像して画像のデータを生成する撮像素子と、レリーズ前の予備撮影期間に撮像した複数のスルー画像のデータに基づいて、前記被写体の状態が所定の条件を満たす基準画像のデータを生成する制御部と、を備えることを特徴とする。

本発明の電子カメラによれば、レリーズ前の予備撮影期間に撮像した複数の画像のデータから基準画像のデータを生成するので、最適な基準画像を生成することができ、その基準画像に基づいて、より適切に被写体の状態を判定できるようになる。

（第１実施形態）
図１は、第１実施形態の電子カメラのブロック図である。
電子カメラは、撮像レンズ１と、撮像素子２と、Ａ／Ｄ変換部３と、画像処理部４と、制御部５と、判定処理部６と、バッファメモリ７と、メモリ８と、２段階の押圧操作（半押し操作、全押し操作）によりそれぞれオンする半押しスイッチ、全押し（レリーズ）スイッチに連動するレリーズ釦９ａを含む操作部９と、記録Ｉ／Ｆ１０と、モニタ１１と、バス１２とを備える。なお、撮像素子２と、画像処理部４と、制御部５と、バッファメモリ７と、メモリ８と、操作部９と、記録Ｉ／Ｆ１０と、モニタ１１はそれぞれバス１２を介して接続されている。

撮像レンズ１は、フォーカシングレンズを含む複数のレンズ群で構成されている。この撮像レンズ１は、撮像素子２の撮像面に被写体像を結像させる。なお、簡単のため、図１では撮像レンズ１を１枚のレンズとして図示する。
撮像素子２は、撮像レンズ１を通過した光束による被写体像を光電変換し、アナログ画像信号を生成する。撮像素子２の出力はＡ／Ｄ変換部３に接続されている。

ここで、被写体を撮影するための撮影モードにおいて、撮像素子２は、レリーズ時（レリーズ釦９ａの全押し時）に記録用画像（本画像）を撮像する。また、撮像素子２は、レリーズ釦９ａの操作がされていない撮影待機時（非レリーズ時）にも所定間隔毎に間引き読み出しでスルー画像を撮像する。上記のスルー画像のデータは、制御部５による各種の演算処理やモニタ１１の表示などに使用される。なお、スルー画像の解像度は、モニタ１１の解像度に合わせて設定されている。

Ａ／Ｄ変換部３は、撮像素子２の出力信号のＡ／Ｄ変換を行う。
画像処理部４は、Ａ／Ｄ変換部３から出力されたデジタル信号に各種の画像処理（色補間、階調変換処理、輪郭強調処理、ホワイトバランス調整、圧縮伸長処理など）を施して画像のデータを生成する。また、画像処理部４は、後述の基準画像と本画像とを比較するときに、本画像の解像度を基準画像の解像度に合わせる解像度変換処理を行う。

制御部５は、電子カメラの統括的な制御を行うプロセッサである。制御部５は、所定のシーケンスプログラムに従って電子カメラの各部動作を制御するとともに、撮影時に必要となる各種演算（ＡＦ、ＡＥなど）を実行する。また、制御部５は、後述するレリーズ前の予備撮影期間に撮像した複数のスルー画像のデータに基づいて、被写体の状態が所定の条件を満たす基準画像のデータを生成する。例えば、制御部５は、人物の開眼状態を判定するための基準画像や、人物の顔の向きを判定するための基準画像や、人物の表情を判定するための基準画像などを生成する。なお、上記の基準画像のデータの生成方法の詳細な説明については後述する。

さらに、図１に示すように、制御部５は、顔検出部５ａと、目検出部５ｂと、顔向き検出部５ｃと、目開閉検出部５ｄと、表情検出部５ｅとを有している。
顔検出部５ａは、スルー画像および本画像から被写体の人物の顔領域を検出する顔検出処理を行う。この顔検出処理は公知のアルゴリズムによって行われる。一例として、顔検出部５ａは、公知の特徴点抽出処理によって、画像から眉、目、鼻、唇の各端点などの特徴点を抽出し、これらの特徴点に基づいて顔領域か否かを判定する。あるいは、顔検出部５ａは、予め用意された顔画像と判定対象の画像との相関係数を求めて、この相関係数が一定の閾値を超えるときに顔領域と判定するものでもよい。

目検出部５ｂは、顔検出部５ａが抽出した顔領域から人物の目の部分（目領域あるいは目の位置）を検出する。例えば、目検出部５ｂは、上記の特徴点抽出の結果に基づいて顔領域内の目領域を検出する。あるいは、目検出部５ｂは、顔領域の検出結果から顔の概略中心位置を求め、この中心位置との相対的位置関係から目領域を検出してもよい。
顔向き検出部５ｃは、公知のアルゴリズムに基づいて画像内の人物の顔の向き（正面、横向き、上向き、下向きなど）を判定する。例えば、顔向き検出部５ｃは、特開２００１−５１３８８号公報に示される手法により、人物の顔が正面を向いているものと判定する。また、顔向き検出部５ｃは、人物の顔のパーツの幾何学的な形状の変化や、顔のパーツの位置関係、顔の特徴点の相対距離などから顔の向きを判定してもよい。一例として、顔の水平方向における特徴点の間隔（目の左右端の間隔など）の変化に着目すると、被写体がどの程度横向きかを推定できる。また、顔の垂直方向における特徴点の間隔（鼻と唇との間隔など）の変化に着目すると、被写体がどの程度上向きまたは下向きかを推定できる。

目開閉検出部５ｄは、顔領域にある目が開いているか否かを判定する。例えば、目開閉検出部５ｄは、上記の顔領域から上瞼線および下瞼線を検出し、上瞼線および下瞼線の間隔を測定する。そして、目開閉検出部５ｄは、上瞼線と下瞼線との間隔が閾値以上の場合は、目が開いていると判定する。
表情検出部５ｅは、顔検出部５ａが抽出した顔領域における表情を判定する。例えば、表情検出部５ｅは、例えば、喜び、怒り、驚き、悲しみなどの各表情について予めメモリ８や制御部５内のメモリ内などに記憶されている複数種類の表情モデルのテンプレートデータを用いて、スルー画像や本画像に含まれる顔領域の表情と、各々の表情モデルとの類似度をそれぞれ求める。そして、表情検出部５ｅは、判定対象の顔領域が、類似度の最も高い表情モデルの表情をしているものと自動的に判定する。

また、表情検出部５ｅは、撮影者により予め指定された表情モデルのテンプレートデータを用いて、スルー画像や本画像に含まれる顔領域の表情がその指定された表情モデルの表情をしている画像を自動的に抽出（特定）することも可能である。例えば、「喜び（笑顔）」の表情モデルが指定されている場合には、複数のスルー画像の中から、「喜び（笑顔）」の表情モデルのテンプレートデータに最も類似度の高い顔領域を持ったスルー画像を抽出（特定）することができる。ここで、表情モデルのテンプレートデータは、例えば、各表情における顔パーツの位置関係や形状などを示すデータで構成される。また、各々の表情モデルは、不特定多数の人物の表情から統計的に求めたものであってもよい。

また、他の例として、表情検出部５ｅは、特開平８−２４９４５３号公報、特開平１０−２５５０４３号公報に示されるように、表情カテゴリとして、喜びの表情と、怒りの表情と、驚きの表情と、悲しみの表情と、嫌悪の表情と、恐怖の表情との合計６種類の基本表情を考え、無表情から各基本表情への時系列画像の処理を行い、表情を判断してもよい。

なお、画像内に複数の人物が撮像されている場合には、上記の顔検出部５ａはそれら複数の人物を検出することも可能である。このとき、目検出部５ｂ、顔向き検出部５ｃ、目開閉検出部５ｄ、表情検出部５ｅは、個々の人物を対象としてそれぞれ個別に処理を行うことができる。
判定処理部６は、基準画像のデータと本画像のデータとを比較して、本画像における被写体の状態を判定する。

バッファメモリ７は、画像処理部４による画像処理の前工程や後工程で本画像のデータを一時的に記録する。また、バッファメモリ７には、後述の予備撮像期間に撮像されたスルー画像のデータなどが記録される。
メモリ８には、上記の表情検出部５ｅで表情の判定に使用する表情データ（表情モデルのテンプレートデータなど）が記憶されている。

操作部９は、前述のレリーズ釦９ａや操作釦９ｂなどを有している。操作部９のレリーズ釦９ａは、レリーズタイミングの指示入力をユーザーから受け付ける。操作部９の操作釦９ｂは、例えば後述のメニュー画面等での入力をユーザーから受け付ける。
記録Ｉ／Ｆ１０は、記憶媒体（不図示）を接続するためのコネクタが形成されている。そして、記録Ｉ／Ｆ１０は、コネクタに接続された記憶媒体に対してデータの書き込み／読み込みを実行する。

モニタ１１は、制御部５の指示する画面を表示する。本実施形態の例では、モニタ１１は、例えば、ＬＣＤ等の液晶モニタで構成されている。このモニタ１１は、例えば、カメラ本体の背面部に設けられるものであるが、ファインダー内での表示用として用いるものであってもよい。ここで、モニタ１１には撮影待機時にスルー画像が表示される。また、モニタ１１には、ＧＵＩ（Graphical User Interface）形式の入力が可能なメニュー画面なども表示することができる。上記のメニュー画面では、本画像の人物の表情を判定する場合に、判定しようとする表情の種類を制御部５に対してユーザーが操作釦９ｂへの操作を介して入力できる。例えば、ユーザーは、メニュー画面の選択項目として提示された表情モード（喜び、怒りなど）の項目を操作部９で指定することで上記入力を実行する。また、操作釦９ｂの操作により、主要被写体を選択指定することも可能である（これについては後述する）。

以下、第１実施形態の電子カメラの動作を説明する。図２は、第１実施形態の電子カメラでの撮像処理を示すフローチャートである。この第１実施形態の電子カメラでは、被写体の人物の開眼状態に応じてユーザーに警告を行う例を示す。なお、以下の各実施形態の説明では、便宜上、１人の人物を撮影するシーンを前提として説明を行う。
ステップＳ１で、制御部５は、操作部９のうちのレリーズ釦９ａに対するユーザーの半押し操作に応じて、基準画像を生成するための予備撮像処理を開始する。なお、このＳ１の処理は、レリーズ釦９ａの半押し操作に限られず、予備撮像処理を行うための専用の操作部材（レリーズ釦９ａとは別の操作部材）の操作で実行せしめるようにしてもよい。

ステップＳ２で、制御部５は、撮像素子２を駆動させて複数枚（複数フレーム）のスルー画像の撮像を行う。この各スルー画像の画像信号は、それぞれＡ／Ｄ変換部３を通過した後に、画像処理部４で補間処理などが施される。そして、これら複数枚（複数フレーム）のスルー画像のデータはバッファメモリ７に記録される。
ステップＳ３で、顔検出部５ａは、Ｓ２で生成した各スルー画像からそれぞれ顔領域を検出する。

ステップＳ４で、制御部５は、Ｓ２のスルー画像から顔領域が検出できたか否かを判定する。顔領域が検出できた場合（Ｙ）にはＳ５に移行する。一方、顔領域が検出できない場合（Ｎ）にはＳ８に移行する。
ステップＳ５で、目検出部５ｂは、Ｓ３で検出した顔領域から目領域を検出する。
ステップＳ６で、目開閉検出部５ｄは、Ｓ２で得られた各スルー画像における被写体の開眼状態の評価を実行する。具体的には、目開閉検出部５ｄは、Ｓ５で検出した目領域における目の上瞼線および下瞼線を検出する。次に、目開閉検出部５ｄは、上瞼線および下瞼線の間隔を測定し、この間隔の値を開眼状態の評価値とする。ここでは上瞼線および下瞼線の間隔が大きいほど、評価値の値は高くなるものとする。そして、制御部５は、開眼状態の評価値を判定対象の各スルー画像（Ｓ２）に対応付けしてバッファメモリ７に記録する。なお、Ｓ５で目領域が検出できない場合には、制御部５はＳ６およびＳ７の処理を省略してＳ８に移行する（なお、図２においてこの場合の処理の図示は省略する）。

ステップＳ７で、制御部５は、レリーズ前の予備撮像期間に撮像された複数枚（複数フレーム）のスルー画像（Ｓ２）に基づいて基準画像を生成する。
第１の例として、制御部５は、相前後して撮像された２フレーム分のスルー画像について、２つのスルー画像における開眼状態の評価値（Ｓ６）を比較する。そして、制御部５は開眼状態の評価値の高い方を基準画像に設定する。その後、制御部５は、基準画像のスルー画像と、それ以降の半押し操作期間中に（全押し操作がなされるまで）順次撮像される新たなスルー画像との間で上記の評価値の比較を繰り返し、より被写体の目が開いている画像を基準画像に設定（更新）する。なお、この場合には、基準画像とならない方のスルー画像のデータは、バッファメモリ７において他のスルー画像のデータで逐次上書きされて消去されることとなる。

また、第２の例として、制御部５は、Ｓ２で得られた複数のスルー画像を統計的に処理して基準画像のデータを作成してもよい。具体的には、制御部５は、複数のスルー画像における開眼状態の評価値（Ｓ６）の平均値を求め、上瞼線および下瞼線の間隔が平均値となる基準画像を画像処理で作成する。なお、制御部５は、複数のスルー画像のうちから上記の平均値に最も近い評価値を有するスルー画像を基準画像としてもよい。

また、第２の例において、制御部５は、重み付け平均処理をおこなって、他のスルー画像と明らかに相違するスルー画像に対しては重み付けを落とすようにしてもよい。さらに、制御部５は、基準画像を生成するときに、開眼状態の評価値（Ｓ６）が閾値の範囲から外れるスルー画像を判定対象から除外し、残りのスルー画像の評価値を平均化して基準画像を生成してもよい。

ステップＳ８で、制御部５は、レリーズ釦９ａが全押しされたか否かを判定する。レリーズ釦９ａが全押しされた場合（Ｙ）には、Ｓ９に移行する。この場合には予備撮像期間が終了し、制御部５によって本撮影が行われることとなる。一方、レリーズ釦９ａが全押しされていない場合（Ｎ）には、Ｓ２へ戻る。これにより、電子カメラによる基準画像の生成動作がレリーズ時まで繰り返されることとなる。

ステップＳ９で、制御部５は、撮像素子２を駆動させて本画像の撮像を行う。この本画像の画像信号は、Ａ／Ｄ変換部３を通過した後に、画像処理部４で各種の画像処理が施される。そして、本画像のデータは、圧縮処理が施される前にバッファメモリ７に一時的に記録される。
ステップＳ１０で、判定処理部６は、バッファメモリ７に記録された基準画像（Ｓ７）とレリーズ時に撮像された本画像（Ｓ９）とを比較する。

まず、画像処理部４は、バッファメモリ７に記録された本画像のデータに対して解像度変換処理を行って、スルー画像と同解像度に設定された評価用画像のデータを生成する。そして、判定処理部６は、本画像に対応する評価用画像と基準画像（Ｓ７）とを比較して、両画像間の類似度を演算する。一例として、判定処理部６は、画像間で対応する画素の明度、色差に基づいて画素ごとの類似度を判定し、類似すると判定された画素の数に応じて最終的な類似度の値を求める。この際に、特に注目すべき領域の画素（例えば、顔領域の画素、あるいは目領域の画素など、基準画像の特徴となっている領域の画素）のみに基づいて、類似度を判定するようにすれば、高速な類似度判定処理が可能となる。

ステップＳ１１で、判定処理部６は、基準画像と本画像との類似度（Ｓ１０）が所定の閾値以上であるか否かを判定する。類似度が閾値以上であって、本画像の被写体が開眼状態と推定される場合（Ｙ）にはＳ１４に移行する。一方、類似度が閾値未満であって、本画像の被写体が目つぶりした状態と推定される場合（Ｎ）には、Ｓ１２へ移行する。
ステップＳ１２で、制御部５は、モニタ１１に警告を表示する。例えば、制御部５は、モニタ１１に「撮影された人物は目を閉じています。画像を記録しますか。」等のメッセージを表示させる。なお、警告の手段はメッセージ表示に限定されず、音声による警告や、ＬＥＤ等の点滅または点灯による警告等によってもかまわない。

ステップＳ１３で、制御部５は、本画像を記録するか否かの指示を操作部９を介してユーザーから受け付ける。そして、制御部５は、ユーザーから本画像を記録する指示があったか否かを判定する。本画像を記録する指示があった場合（Ｙ）にはＳ１４に移行する。一方、本画像を記録しない旨の指示があった場合（Ｎ）には、Ｓ１へ戻る。
ステップＳ１４で、制御部５は、本画像のデータを記録媒体に記録する。以上で、図２に示す撮像処理の説明を終了する。

以下、第１実施形態の作用効果を説明する。第１実施形態の電子カメラは、レリーズ前の予備撮像期間に取得した複数のスルー画像から、人物が開眼状態にある基準画像を生成する。そして、電子カメラは、上記の基準画像に基づいて、例えば、本画像の被写体の開眼状態を判定し、被写体が目つぶり状態にある場合にはユーザーに対して警告する。
一般に、人が瞬きに要する平均時間は約１／１０秒といわれており、さらに、目を閉じてから完全に開くまでには約１／２秒を要する。そのため、被写体が一度瞬きをすると、スルー画像のフレームレートが３０ｆｐｓのときには２０フレーム程度は目の開き方が不十分な画像が撮像される。一方で、電子カメラで被写体を撮影するときにはカメラを構えてからレリーズまでに数秒から数十秒を要することが通常であるので、その間に撮像されるスルー画像には被写体が目を開いた画像が含まれる可能性が高くなる。すなわち、第１実施形態では、予備撮像期間の複数のスルー画像からより好ましい開眼状態の画像を基準画像にできるので、本画像の被写体の状態をより適切に判定することができる。

また、第１実施形態の電子カメラは、例えば、光が眩しくて被写体の人物が目を細めているシーンでは、被写体が目を細めている画像群に基づいて基準画像が生成される。したがって、従来では目つぶり状態と誤判定されやすい撮影条件下でも、撮影するシーンに応じた被写体の状況が基準画像に適確に反映されているので、本撮影画像が目つぶり状態と誤判定（換言すれば、失敗写真と誤判定）されることなく、被写体の開眼状態を精度良く判定できる。

（第２実施形態）
図３は、第２実施形態の電子カメラでの撮像処理を示すフローチャートである。この第２実施形態では、被写体の人物の顔の向き（正面向きか否か）に応じてユーザーに警告を行う例を示す。
ここで、以下の実施形態における電子カメラの構成は、図１に示す第１実施形態の電子カメラと共通するので重複説明は省略する。

また、図３のＳ１０１〜Ｓ１０３は図２のＳ１〜Ｓ３にそれぞれ対応し、図３のＳ１１３は図２のＳ１４に対応するので重複説明を省略する。
ステップＳ１０４で、制御部５は、Ｓ１０２のスルー画像から顔領域が検出できたか否かを判定する。顔領域が検出できた場合（Ｙ）にはＳ１０５に移行する。一方、顔領域が検出できない場合（Ｎ）にはＳ１０７に移行する。

ステップＳ１０５で、顔向き検出部５ｃは、Ｓ１０３で顔領域を検出したスルー画像について顔向きを示す評価情報を生成する。そして、制御部５は、上記の評価情報を判定対象のスルー画像（Ｓ１０２）に対応付けしてバッファメモリ７に記録する。
ステップＳ１０６で、制御部５は、レリーズ前の予備撮像期間に撮像された複数枚（複数フレーム）のスルー画像（Ｓ１０２）に基づいて基準画像を生成する。

この第２実施形態での制御部５は、相前後して撮像された２フレーム分のスルー画像について、２つのスルー画像における顔の向きの評価情報（Ｓ１０５）を比較する。そして、制御部５は、評価情報に基づいて好ましい顔の向き（正面向き）の画像を基準画像に設定する。その後、制御部５は、基準画像のスルー画像と、その後で順次撮像される新たなスルー画像とで上記の評価情報の比較を繰り返し、より被写体の顔の向きが好ましい画像を基準画像に設定（更新）する。なお、第２実施形態においても、制御部５は、前述の図２のＳ７において詳述したようにスルー画像を統計的に処理することで基準画像を生成してもよい。

ステップＳ１０７で、制御部５は、レリーズ釦９ａが全押しされたか否かを判定する。レリーズ釦９ａが全押しされた場合（Ｙ）には、Ｓ１０８に移行する。この場合には予備撮像期間が終了し、制御部５によって本撮影が行われることとなる。一方、レリーズ釦９ａが全押しされていない場合（Ｎ）には、Ｓ１０２へ戻る。これにより、電子カメラによる基準画像の生成動作がレリーズ時まで繰り返されることとなる。

ステップＳ１０８で、制御部５は、撮像素子２を駆動させて本画像の撮像を行う。なお、このＳ１０８は、図２のＳ９に対応するので重複説明は省略する。
ステップＳ１０９で、判定処理部６は、バッファメモリ７に記録された基準画像（Ｓ１０６）とレリーズ時に撮像された本画像（Ｓ１０８）とを比較する。なお、このＳ１０９は、図２のＳ１０に対応するので重複説明は省略する。

ステップＳ１１０で、判定処理部６は、基準画像と本画像との類似度（Ｓ１０９）が所定の閾値以上であるか否かを判定する。類似度が閾値以上である場合（Ｙ）にはＳ１１３に移行する。一方、類似度が閾値未満である場合（Ｎ）には、Ｓ１１１へ移行する。
ステップＳ１１１で、制御部５は、モニタ１１に警告を表示する。例えば、制御部５は、モニタ１１に「撮影された画像は正面を向いていません。画像を記録しますか。」等のメッセージを表示させる。なお、警告の手段はメッセージ表示に限定されず、音声による警告や、ＬＥＤ等の点滅または点灯による警告等によってもかまわない。

ステップＳ１１２で、制御部５は、本画像を記録するか否かの指示を操作部９を介してユーザーから受け付ける。そして、制御部５は、ユーザーから本画像を記録する指示があったか否かを判定する。本画像を記録する指示があった場合（Ｙ）にはＳ１１３に移行する。一方、本画像を記録しない旨の指示があった場合（Ｎ）には、Ｓ１０１へ戻る。以上で、図３に示す撮像処理の説明を終了する。

上記第２実施形態では、本画像における顔の向きの判定に関し、第１実施形態の場合とほぼ同様の効果を得ることができる。
（第３実施形態）
図４は、第３実施形態の電子カメラでの撮像処理を示すフローチャートである。この第３実施形態では、予備撮像処理期間中に得られた被写体の平均的な表情を基準としてユーザーに警告を行う例を示す。

また、図４のＳ２０１〜Ｓ２０３は図２のＳ１〜Ｓ３にそれぞれ対応し、図４のＳ２１３は図２のＳ１４に対応するので重複説明を省略する。
ステップＳ２０４で、制御部５は、Ｓ２０２で得た各スルー画像から顔領域が検出できたか否かを判定する。顔領域が検出できた場合（Ｙ）にはＳ２０５に移行する。一方、顔領域が検出できない場合（Ｎ）にはＳ２０７に移行する。

ステップＳ２０５で、表情検出部５ｅは、Ｓ２０３で検出した顔領域の表情の評価を実行する。具体的には、表情検出部５ｅは、メモリ８に予め記憶されている表情データ（テンプレートデータ）に基づいて、Ｓ２０２で得られた各スルー画像における被写体の表情の種類を示す評価情報を生成する。そして、制御部５は、上記の評価情報を判定対象の各スルー画像（Ｓ２０２）に対応付けしてバッファメモリ７に記録する。

ステップＳ２０６で、制御部５は、レリーズ前の予備撮像期間に撮像された複数のスルー画像（Ｓ２０２）を統計的に処理して基準画像を生成する。なお、生成された基準画像のデータはバッファメモリ７に記録される。
一例として、制御部５は、複数のスルー画像のうちで、表情の共通するスルー画像には重み付けを高める重み付け平均処理で基準画像を生成する。例えば、スルー画像が合計５フレームあり、４フレームは喜びの表情と判定され、１フレームは驚きの表情と判定されたとする。このとき、制御部５は、フレーム数の多い喜びの表情を主要な表情として重み付けを大きくし、主要な表情とは異なる驚きの表情に対する重み付けを小さくする。そして、制御部５は、上記の重み付けを考慮して５フレーム分のスルー画像から画像処理で基準画像のデータを作成する。このときの基準画像の表情は、上記の重み付けが反映されて喜びの表情が支配的になる。

なお、制御部５は、主要な表情と異なる表情を除外して、残りのスルー画像の平均的な表情を作成し、基準画像のデータを作成してもよい。上記の例であれば、制御部５は、驚きの表情のスルー画像を除外し、喜びの表情をもつ４フレーム分のスルー画像に基づいて基準画像のデータを作成する。
ステップＳ２０７で、制御部５は、レリーズ釦９ａが全押しされたか否かを判定する。レリーズ釦９ａが全押しされた場合（Ｙ）には、Ｓ２０８に移行する。この場合には予備撮像期間が終了し、制御部５によって本撮影が行われることとなる。一方、レリーズ釦９ａが全押しされていない場合（Ｎ）には、Ｓ２０２へ戻る。これにより、電子カメラによる基準画像の生成動作がレリーズ時まで繰り返されることとなる。

ステップＳ２０８で、制御部５は、撮像素子２を駆動させて本画像の撮像を行う。なお、このＳ２０８は、図２のＳ９に対応するので重複説明は省略する。
ステップＳ２０９で、判定処理部６は、バッファメモリ７に記録された基準画像（Ｓ２０６）とレリーズ時に撮像された本画像（Ｓ２０８）とを比較する。なお、このＳ２０９は、図２のＳ１０に対応するので重複説明は省略する。

ステップＳ２１０で、判定処理部６は、基準画像と本画像との類似度（Ｓ２０９）が所定の閾値以上であるか否かを判定する。類似度が閾値以上である場合（Ｙ）にはＳ２１３に移行する。一方、類似度が閾値未満である場合（Ｎ）には、Ｓ２１１へ移行する。
ステップＳ２１１で、制御部５は、モニタ１１に警告を表示する。例えば、制御部５は、モニタ１１に「撮影された画像は好ましい表情をしていない可能性があります。画像を記録しますか。」等のメッセージを表示させる。なお、警告の手段はメッセージ表示に限定されず、音声による警告や、ＬＥＤ等の点滅または点灯による警告等によってもかまわない。

ステップＳ２１２で、制御部５は、本画像を記録するか否かの指示を操作部９を介してユーザーから受け付ける。そして、制御部５は、ユーザーから本画像を記録する指示があったか否かを判定する。本画像を記録する指示があった場合（Ｙ）にはＳ２１３に移行する。一方、本画像を記録しない旨の指示があった場合（Ｎ）には、Ｓ２０１へ戻る。以上で、図４に示す撮像処理の説明を終了する。

上記第３実施形態では、本画像における顔の表情の判定に関し、第１実施形態の場合とほぼ同様の効果を得ることができる。特に第３実施形態によれば、例えば、レリーズ前は笑顔であったのに、レリーズ時に被写体が急に驚いた表情となって撮影された場合には警告を出すので、ユーザーにとって好ましい画像を記録するための対処（撮り直しなど）を促すことができる。

（第４実施形態）
図５は、第４実施形態の電子カメラでの撮像処理を示すフローチャートである。この第４実施形態は、第３実施形態の変形例であって、被写体が良好な表情をしているか否かを基準としてユーザーに警告を行う例を示す。なお、図５のＳ３０７〜Ｓ３１３は図４のＳ２０７〜Ｓ２１３にそれぞれ対応するので重複説明を省略する。

ステップＳ３０１で、制御部５は、操作部９からの操作に応じて、表情の設定に関するメニュー画面を立ち上げる。そして、制御部５は、ユーザーから表情モード（判定しようとする表情の種類、換言すれば、撮影したい表情の種類）の選択入力を受け付けた後に、基準画像を生成するための予備撮像処理を開始する。
ステップＳ３０２で、制御部５は、撮像素子２を駆動させてスルー画像の撮像を行う。なお、このＳ３０２は、図２のＳ２に対応するので重複説明は省略する。

ステップＳ３０３で、顔検出部５ａは、Ｓ３０２で生成したスルー画像から顔領域を検出する。
ステップＳ３０４で、制御部５は、Ｓ３０２の各スルー画像から顔領域が検出できたか否かを判定する。顔領域が検出できた場合（Ｙ）にはＳ３０５に移行する。一方、顔領域が検出できない場合（Ｎ）にはＳ３０７に移行する。

ステップＳ３０５で、表情検出部５ｅは、Ｓ３０３で検出した顔領域の表情の評価を実行する。具体的には、表情検出部５ｅは、Ｓ３０１で指定された表情モードに対応する表情データに基づいて、各スルー画像における被写体の表情と指定された表情との類似度を示す評価情報を生成する。そして、制御部５は、上記の評価情報を判定対象のスルー画像（Ｓ３０２）に対応付けしてバッファメモリ７に記録する。

ステップＳ３０６で、制御部５は、レリーズ前の予備撮像期間に撮像された複数枚（複数フレーム）のスルー画像（Ｓ３０２）に基づいて基準画像を生成する。一例として、制御部５は、前後して撮像された２フレーム分のスルー画像について、２つのスルー画像における評価情報（Ｓ３０５）を参照する。そして、制御部５は、上記の表情モードで指定された表情との類似度が高い方の画像を基準画像に設定する。その後、制御部５は、基準画像のスルー画像と、順次撮像される新たなスルー画像とで上記の評価情報の比較を繰り返し、より表情モードで指定された表情に類似するスルー画像を基準画像に設定（更新）する。なお、第４実施形態においても、制御部５は、前述の実施形態にて既述したようにスルー画像を統計的に処理することで基準画像を生成してもよい。以上で、図５に示す撮像処理の説明を終了する。

上記第４実施形態では、本画像における顔の表情の判定に関し、第１実施形態の場合とほぼ同様の効果を得ることができる。特に第４実施形態によれば、予備撮像期間において時々刻々変化する表情の中から、指定された表情に最も近い表情と考えられる基準画像を生成することができる。
（実施形態の補足）
（１）上記各実施形態の電子カメラで複数の人物が含まれるシーンを撮影する場合に、顔検出部５ａが主要被写体を特定する手順について説明する。

具体的には、顔検出部５ａは、自動的に複数の人物から主要被写体を特定するか、あるいは、ユーザーの指示に基づいて複数の人物から主要被写体を特定する。
自動的に電子カメラが主要被写体を特定する場合、顔検出部５ａは、検出した複数の顔領域のうちで最も至近側に位置する顔を主要被写体として特定する。一般的に電子カメラに対して最も至近側にある人物は、撮像を行うユーザーにとって主要な被写体である可能性が高いからである。このとき、顔検出部５ａは、顔の大きさに基づいて、顔のサイズが最も大きい人物を主要被写体としてもよく、あるいは、ＡＦ時に取得できる被写体距離の情報に基づいて、最も至近側の人物を決定してもよい。

例えば、第１実施形態において、前方に一人、後方に三人の人物が存在するシーンを撮影する場合を考える。この場合に制御部５は前方の人物を主要被写体として特定し、前方の人物の開眼状態に関する基準画像を生成する。すなわち、制御部５は、後方の三人が目を閉じた状態でも前方の一人が最も目が開いているスルー画像があれば、そのスルー画像に基づいて基準画像のデータを生成する。

なお、顔検出部５ａは、ＡＦ時の焦点検出エリアの位置にいる人物を自動的に主要被写体として特定するようにしてもよい。
次に、ユーザーの指示（操作釦９ｂによる選択指示操作）に基づいて主要被写体を特定する場合、制御部５はメニュー画面で撮影画面における主要被写体の位置の手動入力（指定）を受け付ける。そして、制御部５は、ユーザーから指定された位置にいる人物を主要被写体として、基準画像のデータを生成する。このとき、制御部５は、ユーザーが指定した主要被写体の位置を焦点検出エリアとしてＡＦを実行するようにしてもよい。

また、ユーザーの指示に基づいて主要被写体を特定する場合、制御部５は、ユーザーの入力に基づいて主要被写体の人数の上限を変更できるようにし、複数の人物を主要被写体として基準画像のデータを生成できるようにしてもよい。
（２）第１実施形態において、電子カメラに目を閉じた状態の基準画像を生成させるとともに、基準画像との類似度が高い場合に警告を実行させてもよい。つまり、撮影したくない表情（失敗写真と判定すべき表情）をあえて基準画像として作成しておくことで、その基準画像に類似した画像が本撮影時に得られた時には、失敗写真の警告を行うことが可能となる。また、第２実施形態において、電子カメラに顔の向きが正面向き以外である基準画像を生成させるとともに、本画像の被写体が任意の向きであるか否かを判定させるようにしてもよい。

また、上記各実施形態においてモニタ１１を、複数の画像を分割表示、あるいはオーバーラップ表示可能なように構成しておき、上記実施形態で得られた基準画像を、撮影画像とともにモニタ１１上に同時に表示させておくように構成してもよい。このような表示をすることで、撮影者が基準画像との比較を容易に確認できる。この際に、これから撮影される画像（ライヴビュー画像、スルー画像）とともに基準画像を表示させてもよいし、あるいは本撮影された撮影済み画像とともに基準画像を表示させるようにしてもよい。

また、基準画像は、撮影画像と同じ大きさで表示させてもよいし、サムネイル画像のように小さな画像に加工した上で表示させるようにしてもよい。
なお、図６は、基準画像Ｓ（サムネイル画像）を、本撮影された画像Ａの一部に重ねて表示させた例を示すものである。図６では、基準画像Ｓが「喜び（笑顔）」の表情であるのに対し、本撮影された画像Ａが、それとは異なった表情であるため、符号Ｂに示す警告表示を行っている例を示す。

このように基準画像をモニタ１１上に同時表示させておくことで、使用者は、何故警告表示Ｂがなされたのかを容易に理解することができる。
なお、本発明は、その精神またはその主要な特徴から逸脱することなく他の様々な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明は、特許請求の範囲によって示されるものであって、本発明は明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。

第１実施形態の電子カメラのブロック図 第１実施形態の電子カメラでの撮像処理を示すフローチャート 第２実施形態の電子カメラでの撮像処理を示すフローチャート 第３実施形態の電子カメラでの撮像処理を示すフローチャート 第４実施形態の電子カメラでの撮像処理を示すフローチャート 各実施形態に適用可能であり、基準画像を表示する一例を示す図

符号の説明

２：撮像素子、５：制御部、５ａ：顔検出部、５ｂ：目検出部、５ｃ：顔向き検出部、５ｄ：目開閉検出部、５ｅ：表情検出部、９：操作部

Claims (10)

1. 被写体を撮像して画像のデータを生成する撮像素子と、
   レリーズ前の予備撮影期間に撮像した複数のスルー画像のデータに基づいて、前記被写体の状態が所定の条件を満たす基準画像のデータを生成する制御部と、
   を備えることを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記制御部は、前記複数のスルー画像間で順次比較して得られた結果に基づいて、前記複数のスルー画像のうちの１フレームを抽出して前記基準画像のデータを生成することを特徴とする撮像装置。
3. 請求項１に記載の撮像装置において、
   前記制御部は、前記複数のスルー画像のデータを統計的に処理して前記基準画像のデータを生成することを特徴とする撮像装置。
4. 請求項１に記載の撮像装置において、
   前記制御部は、人物の表情に関して予め記憶されている表情モデルの基準データに基づいて、前記スルー画像の中に被写体として存在する人物の表情に着目した基準画像のデータを生成することを特徴とする撮像装置。
5. 請求項１〜４のうちの何れか一項に記載の撮像装置において、
   前記被写体から人物の顔領域を検出する顔検出部をさらに備え、
   前記制御部は、人物の顔領域の所定の状態に基づいて、前記基準画像のデータを生成することを特徴とする撮像装置。
6. 請求項５に記載の撮像装置において、
   前記制御部は、人物の開眼状態、顔の向き、表情の少なくとも一つに基づいて、前記基準画像のデータを生成することを特徴とする撮像装置。
7. 請求項１〜６のうちの何れか一項に記載の撮像装置において、
   前記基準画像のデータとレリーズ時の本画像のデータとを比較して、前記本画像における前記被写体の状態を判定する判定処理部をさらに備えることを特徴とする撮像装置。
8. 請求項５に記載の撮像装置において、
   前記顔検出部は、被写体に含まれる複数の人物から主要被写体を特定し、
   前記制御部は、前記主要被写体の顔の状態に基づいて、前記基準画像のデータを生成することを特徴とする撮像装置。
9. 請求項８に記載の撮像装置において、
   前記主要被写体の特定に関する入力をユーザーから受け付ける操作部をさらに備え、
   前記制御部は、前記入力に応じて、前記基準画像のデータを生成することを特徴とする撮像装置。
10. 請求項１〜９のうちの何れか一項に記載の撮像装置において、
    前記生成された基準画像のデータに基づいて、前記基準画像を表示する表示部を有することを特徴とする撮像装置。
    

Images