JP2007259004A - デジタルカメラ、画像処理装置及び画像処理プログラム - Google Patents

Abstract

【課題】 撮影者が焦点や露出条件を設定したい主要な被写体に対して焦点や露出条件を確実に設定して被写体を撮像可能なデジタルカメラと、このデジタルカメラを用いて撮像した画像を処理する画像処理装置及び画像処理プログラムを提供する。
【解決手段】 撮像手段１６は、被写体を撮像する。検出手段３４は、被写体の特徴部を検出する。制御手段３２は、検出手段３４が複数の特徴部を検出したときに、焦点を複数の特徴部にそれぞれ合わせて、撮像手段１６に被写体を複数回撮像させる。
【選択図】 図１

Description

本発明は、被写体の特徴を検出し、その検出結果に応じて被写体の撮影に必要な焦点や露出条件を設定するデジタルカメラと、このデジタルカメラを用いて撮像した画像を処理する画像処理装置及び画像処理プログラムに関する。

従来のデジタルカメラでは、被写体の特徴に応じて、その被写体の撮像に用いる焦点や露出条件を設定する技術がある。例えば、特許文献１では、被写体が有する複数の特徴を検出することによって人物の顔等が主要な被写体として特定され、この主要な被写体に焦点や露出条件を合わせて被写体の撮像が行われる。さらに、撮影レンズから被写体までの距離や、被写体のサイズ等が被写体の特徴として検出され、検出された距離が小さく、または、検出されたサイズの大きい被写体が主要な被写体として特定される。
特開２００５−１１７５３０号公報

ところで、特許文献１の手法では、上述した複数の特徴に基づいて特定される主要な被写体は、焦点や露出条件の設定に適しているとは限らなかった。例えば、撮影レンズから近い距離に位置する被写体や、サイズの大きい被写体は、撮影者が焦点や露出条件を設定したい主要な被写体と同じとは限らない。このため、撮影者の意図する主要な被写体に焦点や露出条件を合わせて被写体を撮像できない場合があった。また、撮影者が焦点を設定したい複数の主要な被写体がカメラからほぼ同じ距離に位置していたとしても、これらの主要な被写体からそれぞれ放出される被写体像が結像する焦点面（撮像面）は、撮影レンズの像面湾曲収差等の影響によって平面にならず曲面になる場合がある。したがって、被写体像が撮像面の中心に結像すると、撮像面の周辺で撮像される画像はぼけてしまう。逆に、被写体像が撮像部の周辺に結像すると、撮像面の中心で撮像される画像はぼけてしまう。このため、撮影者の意図する複数の主要な被写体に焦点を合わせて被写体を撮像できない場合があった。

本発明の目的は、撮影者が焦点や露出条件を設定したい主要な被写体に対して焦点や露出条件を確実に設定して被写体を撮像可能なデジタルカメラと、このデジタルカメラを用いて撮像した画像を処理する画像処理装置及び画像処理プログラムを提供することである。

請求項１のデジタルカメラでは、撮像手段は、被写体を撮像する。検出手段は、被写体の特徴部を検出する。制御手段は、検出手段が複数の特徴部を検出したときに、焦点を複数の特徴部にそれぞれ合わせて、撮像手段に被写体を複数回撮像させる。
請求項２のデジタルカメラでは、検出手段は、撮像手段により予め撮像される補助画像から人物の顔領域を特徴部として検出する。制御手段は、検出手段が複数の特徴部を検出したときに、複数の特徴部に焦点をそれぞれ合わせて、撮像手段に被写体を複数回撮像させる。

請求項３のデジタルカメラでは、制御手段は、検出手段により検出された顔領域の数が予め決められた基準数を超えるときに、各顔領域の内、面積が大きい顔領域、あるいは、補助画像の中心付近の顔領域に対応する人物の顔から優先的に焦点をそれぞれ合わせて、撮像手段に基準数回だけ被写体を撮像させる。
請求項４のデジタルカメラでは、検出手段は、撮像手段により予め撮像される補助画像から人物の顔領域を特徴部として検出する。選択手段は、撮像手段により撮像された複数の画像のいずれかを選択する。顔検出手段は、選択手段により選択されていない残りの画像から焦点が合っている人物の顔領域をそれぞれ検出する。生成手段は、顔検出手段により検出された顔領域を、選択手段により選択されている画像の同じ領域に置き換えることで合成画像を生成する。

請求項５のデジタルカメラでは、撮像手段は、被写体を撮像する。検出手段は、被写体の特徴部を検出する。制御手段は、検出手段が複数の特徴部を検出したときに、複数の特徴部に合わせて露出条件をそれぞれ設定して、撮像手段に被写体を複数回撮像させる。
請求項６のデジタルカメラでは、検出手段は、撮像手段により予め撮像される補助画像から人物の顔領域を特徴部として検出する。制御手段は、検出手段が複数の特徴部を検出したときに、複数の特徴部に合わせて露出条件をそれぞれ設定して、撮像手段に被写体を複数回撮像させる。

請求項７のデジタルカメラでは、制御手段は、検出手段により検出された顔領域の数が予め決められた基準数を超えるときに、各顔領域の内、面積が大きい顔領域、あるいは、補助画像の中心付近の顔領域に対応する人物の顔から優先的に合わせて露出条件をそれぞれ設定して、撮像手段に基準数回だけ被写体を撮像させる。
請求項８のデジタルカメラでは、検出手段は、撮像手段により予め撮像される補助画像から人物の顔領域を特徴部として検出する。選択手段は、撮像手段により撮像された複数の画像のいずれかを選択する。顔検出手段は、選択手段により選択されていない残りの画像から露出条件が設定されている人物の顔領域をそれぞれ検出する。生成手段は、顔検出手段により検出された顔領域を、選択手段により選択されている画像の同じ領域に置き換えることで合成画像を生成する。

請求項９のデジタルカメラでは、画像処理手段は、撮像手段により撮像された複数の画像のホワイトバランスをそれぞれ調整するホワイトバランス処理、及び複数の画像の色彩をそれぞれ補正する色再現処理の少なくともいずれかを行う。
請求項１０の画像処理装置では、選択手段は、被写体である複数の人物の顔に焦点をそれぞれ合わせて被写体を撮像することにより得られた複数の画像のいずれかを選択する。顔検出手段は、選択手段により選択されていない残りの画像から焦点が合っている人物の顔領域をそれぞれ検出する。生成手段は、顔検出手段により検出された顔領域を、選択手段により選択されている画像の同じ領域に置き換えることで合成画像を生成する。

請求項１１の画像処理装置では、選択手段は、被写体である複数の人物の顔に合わせて露出条件をそれぞれ設定して被写体を撮像することにより得られた複数の画像のいずれかを選択する。顔検出手段は、選択手段により選択されていない残りの画像から露出条件が設定されている人物の顔領域をそれぞれ検出する。生成手段は、顔検出手段により検出された顔領域を、選択手段により選択されている画像の同じ領域に置き換えることで合成画像を生成する。

請求項１２の画像処理プログラムでは、コンピュータを、被写体である複数の人物の顔に焦点をそれぞれ合わせて被写体を撮像することにより得られた複数の画像のいずれかを選択する選択手段と、選択手段により選択されていない残りの画像から焦点が合っている人物の顔領域をそれぞれ検出する顔検出手段と、顔検出手段により検出された顔領域を、選択手段により選択されている画像の同じ領域に置き換えることで合成画像を生成する生成手段として機能させる。

請求項１３の画像処理プログラムでは、コンピュータを、被写体である複数の人物の顔に合わせて露出条件をそれぞれ設定して被写体を撮像することにより得られた複数の画像のいずれかを選択する選択手段と、選択手段により選択されていない残りの画像から露出条件が設定されている人物の顔領域をそれぞれ検出する顔検出手段と、顔検出手段により検出された顔領域を、選択手段により選択されている画像の同じ領域に置き換えることで合成画像を生成する生成手段として機能させる。

撮影者が焦点や露出条件を設定したい主要な被写体に対して焦点や露出条件を確実に設定して、被写体を撮像できる。

以下、本発明の実施形態を図面を用いて説明する。
図１は、本発明のデジタルカメラの第１の実施形態を示している。デジタルカメラ１００は、撮影レンズ１０、絞り１２、機械式のシャッタ１４、ＣＣＤやＣＭＯＳイメージセンサ等で構成される撮像素子１６（撮像手段）、Ａ／Ｄ変換回路１８、記憶部２０、操作部２２、表示部２４、Ｉ／Ｆ部２６、ＲＯＭ２８、閃光発光部３０及び制御部３２（制御手段、検出手段、顔検出手段、生成手段及び画像処理手段）を有している。

撮影レンズ１０は、ズームレンズ１０ａやフォーカスレンズ１０ｂを含む複数のレンズ群で構成されている。撮影レンズ１０を構成する各レンズは、図示しないレンズ駆動用ドライバ４０によって光軸方向の位置が調節される。絞り１２は、撮影レンズ１０とシャッタ１４の間に配置される。絞り１２は、図示しない絞りドライバによって駆動される。絞り１２の絞り値は、撮影レンズ１０を通過した光の光量を絞るために調節される。

シャッタ１４は、撮影レンズ１０からＣＣＤ１６への光路を遮る位置に配置されるシャッタ膜（図示せず）を有する。シャッタ１４は、図示しないシャッタドライバによって駆動され、撮影レンズ１０を通過した光によってＣＣＤ１６が露光される時間を調節する。また、シャッタ膜は、レリーズボタン（図示せず）が押し下げられるレリーズ時または非レリーズ時（撮影待機時）に、撮影レンズ１０からＣＣＤ１６への光路を確保するために開く。なお、機械式のシャッタ１４に代えて、撮像素子１６の電子シャッタにより露光時間を調節する構成としてもよい。あるいは、機械式のシャッタ１４と、撮像素子１６の電子シャッタとを併用する構成としてもよい。

撮像素子１６は、撮像面に撮影レンズ１０を介して結像した被写体像を光電変換し、画像信号を出力する。撮像素子１６は、非レリーズ時にも被写体を所定間隔毎に露光し、間引き読み出しによる画像信号を出力する。Ａ／Ｄ変換回路１８は、撮像素子１６より受けた画像信号をＡ／Ｄ変換して、画像データを生成する。また、Ａ／Ｄ変換回路１８は、非レリーズ時に撮像素子１６より受けた画像信号をＡ／Ｄ変換して、スルー画像データを生成する。なお、スルー画像データは、撮影者が被写体の構図を決定する補助画像（以下、プレビュー画像）として使用されると共に、特徴検出部３４による顔検出処理（詳細は後述）にも使用される画像データである。記憶部２０は、Ａ／Ｄ変換回路１８によりＡ／Ｄ変換された画像データを一時的に保存する。

操作部２２は、被写体の撮影時に押下げられるレリーズボタンや、デジタルカメラ１００の動作モードや表示部２４に再生表示される画像等を選択する選択スイッチ（図示せず）等を有している。表示部２４は、例えば液晶パネル（図示せず）及び液晶パネルの駆動用ドライバ回路（図示せず）等により構成される。液晶パネルには、レリーズ時または非レリーズ時に撮像素子１６によって撮像される画像や設定画面が表示される。すなわち、表示部２４は、撮像素子１６の撮像面に結像される被写体像を映すファインダーとしても利用される。撮影者は、この表示部２４に映し出された被写体像を見ることによって、被写体の構図や被写体の状態を確認できる。

Ｉ／Ｆ部２６には、記憶媒体４２を接続するためのコネクタが形成されている。この記憶媒体４２は、公知の半導体メモリ等で構成される。Ｉ／Ｆ部２６は、記憶媒体４２に対する画像データの書き込み／読み込みを制御する。ＲＯＭ２８は、フラッシュメモリ等で構成され、デジタルカメラ１００の電源がオフの間も、画像データを含む各種データを保持する。ＲＯＭ２８には、制御部により実行されるプログラムが格納されている。

閃光発光部３０は、キセノン発光管（図示せず）や、閃光発光のエネルギを蓄えるメインコンデンサ（図示せず）等で構成される。閃光発光部３０は、撮影の際に被写体に対して閃光発光を照射可能である。制御部３２は、特徴検出部３４（検出手段）、オートフォーカス（以下、ＡＦ）部３６、露出演算部３８及び画像合成部４０（選択手段、顔検出手段及び生成手段）を有している。制御部３２は、ＲＯＭ２８に格納されたプログラムを実行することによって各回路の動作を制御する。

図２〜図５は、デジタルカメラの第１の実施形態における撮影待機処理動作を示している。図２〜図５に示す動作は、制御部３２（制御手段、検出手段、顔検出手段、生成手段及び画像処理手段）がＲＯＭ２８に格納されたプログラムを実行することによって実現される。
まず、ステップＳ１００において、制御部３２は、撮像素子１６及びＡ／Ｄ変換回路１８をそれぞれ駆動して、被写体である人物を撮像し、プレビュー画像ＰＰを生成する。そして、制御部３２は、このプレビュー画像ＰＰを表示部２４に表示する。この後、処理はステップＳ１０２に移行する。

ステップＳ１０２において、制御部３２は、撮影者による撮影待機処理以外の処理への変更要求を受け付けると、デジタルカメラの第１の実施形態における撮影待機処理動作が終了する。一方、撮影者による変更要求を受け付けないと、処理はステップＳ１０４に移行する。
ステップＳ１０４において、制御部３２（特徴検出部３４）は、プレビュー画像ＰＰから特徴点を抽出して、被写体の顔領域ｔｃを検出する処理（以下、顔検出処理）を行うと共に、検出した顔領域の数ｎを計数する。なお、この顔検出処理の方法には特に限定はなく、公知の各種の方法が利用可能である。例えば、制御部３２は、プレビュー画像ＰＰから、人物の眉、目、鼻、唇の各端点、顔の輪郭点、頭頂点や顎の下端点等を抽出して、顔領域ｔｃ（ｃ＝１〜ｎ）を検出する。なお、検出された顔領域のいずれにもあてはまる事項についても以下では、顔画像ｔｃと表記する。また、制御部３２は、被写体の色情報に基づいて肌色領域の輪郭を抽出し、さらに予め用意された顔部分のテンプレートとのマッチングを行って顔領域ｔｃを検出してもよい。そして、処理はステップＳ１０６に移行する。

ステップＳ１０６において、制御部３２は、撮影者によるレリーズボタンの全押しを待つ。レリーズボタンの全押しが検出されると、処理はステップＳ１０８に移行する。一方、レリーズボタンの全押しが検出されないと、処理はステップＳ１００に移行する。
ステップＳ１０８において、処理は図３の撮影処理に移行する。ステップＳ２００において、制御部３２は、ステップＳ１０４で計数した顔領域ｔｃの数ｎが０であるか否かを判定する。ｎが０であれば、すなわち、プレビュー画像ＰＰ内に顔領域ｔｃがないと、処理はステップＳ２０２に移行する。一方、ｎが０でなければ、すなわち、プレビュー画像ＰＰ内に顔領域ｔｃがあると、処理は図４のステップＳ３００に移行する。

ステップＳ２０２において、制御部３２（ＡＦ部３６）は、プレビュー画像ＰＰにおいて予め決められた領域Ｒｔに対応する被写体に合わせてＡＦ演算を実行する。この後、処理はステップＳ２０４に移行する。
ステップＳ２０４において、制御部３２（露出演算部３８）は、プレビュー画像ＰＰにおいて予め決められた領域Ｒｔに対応する被写体に合わせて露出条件を決定するＡＥ（自動露出）演算を実行する。この後、処理はステップＳ２０６に移行する。

ステップＳ２０６において、制御部３２は、撮像素子１６及びＡ／Ｄ変換回路１８をそれぞれ駆動して画像Ｐを生成する。なお、この後、処理はステップＳ２０８に移行する。
ステップＳ２０８において、制御部３２は、画像Ｐのホワイトバランスを調整する処理（以下、ホワイトバランス処理）や、画像Ｐの色彩を補正する処理（以下、色再現処理）を行って画像Ｐ−ｐを生成する。この後、処理はステップ２１０に移行する。

ステップＳ２１０において、制御部３２は、画像Ｐ−ｐをＩ／Ｆ部２６を介して記憶媒体４２に保存する。そして、撮影処理が終了し、処理は図２のステップＳ１００に移行する。
一方、ステップＳ２００でプレビュー画像ＰＰ内に顔領域ｔｃがあると、ステップＳ３００において、制御部３２は、顔領域ｔｃの数ｎが２以上であるか否かを判定する。ｎが２未満、すなわち、ｎが１であれば、処理は図５のステップＳ４００に移行する。一方、ｎが２以上であれば、制御部３２は、ステップＳ１０４で検出された顔領域ｔｃ（ｃ＝１〜ｎ）について、図４に示す第１反復処理（ステップＳ３０２〜Ｓ３１２に相当する処理）を、顔領域ｔｃの数ｎに等しい回数だけ反復して実行する。なお、以下では、説明を簡単にするために、顔領域ｔｃの数ｎが３であると仮定する。

ステップＳ３０２において、制御部３２は、顔領域ｔｃ（ｃ＝１〜３）から、後述のＡＦ演算やＡＥ演算に使用されていない顔領域ｔｃを選択する。この後、処理はステップＳ３０４に移行する。
ステップＳ３０４において、制御部３２（ＡＦ部３６）は、選択した顔領域ｔｃに対応する人物の顔に焦点を合わせるＡＦ演算を実行する。なお、このＡＦ演算方法には特に限定はなく、公知の各種の方法が利用可能である。例えば、制御部３２は、顔領域ｔｃに対応して読み出される焦点検出用の画像データを用いて焦点評価値（ＡＦ評価値）を判定して、この焦点評価値が最大になるように、図１のフォーカスレンズ１０ｂを駆動させて人物の顔に焦点を合わせる。このように、制御部３２は、プレビュー画像ＰＰ内にある全ての顔領域ｔｃに対応する人物の顔に焦点を合わせることができる。このため、制御部３２は、撮影者が焦点を合わせたい人物の顔に対して焦点を確実に合わせることができる。そして、処理はステップＳ３０６に移行する。

ステップＳ３０６において、制御部３２（露出演算部３８）は、選択した顔領域ｔｃに対応する人物の顔に合わせて露出条件を決定するＡＥ演算を実行する。なお、このＡＥ演算方法には特に限定はなく、公知の各種の方法が利用可能である。例えば、制御部３２は、以下の演算式（１）を用いて露出条件を決定する。
ＢＶ＋ＳＶ＝ＡＶ＋ＴＶ・・・（１）
演算式（１）のＢＶは顔領域ｔｃにおける輝度値のＡＰＥＸ（Additive System of Photographic Exposure）値、ＳＶは撮像素子１６の感度値のＡＰＥＸ値、ＡＶは絞り値のＡＰＥＸ値、ＴＶはシャッタ速度のＡＰＥＸ値を示している。露出演算部３８は、演算式（１）を満たすように、感度値ＳＶ、絞り値ＡＶ、シャッタ速度ＴＶを調整する。このように、制御部３２は、プレビュー画像ＰＰ内にある全ての顔領域ｔｃに対応する人物の顔に合わせて露出条件を設定できる。このため、制御部３２は、撮影者が露出条件を設定したい人物の顔に対して露出条件を確実に設定できる。そして、処理はステップＳ３０８に移行する。

ステップＳ３０８において、制御部３２は、撮像素子１６及びＡ／Ｄ変換回路１８をそれぞれ駆動して画像Ｐｃを生成する。このように、撮像素子１６は、撮影者が焦点や露出条件を設定したい人物の顔に焦点や露出条件を合わせて被写体を撮像できる。この後、処理はステップＳ３１０に移行する。
ステップＳ３１０において、制御部３２は、図３のステップＳ２０８と同様に、画像Ｐｃに対してホワイトバランス処理や色再現処理を行って画像Ｐｃ−ｐを生成する。

ステップＳ３１２において、制御部３２は、生成した画像Ｐｃ−ｐを記憶部２０に一時的に保存する。
そして、第１反復処理が完了し、画像Ｐ１−ｐ、Ｐ２−ｐ、Ｐ３−ｐが記憶部２０にそれぞれ保存されると、制御部３２は、引き続きステップＳ３１４を実行する。ステップＳ３１４において、制御部３２は、撮影者による画像Ｐ１−ｐ、Ｐ２−ｐ、Ｐ３−ｐの合成要求を受け付けると、処理はステップＳ３１６に移行する。一方、この合成要求を受け付けないと、撮影処理が終了し、処理は図２のステップＳ１００に移行する。

ステップＳ３１６において、制御部３２（画像合成部４０）は、記憶部２０に格納されている画像Ｐ１−ｐ、Ｐ２−ｐ、Ｐ３−ｐのいずれか（この例では、Ｐ１−ｐ）を選択する。そして、制御部３２（画像合成部４０）は、選択されていない残りの画像Ｐ２−ｐ、Ｐ３−ｐから、ステップＳ１０４と同様に顔検出処理を行って、焦点や露出条件が設定されている人物の顔領域Ｔ２、Ｔ３をそれぞれ検出する。そして、制御部３２（画像合成部４０）は、検出した顔領域Ｔ２、Ｔ３を、画像Ｐ１−ｐの同じ領域に置き換えることで合成画像ＣＰを生成する。したがって、制御部３２は、全ての人物の顔に焦点や露出条件が設定されている合成画像ＣＰを生成できる。このため、制御部３２は、撮影者が焦点や露出条件を設定したい人物の顔に対して焦点や露出条件が合っている合成画像ＣＰを確実に生成できる。なお、制御部３２は、顔領域Ｔ２、Ｔ３に対応する人物の顔領域が画像Ｐ１−ｐの同じ領域にない場合、合成画像ＣＰを生成することができないことを示すエラー表示を表示部２４に表示させてもよい。この後、処理はステップＳ３１８に移行する。

ステップＳ３１８において、制御部３２は、合成画像ＣＰをＩ／Ｆ部２６を介して記憶媒体４２に保存する。この後、処理はステップＳ３２０に移行する。
ステップＳ３２０において、制御部３２は、合成画像ＣＰの生成に用いた元の画像Ｐ１−ｐ、Ｐ２−ｐ、Ｐ３−ｐを消去する。なお、これらの画像Ｐ１−ｐ、Ｐ２−ｐ、Ｐ３−ｐの消去は、撮影者による削除要求に応じて行われるものでもよい。また、画像Ｐ１−ｐ、Ｐ２−ｐ、Ｐ３−ｐと、合成画像ＣＰとを１つのファイルにまとめて記憶媒体４２に保存してもよく、あるいは、それぞれの画像を独立したファイルに保存してもよい。そして、撮影処理が終了し、処理は図２のステップＳ１００に移行する。

一方、ステップＳ３００で顔領域ｔｃの数ｎが１であれば、ステップＳ４００において、制御部３２（ＡＦ部３６）は、ステップＳ３０４と同様に、顔領域ｔ１に対応する人物の顔に焦点を合わせるＡＦ演算を実行する。この後、処理はステップＳ４０２に移行する。
ステップＳ４０２において、制御部３２（露出演算部３８）は、ステップＳ３０６と同様に、顔領域ｔ１に対応する人物の顔に合わせて露出条件を決定するＡＥ演算を実行する。この後、処理はステップＳ４０４に移行する。

ステップＳ４０４において、制御部３２は、ステップＳ３０８と同様に、撮像素子１６及びＡ／Ｄ変換回路１８をそれぞれ駆動して画像Ｐ１を生成する。この後、処理はステップＳ４０６に移行する。
ステップＳ４０６において、制御部３２は、ステップＳ３１０と同様に、画像Ｐ１に対してホワイトバランス処理や色再現処理を行って画像Ｐ１−ｐを生成する。この後、処理はステップＳ４０８に移行する。

ステップＳ４０８において、制御部３２は、生成した画像Ｐ１−ｐをＩ／Ｆ部２６を介して記憶媒体４２に保存する。そして、撮影処理が終了し、処理は図２のステップＳ１００に移行する。
以上、第１の実施形態では、制御部３２は、プレビュー画像ＰＰ内にある全ての顔領域ｔｃに対応する人物の顔に合わせて焦点や露出条件を設定することができる。また、制御部３２は、撮影者が焦点を設定したい複数の人物がデジタルカメラ１００からほぼ同じ距離に位置している場合であっても、全ての人物の顔に焦点を合わせることができる。このため、撮像素子１６は、撮影者が焦点や露出条件を設定したい人物の顔に対して焦点や露出条件を確実に設定して被写体を撮像できる。

図６〜図１０は、デジタルカメラの第２の実施形態における撮影待機処理動作を表している。第１の実施形態で説明した要素と同一の要素については、詳細な説明を省略する。この実施形態では、図１に示した制御部３２が実行するためにＲＯＭ２８に格納されているプログラムが、第１の実施形態と相違する。その他の構成は、第１の実施形態のデジタルカメラ１００と同じである。

なお、上述した図２〜図５と同じ処理については、詳細な説明を省略する。また、図６〜図１０に示す動作は、制御部３２（制御手段、検出手段、顔検出手段、生成手段及び画像処理手段）がＲＯＭ２８に格納されたプログラムを実行することによって実現される。 図６〜図１０は、図８のステップＳ３００において、顔領域ｔｃの数ｎが２以上であれば、ステップＳ５００の実行後、ステップＳ３０２、あるいは、図９に示す第２反復処理（ステップＳ５０２〜Ｓ５１２に相当する処理）が実行される点と、この第２反復処理が完了すると、引き続き図８のステップＳ３１４が実行される点を除いて、第１実施形態（図２〜図５）と同じである。

まず、図６のステップＳ１００〜Ｓ１０６が実行され、図７のステップＳ２００において、プレビュー画像ＰＰから顔領域ｔｃが検出された場合、処理は図８のステップＳ３００に移行する。
ステップＳ３００において、制御部３２は、顔領域ｔｃの数ｎが２以上であるか否かを判定する。ｎが２未満、すなわち、ｎが１であれば、処理は図１０のステップＳ４００に移行する。一方、ｎが２以上であれば、処理はステップＳ５００に移行する。

ステップＳ５００において、制御部３２は、顔領域ｔｃの数ｎが予め決められた基準回数ＳＮを超えるか否かを判定する。なお、以下では、説明を簡単にするために、基準回数ＳＮが３であると仮定する。顔領域ｔｃの数ｎが基準回数３以下であれば、制御部３２は、ステップＳ１０４で検出された顔領域ｔｃ（ｃ＝１〜ｎ）について、第１反復処理（図８のステップＳ３０２〜Ｓ３１２に相当する処理）を、顔領域ｔｃの数ｎに等しい回数だけ反復して実行する。そして、制御部３２は、この第１反復処理が完了すると、引き続きステップＳ３１４を実行する。

一方、顔領域ｔｃの数ｎが基準回数３を超えると、制御部３２は、上述した第２反復処理を基準回数３だけ反復して実行する。ステップＳ５０２において、制御部３２は、顔領域ｔｃ（ｃ＝１〜ｎ）から、ＡＦ演算やＡＥ演算に使用されていない顔領域ｔｃの内、面積が最も大きい顔領域ｔｃ、あるいは、プレビュー画像ＰＰの中心付近の顔領域ｔｃを選択する。面積が最も大きい顔領域ｔｃや、プレビュー画像ＰＰの中心付近の顔領域ｔｃに対応する人物の顔は、一般的に、撮影者が焦点や露出条件を設定したい人物の顔であることが多い。このため、制御部３２は、撮影者による複雑な操作を伴うことなく、撮影者が焦点や露出条件を設定したい人物の顔に対して焦点や露出条件を優先的に設定できる。この後、処理はステップＳ５０４に移行する。

ステップＳ５０４において、制御部３２（ＡＦ部３６）は、図４のステップＳ３０４と同様に、選択した顔領域ｔｃに対応する人物の顔に焦点を合わせるＡＦ演算を実行する。そして、処理はステップＳ５０６に移行する。
ステップＳ５０６において、制御部３２（露出演算部３８）は、図４のステップＳ３０６と同様に、選択した顔領域ｔｃに対応する人物の顔に合わせて露出条件を決定するＡＥ演算を実行する。そして、処理はステップＳ５０８に移行する。

ステップＳ５０８において、制御部３２は、撮像素子１６及びＡ／Ｄ変換回路１８をそれぞれ駆動して画像Ｐｃを生成する。この後、処理はステップＳ５１０に移行する。
ステップＳ５１０において、制御部３２は、図３のステップＳ２０８と同様に、画像Ｐｃに対してホワイトバランス処理や色再現処理を行って画像Ｐｃ−ｐを生成する。そして、第２反復処理が完了し、画像Ｐ１−ｐ、Ｐ２−ｐ、Ｐ３−ｐが記憶部２０にそれぞれ保存されると、制御部３２は、引き続きステップＳ３１４を実行する。

以上、第２の実施形態では、第１の実施形態と同様な効果を得ることができる。更に、制御部３２は、撮影者による複雑な操作を伴うことなく、撮影者が焦点や露出条件を設定したい人物の顔に対して、焦点や露出条件を優先的に設定できる。
図１１〜図１３は、デジタルカメラの第３の実施形態における撮影待機処理動作を表している。第１の実施形態で説明した要素と同一の要素については、詳細な説明を省略する。この実施形態では、図１に示した制御部３２が実行するためにＲＯＭ２８に格納されているプログラムが、第１の実施形態と相違する。その他の構成は、第１の実施形態のデジタルカメラ１００と同じである。

なお、上述した図２〜図５と同じ処理については、詳細な説明を省略する。また、図１１〜図１３に示す動作は、制御部３２（制御手段、検出手段、顔検出手段、生成手段及び画像処理手段）がＲＯＭ２８に格納されたプログラムを実行することによって実現される。
まず、ステップＳ６００において、制御部３２は、図２のステップＳ１００と同様に被写体である人物を撮像してプレビュー画像ＰＰを生成し、このプレビュー画像ＰＰを表示部２４に表示する。この後、処理はステップＳ６０２に移行する。

ステップＳ６０２において、制御部３２は、図２のステップＳ１０２と同様に、撮影待機処理以外の処理への変更要求を受け付けると、デジタルカメラの第３の実施形態における撮影待機処理動作が終了する。一方、撮影者による変更要求を受け付けないと、処理はステップＳ６０４に移行する。
ステップＳ６０４において、制御部３２（特徴検出部３４）は、図２のステップＳ１０４と同様にプレビュー画像ＰＰから特徴点を抽出して、被写体の顔領域ｔｃを検出する顔検出処理を行うと共に、検出した顔領域ｔｃの数ｎを計数する。そして、処理はステップＳ６０６に移行する。

ステップＳ６０６において、制御部３２は、撮影者によるレリーズボタンの半押しを待つ。レリーズボタンの半押しが検出されないと、処理はステップＳ６００に移行する。一方、レリーズボタンの半押しが検出されると、処理はステップＳ６０８に移行する。
ステップＳ６０８において、処理は図１２の半押し処理に移行する。ステップＳ７００において、制御部３２は、レンズ駆動用ドライバ４０を制御して、ＡＦサーチ開始位置へフォーカスレンズ１０ｂを駆動する。この後、処理はステップＳ７０２に移行する。

ステップＳ７０２において、制御部３２（ＡＦ部３６）は、各顔領域ｔｃに対応するＡＦ評価値を取得する。この後、処理はステップＳ７０４に移行する。
ステップＳ７０４において、制御部３２は、レンズ駆動用ドライバ４０を制御して、ＡＦサーチ終了位置へフォーカスレンズ１０ｂを駆動する。この後、処理はステップＳ７０６に移行する。

ステップＳ７０６において、制御部３２は、制御部３２（ＡＦ部３６）は、各顔領域ｔｃに対応するＡＦ評価値を取得する。この後、処理はステップＳ７０８に移行する。
ステップＳ７０８において、制御部３２は、各顔領域ｔｃに対応するＡＦ評価値の取得（サーチ）が終了したか否かを判定する。ＡＦ評価値の取得が終了した場合、処理はステップＳ７１０に移行する。一方、ＡＦ評価値の取得が終了していない場合、処理はステップＳ７０６に移行する。

ステップＳ７１０において、制御部３２（ＡＦ部３６）は、各顔領域ｔｃに対応するフォーカスレンズ１０ｂの位置であるフォーカス位置を計算する。この後、処理はステップＳ７１２に移行する。
ステップＳ７１２において、制御部３２（露出演算部３８）は、各顔領域ｔｃにおける輝度値のＡＰＥＸ値ＢＶを演算する。この後、処理は図１１のステップＳ６１０に移行する。

ステップＳ６１０において、制御部３２は、レリーズボタンがオフであるか否かを判定する。レリーズボタンがオフであれば、処理はステップＳ６００に移行する。一方、レリーズボタンがオンであれば、処理はステップＳ６１２に移行する。
ステップＳ６１２において、制御部３２は、撮影者によるレリーズボタンの全押しを待つ。レリーズボタンの全押しが検出されないと、処理はステップＳ６１０に移行する。一方、レリーズボタンの全押しが検出されると、処理はステップＳ６１４に移行する。

ステップＳ６１４において、処理は図１３の全押し処理に移行する。ステップＳ８００において、制御部３２は、各顔領域ｔｃのいずれかを選択する。この後、処理はステップＳ８０２に移行する。
ステップＳ８０２において、制御部３２（ＡＦ部３６）は、選択された顔領域ｔｃに対応するフォーカス位置にフォーカスレンズ１０ｂを駆動する。この後、処理はステップＳ８０４に移行する。

ステップＳ８０４において、制御部３２（露出演算部３８）は、選択された顔領域ｔｃに対応する輝度値のＡＰＥＸ値ＢＶを用いて、上述した演算式（１）を満たすように感度値ＳＶ、絞り値ＡＶ、シャッタ速度ＴＶを調整する。この後、処理はステップＳ８０６に移行する。
ステップＳ８０６において、制御部３２は、撮像素子１６及びＡ／Ｄ変換回路１８をそれぞれ駆動して画像Ｐｃを生成する。この後、処理はステップＳ８０８に移行する。

ステップＳ８０８において、制御部３２は、画像Ｐｃに対してホワイトバランス処理や色再現処理を行って画像Ｐｃ−ｐを生成する。この後、処理はステップＳ８１０に移行する。
ステップＳ８１０において、制御部３２は、ステップＳ８００で全ての顔領域が選択されたか否かを判定する。全ての顔領域が選択された場合、処理はステップＳ８１２に移行する。一方、全ての顔領域が選択されていない場合、処理はステップＳ８００に移行する。

ステップＳ８１２において、制御部３２（画像合成部４０）は、図４のステップＳ３１６と同様に合成画像ＣＰを生成する。そして、処理は図１１のステップＳ６００に移行する。
以上、この実施形態においても、デジタルカメラ１００の第１の実施形態と同様な効果を得ることができる。更に、半押し処理（図１２）で各顔領域におけるＡＦ評価値のサーチを一度行うだけで、各顔領域に対応するフォーカス位置を決定することが可能である。したがって、複雑なＡＦ演算を一度限りで終わらせることができる。さらに、露出演算についても、半押し処理で各顔領域におけるＡＰＥＸ値ＢＶを予め取得可能である。よって、全押し処理（図１３）では、感度値ＳＶ、絞り値ＡＶ、シャッタ速度ＴＶの設定のみが行われ、処理が速やかに行われる。

図１４は、本発明の画像処理装置及び画像処理プログラムの第１の実施形態を示している。パーソナルコンピュータ２００（画像処理装置）は、画像を表示するディスプレイ４４、コマンドや数値等を入力するキーボード４６、制御装置４８、ＣＤ−ＲＯＭ５０及びカードリーダ５２を有している。制御装置４８は、パーソナルコンピュータ２００内の各装置を制御するＣＰＵ５４、ハードディスク５６及びドライブ装置５８を有している。

ＣＤ−ＲＯＭ５０は、ドライブ装置５８に着脱可能に装着される。このＣＤ−ＲＯＭ５０がドライブ装置５８に装着された後、キーボード４６を介して入力される指示に応答して、ＣＤ−ＲＯＭ５０に保存されたプログラム（画像処理プログラム）がハードディスク５６にダウンロードされる。
カードリーダ５２は、ＵＳＢコード等を用いて制御装置４８に着脱可能に装着される。カードリーダ５２には、記憶媒体４２が着脱可能に装着される。なお、この記憶媒体４２には、デジタルカメラ１００の第１の実施形態（図４）で述べた第１反復処理によって得られた画像Ｐ１−ｐ、Ｐ２−ｐ、Ｐ３−ｐが予め格納されている。

図１５は、画像処理装置及び画像処理プログラムの第１の実施形態における画像処理動作を表している。図１５に示す動作は、ＣＰＵ５４（選択手段、顔検出手段及び生成手段）がハードディスク５６に格納されたプログラムを実行することによって実現される。
ステップＳ９００において、ＣＰＵ５４は、ユーザによる画像Ｐ１−ｐ、Ｐ２−ｐ、Ｐ３−ｐの合成要求を受け付けると、処理はステップＳ９０２に移行する。一方、この合成要求を受け付けないと、画像処理装置及び画像処理プログラムの第１の実施形態における画像処理動作が終了する。

ステップＳ９０２において、ＣＰＵ５４は、記憶媒体４２に格納されている画像Ｐ１−ｐ、Ｐ２−ｐ、Ｐ３−ｐのいずれか（この例では、画像Ｐ１−ｐ）を選択する。ＣＰＵ５４は、選択されていない残りの画像Ｐ２−ｐ、Ｐ３−ｐから、図２のステップＳ１０４と同様に顔検出処理を行って、焦点や露出条件が設定された顔領域Ｔ２、Ｔ３をそれぞれ検出する。そして、ＣＰＵ５４は、検出した顔領域Ｔ２、Ｔ３を、画像Ｐ１−ｐの同じ領域に置き換えることで合成画像ＣＰを生成する。したがって、ＣＰＵ５４は、全ての人物の顔に焦点や露出条件が設定されている合成画像ＣＰを生成できる。このため、ＣＰＵ５４は、撮影者が焦点や露出条件を設定したい人物の顔に対して焦点や露出条件が合っている合成画像ＣＰを確実に生成できる。なお、ＣＰＵ５４は、これらの顔領域Ｔ２、Ｔ３に対応する人物の顔領域が画像Ｐ１−ｐの同じ領域にない場合、合成画像ＣＰを生成することができないことを示すエラー表示をディスプレイ４４に表示させてもよい。この後、処理はステップＳ９０４に移行する。

ステップＳ９０４において、ＣＰＵ５４は、合成画像ＣＰをハードディスク５６に保存する。この後、処理はステップＳ９０６に移行する。
ステップＳ９０６において、ＣＰＵ５４は、合成画像ＣＰの生成に用いた元の画像Ｐ１−ｐ、Ｐ２−ｐ、Ｐ３−ｐを消去する。なお、これらの画像Ｐ１−ｐ、Ｐ２−ｐ、Ｐ３−ｐの消去は、ユーザによる削除要求に応じて行われるものでもよい。また、画像Ｐ１−ｐ、Ｐ２−ｐ、Ｐ３−ｐと、合成画像ＣＰとを１つのファイルにまとめてハードディスク５６に保存してもよく、あるいは、それぞれの画像を独立したファイルに保存してもよい。そして、画像処理装置及び画像処理プログラムの第１の実施形態における画像処理動作が終了する。

以上、この実施形態においても、デジタルカメラ１００の第１の実施形態と同様な効果を得ることができる。更に、ＣＰＵ５４は、全ての顔領域に焦点や露出条件が設定されている合成画像ＣＰを生成できる。このため、ＣＰＵ５４は、撮影者が焦点や露出条件を設定したい人物の顔に対して焦点や露出条件が合っている合成画像ＣＰを確実に生成できる
なお、上述したデジタルカメラの第１〜第３の実施形態及び、画像処理装置及び画像処理プログラムの第１の実施形態では、画像Ｐ２−ｐ、Ｐ３−ｐに対して公知の顔検出処理を行って、焦点や露出条件が設定された顔領域Ｔ２、Ｔ３をそれぞれ検出し、合成画像ＣＰを生成する例について述べた。本発明はかかる実施形態に限定されるものではない。例えば、画像Ｐ２−ｐ、Ｐ３−ｐに対してウェーブレット変換を行って、これらの画像の各周波数成分の値に重み付けを行い、それらの総和を画素毎に比較することで、より鮮明な領域を焦点が設定された顔領域Ｔ２、Ｔ３として検出するものでもよい。

上述したデジタルカメラの第１〜第３の実施形態では、プレビュー画像ＰＰから特徴点を抽出して、被写体である人物の顔領域を検出する例について述べた。本発明はかかる実施形態に限定されるものではない。例えば、被写体が所持しているＩＣタグを検知する検知部を設け、被写体である人物の位置や人数等に基づいて焦点や露出条件を設定するものでもよい。なお、人物の位置や人数等は、ＩＣタグに限らず、携帯電話、ＧＰＳ、赤外線センサ等を利用して検知されるものでもよい。

本発明は、被写体の特徴を検出し、その検出結果に応じて被写体の撮影に必要な焦点や露出条件を設定するデジタルカメラと、このデジタルカメラを用いて撮像した画像を処理する画像処理装置及び画像処理プログラムに適用される。

本発明のデジタルカメラの第１の実施形態を示すブロック図である。 デジタルカメラの第１の実施形態における撮影待機処理動作を示すフローチャートである。 デジタルカメラの第１の実施形態における撮影待機処理動作を示すフローチャートである。 デジタルカメラの第１の実施形態における撮影待機処理動作を示すフローチャートである。 デジタルカメラの第１の実施形態における撮影待機処理動作を示すフローチャートである。 デジタルカメラの第２の実施形態における撮影待機処理動作を示すフローチャートである。 デジタルカメラの第２の実施形態における撮影待機処理動作を示すフローチャートである。 デジタルカメラの第２の実施形態における撮影待機処理動作を示すフローチャートである。 デジタルカメラの第２の実施形態における撮影待機処理動作を示すフローチャートである。 デジタルカメラの第２の実施形態における撮影待機処理動作を示すフローチャートである。 デジタルカメラの第３の実施形態における撮影待機処理動作を示すフローチャートである。 デジタルカメラの第３の実施形態における撮影待機処理動作を示すフローチャートである。 デジタルカメラの第３の実施形態における撮影待機処理動作を示すフローチャートである。 本発明の画像処理装置及び画像処理プログラムの第１の実施形態を示すブロック図である。 画像処理装置及び画像処理プログラムの第１の実施形態における画像処理動作を示すフローチャートである。

符号の説明

１０…撮影レンズ、１０ａ…ズームレンズ、１０ｂ…フォーカスレンズ、１２…絞り、１４…シャッタ、１６…撮像素子、１８…Ａ／Ｄ変換回路、２０…記憶部、２２…操作部、２４…表示部、２６…Ｉ／Ｆ部、２８…ＲＯＭ、３０…閃光発光部、３２…制御部、３４…特徴検出部、３６…オートフォーカス部、３８…露出演算部、４０…画像合成部、４２…記憶媒体、４４…ディスプレイ、４６…キーボード、４８…制御装置、５０…ＣＤ−ＲＯＭ、５２…カードリーダ、５４…ＣＰＵ、５６…ハードディスク、５８…ドライブ装置、１００…デジタルカメラ、２００…パーソナルコンピュータ

Claims (13)

1. 被写体を撮像する撮像手段と、
   前記被写体の特徴部を検出する検出手段と、
   前記検出手段が複数の前記特徴部を検出したときに、焦点を複数の特徴部にそれぞれ合わせて、前記撮像手段に前記被写体を複数回撮像させる制御手段とを備えることを特徴とするデジタルカメラ。
2. 請求項１記載のデジタルカメラにおいて、
   前記検出手段は、前記撮像手段により予め撮像される補助画像から人物の顔領域を前記特徴部として検出し、
   前記制御手段は、前記検出手段が複数の前記特徴部を検出したときに、複数の特徴部に焦点をそれぞれ合わせて、前記撮像手段に前記被写体を複数回撮像させることを特徴とするデジタルカメラ。
3. 請求項２記載のデジタルカメラにおいて、
   前記制御手段は、前記検出手段により検出された顔領域の数が予め決められた基準数を超えるときに、各顔領域の内、面積が大きい顔領域、あるいは、前記補助画像の中心付近の顔領域に対応する人物の顔から優先的に前記焦点をそれぞれ合わせて、前記撮像手段に前記基準数回だけ前記被写体を撮像させることを特徴とするデジタルカメラ。
4. 請求項１記載のデジタルカメラにおいて、
   前記検出手段は、前記撮像手段により予め撮像される補助画像から人物の顔領域を前記特徴部として検出し、
   前記撮像手段により撮像された複数の画像のいずれかを選択する選択手段と、
   前記選択手段により選択されていない残りの画像から前記焦点が合っている人物の顔領域をそれぞれ検出する顔検出手段と、
   前記顔検出手段により検出された顔領域を、前記選択手段により選択されている画像の同じ領域に置き換えることで合成画像を生成する生成手段とを備えることを特徴とするデジタルカメラ。
5. 被写体を撮像する撮像手段と、
   前記被写体の特徴部を検出する検出手段と、
   前記検出手段が複数の前記特徴部を検出したときに、複数の特徴部に合わせて露出条件をそれぞれ設定して、前記撮像手段に前記被写体を複数回撮像させる制御手段とを備えることを特徴とするデジタルカメラ。
6. 請求項５記載のデジタルカメラにおいて、
   前記検出手段は、前記撮像手段により予め撮像される補助画像から人物の顔領域を前記特徴部として検出し、
   前記制御手段は、前記検出手段が複数の前記特徴部を検出したときに、複数の特徴部に合わせて露出条件をそれぞれ設定して、前記撮像手段に前記被写体を複数回撮像させることを特徴とするデジタルカメラ。
7. 請求項６記載のデジタルカメラにおいて、
   前記制御手段は、前記検出手段により検出された顔領域の数が予め決められた基準数を超えるときに、各顔領域の内、面積が大きい顔領域、あるいは、前記補助画像の中心付近の顔領域に対応する人物の顔から優先的に合わせて前記露出条件をそれぞれ設定して、前記撮像手段に前記基準数回だけ前記被写体を撮像させることを特徴とするデジタルカメラ。
8. 請求項５記載のデジタルカメラにおいて、
   前記検出手段は、前記撮像手段により予め撮像される補助画像から人物の顔領域を前記特徴部として検出し、
   前記撮像手段により撮像された複数の画像のいずれかを選択する選択手段と、
   前記選択手段により選択されていない残りの画像から前記露出条件が設定されている人物の顔領域をそれぞれ検出する顔検出手段と、
   前記顔検出手段により検出された顔領域を、前記選択手段により選択されている画像の同じ領域に置き換えることで合成画像を生成する生成手段とを備えることを特徴とするデジタルカメラ。
9. 請求項２または請求項６記載のデジタルカメラにおいて、
   前記撮像手段により撮像された複数の画像のホワイトバランスをそれぞれ調整するホワイトバランス処理、及び前記複数の画像の色彩をそれぞれ補正する色再現処理の少なくともいずれかを行う画像処理手段を備えることを特徴とするデジタルカメラ。
10. 被写体である複数の人物の顔に焦点をそれぞれ合わせて前記被写体を撮像することにより得られた複数の画像のいずれかを選択する選択手段と、
    前記選択手段により選択されていない残りの画像から前記焦点が合っている人物の顔領域をそれぞれ検出する顔検出手段と、
    前記顔検出手段により検出された顔領域を、前記選択手段により選択されている画像の同じ領域に置き換えることで合成画像を生成する生成手段とを備えることを特徴とする画像処理装置。
11. 被写体である複数の人物の顔に合わせて露出条件をそれぞれ設定して前記被写体を撮像することにより得られた複数の画像のいずれかを選択する選択手段と、
    前記選択手段により選択されていない残りの画像から前記露出条件が設定されている人物の顔領域をそれぞれ検出する顔検出手段と、
    前記顔検出手段により検出された顔領域を、前記選択手段により選択されている画像の同じ領域に置き換えることで合成画像を生成する生成手段とを備えることを特徴とする画像処理装置。
12. コンピュータを、
    被写体である複数の人物の顔に焦点をそれぞれ合わせて前記被写体を撮像することにより得られた複数の画像のいずれかを選択する選択手段と、
    前記選択手段により選択されていない残りの画像から前記焦点が合っている人物の顔領域をそれぞれ検出する顔検出手段と、
    前記顔検出手段により検出された顔領域を、前記選択手段により選択されている画像の同じ領域に置き換えることで合成画像を生成する生成手段として機能させることを特徴とする画像処理プログラム。
13. コンピュータを、
    被写体である複数の人物の顔に合わせて露出条件をそれぞれ設定して前記被写体を撮像することにより得られた複数の画像のいずれかを選択する選択手段と、
    前記選択手段により選択されていない残りの画像から前記露出条件が設定されている人物の顔領域をそれぞれ検出する顔検出手段と、
    前記顔検出手段により検出された顔領域を、前記選択手段により選択されている画像の同じ領域に置き換えることで合成画像を生成する生成手段として機能させることを特徴とする画像処理プログラム。
    

Images