JP2015115714A - 撮像装置、撮像装置の制御方法、及び、プログラム - Google Patents

Abstract

【課題】ブラケット画像に対して被写体に応じた画像処理を施す際に、より適切な画像を生成可能にする。
【解決手段】撮影が指示される前の撮影待機中に撮影手段１０６により生成された待機中画像を解析手段１１２が解析して待機中画像から検出した被写体につき、撮影の指示に応じて被写体ごとに設定された撮影条件を用いて撮影手段がブラケット撮影を行い、解析手段１１２がブラケット撮影により生成された複数のブラケット画像を解析し被写体を含む被写体領域を複数のブラケット画像のそれぞれから検出し、検出された各被写体領域について撮影条件との関連で判定を行い判定の結果に従って各被写体領域につき複数のブラケット画像のうち１つのブラケット画像を選択し、画像処理手段１０８は各被写体領域につき選択された１つのブラケット画像に対して画像処理を実行する。
【選択図】図１

Description

本発明は、撮像装置、撮像装置の制御方法、及び、プログラムに関する。

複数の露出値でブラケット撮影を行うＡＥブラケット機能や、複数のフォーカス位置でブラケット撮影を行うＡＦブラケット機能が知られている。特許文献１は、撮影待機中のスルー画像でシーン解析を行い、露出を合わせる複数の対象被写体を決定し、その対象被写体に応じた複数の露出値を設定して、ＡＥブラケット撮影を行う技術を開示する。

また、撮影画像に対して、ぼかし処理、色フィルタ処理、トリミング処理等の画像処理を施して、趣の異なる画像を生成する技術が一般に知られている。

特開２０１２−１１９７８８号

上述の技術の組み合わせにおいて、ブラケット撮影された各画像に対して、被写体に応じた画像処理を施す構成を考えた場合、単純に組み合わせただけでは以下のような課題がある。例えば、特許文献１によれば、撮影待機中に検出した複数の顔などの被写体情報に基づいてブラケットする露出を求めて撮影する。その際、撮影待機中から本撮影までの間に被写体の位置や明るさが変化した場合、撮影待機中の被写体に露出を合わせたブラケット画像は、その被写体に適切なものとはならない。そのため、その後の画像処理において、ブラケット画像から、被写体情報に基づいて画像処理を施した画像を生成した場合、例えば不適切な露出で、被写体からずれた位置を切り出した画像が生成されてしまう可能性がある。

そこで、本発明は、ブラケット画像に対して被写体に応じた画像処理を施す際に、より適切な画像を生成可能にすることを目的とする。

上記課題を解決する本発明は、撮像装置であって、
撮影手段と、
前記撮影手段が撮影した画像を解析する解析手段と、
前記解析手段の解析結果に基づき前記画像を処理する画像処理手段とを備え、
撮影が指示される前の撮影待機中に前記撮影手段により生成された待機中画像を前記解析手段が解析して前記待機中画像から検出した被写体につき、撮影の指示に応じて被写体ごとに設定された撮影条件を用いて前記撮影手段がブラケット撮影を行い、
前記解析手段が、前記ブラケット撮影により生成された複数のブラケット画像を解析し、前記被写体を含む被写体領域を前記複数のブラケット画像のそれぞれから検出し、該検出された各被写体領域について前記撮影条件との関連で判定を行い、該判定の結果に従って各被写体領域につき前記複数のブラケット画像のうち１つのブラケット画像を選択し、
前記画像処理手段は、前記各被写体領域につき、選択された前記１つのブラケット画像に対して画像処理を実行することを特徴とする。

本発明によれば、ブラケット画像に対して被写体に応じた画像処理を施す際に、より適切な画像を生成することが可能となる。

発明の実施形態に係る撮像装置の構成例を示すブロック図である。 発明の実施形態に係る撮影処理の一例を示すフローチャートである。 発明の実施形態に係るシーン解析処理の一例を示すフローチャートである。 発明の実施形態に係る撮影処理の一例を説明するための図である。 発明の実施形態に係るシーン解析結果統合の一例を説明するための図である。 発明の実施形態に係る各撮影画像に対する画像処理の方法の一例を示す図である。 発明の実施形態に係るトリミング処理の結果の一例を示す図である。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。ここでは、本発明の実施形態に係る撮像装置、情報処理装置、或いは、画像処理装置として、所謂、デジタルカメラを取り上げることとするが、本発明はこれに限定されるものではない。撮影機能を有する他の装置、例えば、デジタルビデオカメラ、携帯電話、スマートフォン、その他の携帯型電子機器等として実施されても良い。

［実施形態１］
＜デジタルカメラの構成＞
図１は、本発明の実施形態に係るデジタルカメラの構成を示すブロック図である。図１はデジタルカメラ１００のハードウェア構成を示すが、ここに示す構成はあくまで一例であって、図１に示す以外の構成要素が付加されてもよい。また、図１のデジタルカメラ１００において、撮像素子、操作表示部、操作部、スイッチのような物理的デバイスを除き、各ブロックは専用ロジック回路やメモリを用いてハードウェア的に構成されてもよい。或いは、メモリに記憶されている処理プログラムをＣＰＵ等のコンピュータが実行することにより、ソフトウェア的に構成されてもよい。以下、デジタルカメラ１００の構成要素及びその機能について説明する。

撮影レンズ１０１は、ズーム機構を有する。絞り及びシャッタ１０２は、ＡＥ処理部１０３からの指示に従って、被写体の反射光である入射光の撮像素子１０６への入射光量と電荷蓄積時間を制御する。ＡＥ処理部１０３は、絞り及びシャッタ１０２の動作を制御すると共に、後述するＡ／Ｄ変換部１０７を制御する。フォーカスレンズ１０４は、ＡＦ処理部１０５からの制御信号にしたがって、撮像素子１０６の受光面上に焦点を合わせて光学像を結像させる。

撮像素子１０６は、受光面に結像した光学像をＣＣＤ素子或いはＣＭＯＳ素子等の光電変換手段によって電気信号に変換してＡ／Ｄ変換部１０７へ出力する。Ａ／Ｄ変換部１０７は、受信した電気信号（アナログ信号）をデジタル信号に変換する。Ａ／Ｄ変換部１０７は、受信した電気信号からノイズを除去するＣＤＳ回路や、受信した電気信号をデジタル信号に変換する前に非線形増幅するための非線形増幅回路を含む。

画像処理部１０８は、Ａ／Ｄ変換部１０７から出力されたデジタル信号に対して所定の画素補間や画像縮小等のリサイズ処理と色変換処理とを行って、画像データを出力する。フォーマット変換部１０９は、画像データをＤＲＡＭ１１０に記憶するために、画像処理部１０８で生成した画像データのフォーマット変換を行う。ＤＲＡＭ１１０は、高速な内蔵メモリの一例であり、画像データの一時的な記憶を司る高速バッファとして、或いは、画像データの圧縮／伸張処理における作業用メモリ等として使用される。

画像記録部１１１は、撮影画像（静止画、動画）を記録するメモリーカード等の記録媒体とそのインターフェースを有する。システム制御部１１２は、ＣＰＵ、ＲＯＭ、ＲＡＭを有し、ＣＰＵがＲＯＭに格納されたプログラムをＲＡＭの作業エリアに展開し、実行することにより、デジタルカメラの全体的な動作制御を行う。また、撮像素子１０６の有する複数の撮像駆動モードからどのモードを使用するかの制御を行う。ＶＲＡＭ１１３は画像表示用のメモリである。表示部１１４は、例えば、ＬＣＤ等であり、画像の表示や操作補助のための表示、カメラ状態の表示を行う他、撮影時には撮影画面と測距領域を表示する。

ユーザは、操作部１１５を操作することによりデジタルカメラを外部から操作する。操作部１１５は、例えば、露出補正や絞り値の設定、画像再生時の設定等の各種設定を行うメニュースイッチ、撮影レンズのズーム動作を指示するズームレバー、撮影モードと再生モードの動作モード切換えスイッチ等を有する。メインスイッチ１１６は、デジタルカメラのシステムに電源を投入するためのスイッチである。第１スイッチ１１７は、ＡＥ処理やＡＦ処理等の撮影準備動作を行うためのスイッチである。第１スイッチ（ＳＷ１）を操作して行われるＡＥ処理やＡＦ処理等の撮影準備動作を以下ＳＷ１処理と呼ぶ。第２スイッチ１１８は、第１スイッチ１１７の操作後に、システム制御部１１２に対して撮影指示を行うスイッチである。第２スイッチ（ＳＷ２）を操作して行われる撮影指示処理を以下ＳＷ２処理と呼ぶ。なお、ＳＷ１とＳＷ２とは単一のシャッターボタンとして実装されてもよい。例えばシャッターボタンが半押しされた場合にＳＷ１が操作されたものとし、全押しされた場合にＳＷ２が操作されたものとすることができる。

＜全体のフローチャート＞
次に、図２を参照して発明の実施形態にかかるデジタルカメラ１００における処理の流れについて説明する。本実施形態では、ＡＥブラケット処理を行い、その後画像処理を行う方法を一例として説明する。図２はＡＥブラケット処理および画像処理を行う方法の一例を示すフローチャートである。該フローチャートに対応する処理は、例えば、システム制御部１１２内で、ＣＰＵが、ＲＯＭに格納された対応プログラムをＲＡＭの作業エリアに展開し実行することにより実現できる。

まずＳ２０１では、撮影待機中のスルー画像のシーンを解析する。ここでは、例えば画像中の青空領域を検出する特徴領域検出技術や、人物の顔などを検出する被写体検出技術を利用する。この結果をシーン解析結果と呼ぶ。これらは、公知の種々の方法を使用してよい。なお、スルー画像とはＳＷ２による撮影指示がなされていない状態で撮像素子が撮影し、操作表示部１１４に表示される画像である。

次にＳ２０２では露出制御を行う。ここでは、Ｓ２０１のシーン解析結果等に基づき、撮影待機中のスルー画像として好ましい、シーン全体のバランスを考慮した露出設定を行う。例えば、測光エリアごとに重み付けしたテンプレート重みを用いて、画面の広範囲の平均輝度を求めて測光する評価測光方式などの公知の露出制御方法を使用してもよい。

次にＳ２０３では、ＡＥブラケット撮影を行うかどうかを判定する。ＡＥブラケット判定は、Ｓ２０１のシーン解析結果に基づいて、ＡＥブラケットの対象とする被写体（ＡＥブラケット対象被写体）を決定し、ＡＥブラケット対象被写体領域の輝度値に基づいて行ってもよい。これによって、露出オーバーまたは露出アンダーとなってしまう被写体または特徴領域がスルー画像中に複数存在する場合に、ＡＥブラケット撮影を行うと判定される。またこの際、ブラケット撮影を行う回数を、ＡＥブラケット対象被写体の数と同回数に設定する。

Ｓ２０４ではＳＷ１処理がされたかどうかを判定する。ＳＷ１処理された場合には（Ｓ２０４で「ＹＥＳ」）、Ｓ２０５へ移動する。一方、そうでない場合（Ｓ２０４で「ＮＯ」）はＳ２０１へ移動し、周期的にＳ２０１〜Ｓ２０４の処理を繰り返す。続くＳ２０５では、Ｓ２０３でＡＥブラケットを行うと判定されている場合には、ＡＥブラケット対象被写体の輝度値に基づいて、ブラケット回数ごとに露出値を決定する。ＡＥブラケットを行わないと判定されている場合には、１回分の撮影の露出値を決定する。露出値の決定方法については、例えば特許文献１の方法を用いることができる。

Ｓ２０６では、ＳＷ２処理がされたかどうかを判定する。ＳＷ２処理がされた場合（Ｓ２０６で「ＹＥＳ」）にはＳ２０７へ移動する。Ｓ２０７では、Ｓ２０３でＡＥブラケット判定がされたかどうかを判定する。ＡＥブラケットを行うと判定されている場合は、Ｓ２０８へ移動する。ＡＥブラケットを行わないと判定されている場合には、Ｓ２０９へ移動する。Ｓ２０８ではＳ２０５で決定した露出値に基づいてＡＥブラケット撮影を行う。各々の撮影画像は、対応するＡＥブラケット対象被写体と関連付けて記憶される。

Ｓ２０９では通常撮影を行う。通常撮影でも同様に、撮影時に露出を合わせた被写体と関連付けて記憶される。続くＳ２１０では、Ｓ２０８およびＳ２０９で撮影された画像を用いたシーン解析を行う。シーン解析方法については、図３を参照して説明する。更にＳ２１１では、Ｓ２１０の撮影画像を用いたシーン解析結果に基づいて、各画像に画像処理を施す。画像処理方法については、図６を参照して説明する。

＜撮影画像を用いたシーン解析＞
次に、撮影画像を用いたシーン解析の方法について説明する。図３は撮影画像を用いたシーン解析を行う処理の一例を示すフローチャートである。該フローチャートに対応する処理も、例えば、システム制御部１１２内で、ＣＰＵが、ＲＯＭに格納された対応プログラムをＲＡＭの作業エリアに展開し実行することにより実現できる。

また、図４は本実施形態における好適なシーンを撮影したスルー画像に基づいて取得されるＡＥブラケット画像の一例を示す。図４では、撮影待機中に取得された画像４０１には、被写体Ａとして人物、被写体Ｂとして植物、被写体Ｃとして雲が写っている。画像４０１を例にとって、シーン解析処理の流れを説明する。

まず、Ｓ３０１では、図２のＳ２０１において行った撮影待機中のシーン解析結果を取得する。図４の待機中画像４０１に示す撮影待機中では、例えば、被写体Ａの人物は、画像中央の、輝度が中程度の領域に存在していることがシーン解析結果として得られる。続くＳ３０２では、ループ処理を用いて、ブラケット撮影した画像それぞれについて、シーン解析を行う。シーン解析処理は、図２のＳ２０１における手法と同様の公知の方法を用いることができる。１枚目の撮影画像から順に処理が行われ、すべての撮影画像について処理が終了した場合、ループを抜けてＳ３０３へ移動する。図４の例では、Ｓ２０３において、３つの被写体および特徴領域がＡＥブラケット対象被写体と判定された。従って、１枚目が被写体Ａ（人物）に対応した露出値、２枚目が被写体Ｂ（植物）に対応した露出値、３枚目が被写体Ｃ（雲）に対応した露出値が設定され、画像４０３から４０５までの３枚のブラケット画像が撮影される。これら３枚の画像について、シーン解析が順に行われ、３枚目のブラケット画像が処理された後、ループを抜ける。

Ｓ３０３ではＳ３０１で取得した撮影待機中シーンの解析結果と、Ｓ３０２で取得した撮影画像を用いたシーン解析結果とを統合する。まず、撮影待機中のシーン解析結果と、撮影画像を用いたシーン解析結果それぞれについて、被写体の位置、大きさ、輝度値等についてのリストを作成する。次に、撮影待機中画像４０１に対するシーン解析処理で検出した被写体それぞれが、ブラケット撮影により得られたブラケット画像４０３から４０５を用いたシーン解析処理で検出した被写体と一致するかを判定する。一致の判定方法は、例えば被写体の大きさや位置の差が所定以内かどうかに応じて決定してもよい。被写体が顔である場合は、公知の顔認証技術を用いて、一致を判定してもよい。

一致すると判定された被写体については、ブラケット画像における一致した被写体領域の輝度値を測定する。そして、ＡＥブラケット対象被写体の中から注目の被写体を選択し、注目被写体の領域の輝度値（平均輝度値）を、所定値（適正値：適正輝度値ＣＬ）と比較する。輝度値と適正値との差分が最小、即ち輝度値が最も適正値に近いブラケット画像を、適正な注目被写体に対応するブラケット画像として再度選択する。この処理を、ＡＥブラケット対象被写体各々を注目被写体として実行する。

また、ブラケット画像間で、撮影環境又は撮影状況（シーン）が変化したかどうかの判定を実施し、シーンが変化したと判定された場合に、シーン解析統合結果を作成する構成としてもよい。あるいは、ＳＷ１処理される前に最後にシーン解析を行ってからブラケット撮影が終わるまでに得られた複数の画像間において、撮影環境又は撮影状況（シーン）が変化したかどうかの判定を実施してもよい。当該シーン変化判定は、例えばその間に得られた画像間で、同一の被写体の移動量が所定の移動量以上、画角の変化量が所定の変化量以上、及び輝度値の変化量が所定量以上のうち、少なくとも一つの条件が満たされる場合に、シーンが変化したと判定してもよい。なお、輝度値の変化量が所定量以上とは、例えば、画像全体又は一部の平均輝度値の変化量が、ＡＥブラケットによって生じるべき輝度変化量よりも大きな変化量であることを示す。ＳＷ１処理される前に最後にシーン解析を行ってからブラケット撮影が終わるまでにシーンが変化していないのであれば、撮影待機中に得られたシーン解析結果に基づいて、それぞれの注目被写体が適正値となるブラケット画像を得ることができたと考えられる。そのため、シーン解析統合を実施する必要はなく、被写体Ａについては１枚目の画像、被写体Ｂについては２枚目の画像、そして被写体Ｃについては３枚目の画像が、それぞれの被写体に対して輝度が適正な画像であると判定する。このような構成とすることで、不必要にシーン解析統合を実施することがなくなるため、処理時間を短縮する効果が得られる。

本処理を図４を例として説明する。被写体Ａは、撮影待機中画像４０１で示す画面中央にいた状態から、参照番号４０２で示す状態図のように撮影時に画面左の物陰に移動したため、輝度値が下がり、適正な輝度を有しなくなってしまった。よって、待機中画像４０１が示す撮影待機中の条件で被写体Ａに対応した露出値を設定した１枚目のブラケット画像４０３は、被写体Ａに適正な露出となっていない。しかし、上記の処理により、被写体Ａの輝度値が最も適正に近い２枚目のブラケット画像４０４を、被写体Ａに対応するブラケット画像として再度選択することができる。

図５は、シーン解析結果の統合処理の結果を一例として示す図である。図５では、シーン解析統合結果として、各ブラケット画像について、対応する被写体と、被写体の位置、サイズ、被写体の輝度値等がテーブル上に保持される。テーブル（ａ）は、１枚目から３枚目のブラケット画像４０３から４０５のそれぞれについて、被写体ＡからＣのそれぞれについてデータを登録している。輝度値については、適正輝度値との比較結果に基づく低、高、適正の３段階の指標が登録されているが、実際の値を登録してもよい。その際に登録される値は被写体領域における平均輝度値であってもよい。

テーブル（ｂ）は統合後のデータを示すところ、ここではブラケット画像間で重複する被写体のデータが削除され、被写体１つにつき１つのエントリとなっている。また、テーブル（ｂ）に登録された被写体の輝度値はすべて「適正」なものとなっている。なお、図５では適正な輝度値を有する画像が各被写体について１枚しか存在していないが、複数存在している場合もある。その場合は、被写体領域の輝度値と適正輝度値との差が最小の画像を選択することができる。

＜画像処理＞
次に、図２のＳ２１１における画像処理の詳細を図６のフローチャートに沿って説明する。図６は画像処理を行う方法の一例を示すフローチャートである。ここでは特に、画像処理として色フィルタ処理、トリミング処理を行う方法を例にとって説明するが、この処理に限定されず、ぼかし処理などの公知のいかなる画像処理を行ってもよい。該フローチャートに対応する処理も、例えば、システム制御部１１２内で、ＣＰＵが、ＲＯＭに格納された対応プログラムをＲＡＭの作業エリアに展開し実行することにより実現できる。

Ｓ６０１では、Ｓ３０３で生成されたシーン解析統合結果を取得する。Ｓ６０２では、Ｓ６０１で取得したシーン解析統合結果に基づいて、画像生成枚数を決定する。例えば、画像生成枚数は、画像４０３からは０枚、画像４０４からは２枚、画像４０５からは１枚というように、各ブラケット画像について決定する。このとき、各ブラケット画像からの画像生成枚数は、シーン解析統合結果におけるテーブル（ｂ）に登録された被写体の数に基づき決定することができる。

続くＳ６０３では、以降の処理対象のブラケット画像を決定する。初期値としては、Ｓ３０３での画像生成枚数の決定結果に従い１枚目の画像４０３からは画像を生成しないので、２枚目の画像４０４とすることができる。次に、Ｓ６０４では、処理対象の被写体を決定する。初期値としては、シーン解析統合結果に従い被写体Ａとすることができる。

続くＳ６０５では、色フィルタ処理を実行する。色フィルタ処理は、シーン解析統合結果に含まれる被写体の種類に応じて、実施するフィルタを決定してもよい。例えば、被写体に顔が含まれている場合は、ソフトフォーカスフィルタやハイキー効果のあるフィルタを実施するとしてもよい。また、周辺光量落としフィルタについて、顔領域の輝度値が落ちないように実施してもよい。また、風景被写体として花や植物の場合、輪郭を強調するエッジ強調フィルタを実施し、雲や青空についてはノイズを除去するためにローパスフィルタを施してもよい。

続くＳ６０６では、トリミング処理を実行する。トリミング処理は、シーン解析統合結果に含まれる被写体の位置やサイズに基づいて、Ｓ６０３で決定した対象被写体がトリミング画像中の好適な位置に配置されるようにトリミング領域を設定し実施する。好適な位置とは、例えば被写体を画像の中心に配置した日の丸構図や、画像を縦横三分割した線の交点に配置した三分割構図などの公知の定石とされた構図に基づいて決めてもよい。その際、シーン解析統合結果に含まれる各被写体領域の位置の情報に基づき、他の被写体領域を避けてトリミング領域を設定してもよい。このような処理を行うことで、図４に示すシーンについてより好適なトリミング画像を生成できる。

続くＳ６０７では、処理対象のブラケット画像から画像を生成すべき被写体で未処理の被写体が存在するか否かを判定する。未処理の被写体が存在する場合（Ｓ６０７で「ＹＥＳ」）、Ｓ６０４に戻って未処理の被写体を選択して処理を継続する。未処理の被写体が存在しない場合（Ｓ６０７で「ＮＯ」）、Ｓ６０８に移行して、未処理のブラケット画像が存在するか否かを判定する。未処理のブラケット画像が存在する場合（Ｓ６０８で「ＹＥＳ」）、Ｓ６０３に戻って、未処理のブラケット画像を選択して処理を継続する。一方、未処理のブラケット画像が存在しない場合（Ｓ６０８で「ＮＯ」）、本処理を終了する。

図７は、図６の処理におけるトリミング結果の一例を示す図である。ここで、トリミング処理の対象となる画像は、２枚目のブラケット画像４０４と３枚目のブラケット画像４０５であり、１枚目のブラケット画像４０３からは被写体はトリミングされない。一方、ブラケット画像４０４からはシーン解析統合結果に従い、被写体Ａのトリミング画像７０１と、被写体Ｂのトリミング画像７０２とが生成される。また、ブラケットが図４０５からは被写体Ｃのトリミング画像７０３が生成される。

以上説明したように、撮影待機中から本撮影までの間に被写体の明るさや位置が変化した場合においても、撮影画像を用いたシーン解析結果を統合することにより、対象の被写体が適正な露出となったブラケット画像を判別できる。そのため、そのブラケット画像から、適切な被写体情報に基づいて画像処理を行うことができるため、より好適な処理画像を生成することが可能となる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、実施形態中に挙げた各種パラメータ数値は、その要旨の範囲内で実施態様に則した好みの数値に変更してもよい。その一例として、本実施形態では、ブラケット撮影回数は、シーン解析において検出された被写体の数と同回数に設定したが、実施形態に則した好みの回数を設定可能である。所定の固定回数としてもよいし、ユーザが選択可能なものとしてもよい。

また、本実施形態では、ＡＥブラケットを例に説明したが、本発明はＡＥブラケットにのみ限定的に適用されるものではなく、他のいかなるブラケット撮影手法に対しても適応が可能である。本発明の基礎となる技術的思想として、まず、撮影待機中に得られた画像から検出された被写体につき、被写体毎に異なる撮影条件を与えて行ったブラケット撮影により複数のブラケット画像を取得する。その上で、各ブラケット画像につき再度シーン解析を行って被写体を改めて検出し、検出された被写体領域の画像が適正な画像か否かを判定する。そして、適正な被写体領域を有するブラケット画像について、該被写体領域に対する画像処理を行う点にある。ここで被写体毎に異なる撮影条件には、露出条件だけでなく、フォーカス位置に関する条件、フラッシュ光の強度に関する条件、ＩＳＯ感度に関する条件等も含むことができる。このうち、フラッシュ光やＩＳＯ感度は撮影画像の輝度に関連する撮影条件であるので、例えば露出条件と同じく輝度値に基づいて適正な画像を判定することができる。フォーカス位置については、以下詳述する。

ここでは一例として、シーン中に複数存在する被写体に異なるフォーカス位置を振った画像を撮影するＡＦブラケット撮影について説明する。ＡＦブラケットの場合、距離の異なる被写体其々をＡＦブラケット対象被写体として設定し、ブラケット撮影を行う。ブラケット撮影画像は、焦点を合わせたＡＦブラケット対象被写体と関連付けて記憶される。その後、各ブラケット撮影画像について、対応付けられた対象被写体について所定の画像処理を行い画像を生成する。しかし、撮影待機中からブラケット撮影までの間に被写体が動いた場合、ブラケット撮影画像は、対応付けられた対象被写体に対して焦点が合っていない画像となるおそれがある。これに対し本発明では、Ｓ３０３において、各ブラケット画像で被写体領域の画素値が有する鮮鋭度を測定し、鮮鋭度が最も高かったブラケット画像を、前記対象被写体に対応するブラケット画像として再度選択することができる。

なお、鮮鋭度の判定は、例えば被写体領域の画素値から得られる高周数成分の平均強度の比較により行うことができるが、その他の公知の手法を用いてもよい。これにより、ブラケット撮影時に被写体の環境や状態が変化した場合であっても、対象被写体に適切なブラケット画像を再選択して、対象被写体に基づいた処理画像を生成することが可能となる。このように、ＡＦブラケットを例にとった場合でも、より好適な処理画像を取得することができる。

また、画像処理では、色フィルタを一例として説明したが、例えば、他に背景ぼかし処理を使用してもよい。背景ぼかし処理では、被写体領域に含まれない領域（背景領域と称する）に対してぼかし処理を行うとしてもよい。その際、本発明においては、撮影待機中から本撮影までの間にシーンが変化した場合でも、位置ずれがないように、背景領域をぼかすことができる。

また、色フィルタ処理では、画像の周辺領域が減光したような効果をもたらす周辺減光フィルタを、周辺減光フィルタの処理領域が被写体領域に掛からない位置関係の場合にのみ、実施する構成としてもよい。周辺減光フィルタは、例えば画像の中心からの距離が遠くなるほど輝度値を低くする演算処理等をはじめとした、種々の公知の方法を使用してもよい。周辺減光フィルタの処理領域が被写体領域に掛からない位置関係の場合にのみ、周辺減光フィルタを実施することで、被写体領域が暗くなった、不都合な画像が生成されなくなる効果がある。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (10)

1. 撮影手段と、
   前記撮影手段が撮影した画像を解析する解析手段と、
   前記解析手段の解析結果に基づき前記画像を処理する画像処理手段と
   を備える撮像装置であって、
   撮影が指示される前の撮影待機中に前記撮影手段により生成された待機中画像を前記解析手段が解析して前記待機中画像から検出した被写体につき、撮影の指示に応じて被写体ごとに設定された撮影条件を用いて前記撮影手段がブラケット撮影を行い、
   前記解析手段が、前記ブラケット撮影により生成された複数のブラケット画像を解析し、前記被写体を含む被写体領域を前記複数のブラケット画像のそれぞれから検出し、該検出された各被写体領域について前記撮影条件との関連で判定を行い、該判定の結果に従って各被写体領域につき前記複数のブラケット画像のうち１つのブラケット画像を選択し、
   前記画像処理手段は、前記各被写体領域につき、選択された前記１つのブラケット画像に対して画像処理を実行する
   ことを特徴とする撮像装置。
2. 前記撮影条件は、露出条件、フラッシュ光の強度に関する条件、又は、ＩＳＯ感度に関する条件であって、
   前記解析手段は、前記各被写体領域の輝度値と所定値との差分に基づき、当該差分の最も小さくなる被写体領域を含むブラケット画像を前記１つの画像として選択することを特徴とする請求項１に記載の撮像装置。
3. 前記撮影条件は、フォーカス位置に関する条件であって、
   前記解析手段は、前記各被写体領域に含まれる画素の鮮鋭度に基づき、当該鮮鋭度が最も高くなる被写体領域を含むブラケット画像を前記１つの画像として選択することを特徴とする請求項１に記載の撮像装置。
4. 前記画像処理手段は、前記１つのブラケット画像から該１つのブラケット画像と関連づけられた被写体についてトリミング処理することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記解析手段は、前記少なくとも複数のブラケット画像の間で撮影環境に変化が生じていないと判定される場合に、前記解析手段が前記複数のブラケット画像から前記１つのブラケット画像を選択することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記解析手段は、前記複数のブラケット画像のそれぞれで検出された同一の被写体につき、被写体の移動量が所定の移動量を超えない場合、該複数のブラケット画像における画角の変化量が所定の変化量を超えない場合、および、前記複数のブラケット画像の間で輝度値の変化量が所定の輝度変化量を超えない場合の少なくとも１つの条件が満たされる場合に、前記複数のブラケット画像の間で前記撮影環境に変化が生じていないと判定することを特徴とする請求項５に記載の撮像装置。
7. 前記画像処理には、前記被写体領域に含まれる被写体の種類に応じたフィルタを用いた色フィルタ処理が含まれることを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記撮影手段は、前記待機中画像から検出された被写体の数と同回数、又は、所定の回数において前記ブラケット撮影を行うことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 撮影手段と、
   前記撮影手段が撮影した画像を解析する解析手段と、
   前記解析手段の解析結果に基づき前記画像を処理する画像処理手段と
   を備える撮像装置の制御方法であって、
   撮影が指示される前の撮影待機中に前記撮影手段により生成された待機中画像を前記解析手段が解析して前記待機中画像から被写体を検出する工程と、
   撮影の指示に応じて、前記検出された被写体ごとに設定された撮影条件を用いて前記撮影手段がブラケット撮影を行う工程と、
   前記解析手段が、前記ブラケット撮影により生成された複数のブラケット画像を解析し、前記被写体を含む被写体領域を前記複数のブラケット画像のそれぞれから検出する工程と、
   前記解析手段が、前記検出された各被写体領域について前記撮影条件との関連で判定を行い、該判定の結果に従って各被写体領域につき前記複数のブラケット画像のうち１つのブラケット画像を選択する工程と、
   前記画像処理手段が、前記各被写体領域につき、選択された前記１つのブラケット画像に対して画像処理を実行する工程と
   を備えることを特徴とする撮像装置の制御方法。
10. 撮影手段を備える撮像装置を、請求項１乃至８のいずれか１項に記載の撮像装置の解析手段及び画像処理手段として機能させるためのプログラム。