JP2023086270A - 画像処理装置、画像処理方法、撮像装置、プログラムおよび記録媒体 - Google Patents

Abstract

【課題】 ユーザの意図通りの被写界深度を自動で設定することを可能にした、画像処理装置を提供すること。【解決手段】 上記課題を解決するため、本発明は、シーン判定を行う判定手段と、光軸方向におけるピント位置の異なる複数の画像に対して合成を行う合成手段と、を有し、前記合成手段は、前記シーン判定の結果に基づいて、自動的に前記合成を行い、前記合成手段が前記合成を行う場合に生成した合成画像は、前記複数の画像よりも被写界深度が深いことを特徴とする構成とした。【選択図】 図３

Description

本発明は、画像処理装置に関し、特にピント位置の異なる画像を撮像する撮像装置に関するものである。

光軸方向でのピント位置が異なる複数の画像を撮像（フォーカスブラケット撮像）し、それぞれの画像の合焦している領域を抽出して、被写界深度を拡大した画像を合成する、いわゆる深度合成の技術が知られている。

ユーザが意図する深度合成画像を生成するために、適切な被写界深度を設定することが求められる。

特許文献１ではユーザが画面上において、任意の範囲を指定することで、指定範囲の距離情報に基づいて合成画像を生成する手法が開示されている。

特開２０１６－３９６１３

しかしながら、上述の特許文献１に開示された従来技術では、ユーザの操作なしで、画像処理装置が深度合成の範囲などを決定できない。

そこで、本発明の目的は、ユーザの操作がなくても、深度合成の設定ができる画像処理装置を提供することである。

上記目的を達成するために、本発明は、シーン判定を行う判定手段と、光軸方向におけるピント位置の異なる複数の画像に対して合成を行う合成手段と、を有し、前記合成手段は、前記シーン判定の結果に基づいて、自動的に前記合成を行い、前記合成手段が前記合成を行う場合に生成した合成画像は、前記複数の画像よりも被写界深度が深いことを特徴とする撮像装置を提供する。

本発明によれば、撮像装置が、ユーザの操作がなくても、深度合成の設定ができる。

本発明の実施形態における画像処理装置としてのデジタルカメラ１００のハードウェア構成を説明するためのブロック図である。 深度合成画像をライブビューした際の表示部の表示画像を説明するための図である。 本発明の第１の実施形態の深度合成を説明するフローチャートである。 本発明の第１実施形態における主被写体の検出の一例を説明するための図である。 本発明の第１実施形態における背景領域の検出の一例を説明するための図である。 本発明の第２の実施形態における深度合成の処理を説明するためのフローチャートである。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

（第１の実施形態）
図１は、本実施形態における画像処理装置としてのデジタルカメラ１００のハードウェア構成を説明するためのブロック図である。図１において、デジタルカメラ１００は、シャッター１０１、バリア１０２、フォーカスレンズ１０３、撮像部２２を含む撮像系を備える。シャッター１０１は、絞り機能を備えるシャッターである。バリア１０２は、デジタルカメラ１００の撮像系を覆うことにより、撮像系の汚れや破損を防止する。フォーカスレンズ１０３は、シャッター１０１及びバリア１０２の間に配置される不図示のレンズ群に含まれるレンズである。尚、前述するレンズ群には、ズームレンズ等、他のレンズも存在する。撮像部２２は、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子、及びＡ／Ｄ変換処理機能を備えている。撮像部２２の出力データ（撮像画像）は、画像処理部２４及びメモリ制御部１５を介して、あるいは、メモリ制御部１５を介してメモリ３２に直接書き込まれる。後述するフォーカスブラケット撮像の際には、設定枚数分の撮像画像が全てメモリ３２に書き込まれる。

デジタルカメラ１００は、更に、ＡＦ評価値検出部２３、ストロボ９０、画像処理部２４、深度合成部２５、動き検知部２６、状態検出部２７、メモリ３２、Ｄ／Ａ変換器１３、表示部２８、不揮発性メモリ５６、システム制御部５０、システムメモリ５２、及びシステムタイマー５３を備える。ＡＦ評価値検出部２３は、撮像部２２の内部にあってデジタル画像信号から得られるコントラスト情報などからＡＦ評価値を算出し、得られたＡＦ評価値を撮像部２２からシステム制御部５０に出力する。ストロボ９０は、撮像時に発光させることにより低照度シーンでの撮像や逆光シーンでの撮像時に照度を補うことができる。画像処理部２４は、撮像部２２から出力される画像データ、又は、メモリ制御部１５からの画像データに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部２４では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部５０が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＥ（自動露出）処理、ＥＦ（フラッシュ自動調光発光）処理が行われる。また画像処理部２４ではＡＦ（オートフォーカス）処理が行われるが、このとき撮像部２２に備えるＡＦ評価値検出部２３の出力が用いられることもある。画像処理部２４では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。

深度合成部２５は、撮像部２２においてフォーカスブラケット撮像によって得られた複数枚の撮像画像を用いて、各画像内においてピントの合っている画素を出力することにより、被写界深度が拡大された画像を生成する。詳細は後述する。

動き検知部２６は、２枚の画像データを用い、注目領域とその周辺とでテンプレートマッチング処理を行い、画像を複数領域に分割した領域毎、もしくは、画素ごとに動きベクトルを算出する。算出した動きベクトルが閾値以上である場合、被写体に動きがあると検出し、システム制御部５０へ通知する。状態検出部２７は、ジャイロセンサによる角速度や、三脚の着脱状態、操作部７０を介したユーザによる設定内容など、デジタルカメラ１００の状態検出を行う。検出した結果をシステム制御部５０へ通知する。

メモリ３２は、撮像部２２によって取得およびＡ／Ｄ変換された画像データや、表示部２８に表示するための画像データを格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。Ｄ／Ａ変換器１３は、メモリ３２に格納されている画像表示用のデータをアナログ信号に変換して表示部２８に供給する。こうして、メモリ３２に書き込まれた表示用の画像データはＤ／Ａ変換器１３を介して表示部２８により表示される。表示部２８は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１３からのアナログ信号に応じた表示を行う。撮像部２２で一度Ａ／Ｄ変換されメモリ３２に蓄積されたデジタル信号をＤ／Ａ変換器１３においてアナログ変換し、表示部２８に逐次転送して表示することで、電子ビューファインダとして機能し、スルー画像表示（以降、ライブビューと言う）を行える。不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばフラッシュメモリ等が用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、後述の第１、２、３の実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。

システム制御部５０は、デジタルカメラ１００全体を制御する。具体的には、前述した不揮発性メモリ５６に記録されたプログラムを実行することで、被写体情報、被写体距離、および、画像のコントラスト情報に基づくフォーカスブラケット撮像を実現する。すなわち、システム制御部５０は、かかる撮像の間、フォーカスレンズ１０３やシャッター１０１の駆動制御を行うことで、ピント位置が異なる複数の画像が順次撮像される。尚、かかる撮像処理で得られる隣接する撮像画像間のピント位置変化量（フォーカスステップ）は、システム制御部５０にて算出される値から設定される。

システムメモリ５２は、ＲＡＭ等により構成され、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読出したプログラム等を展開する。また、システム制御部はメモリ３２、Ｄ／Ａ変換器１３、表示部２８等を制御することにより表示制御も行う。システムタイマー５３は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。

デジタルカメラ１００は、また、モード切替スイッチ６０、シャッターボタン６１、第１シャッタースイッチ６４、第２シャッタースイッチ６２、操作部７０、電源スイッチ７２からなる、システム制御部５０に各種の動作指示を入力するための操作手段を備える。モード切替スイッチ６０は、システム制御部５０の動作モードを静止画記録モード、動画記録モード、再生モード等のいずれかに切り替える。静止画記録モードに含まれるモードとして、オート撮像モード、オートシーン判別モード、マニュアルモード、撮像シーン別の撮像設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。モード切替スイッチ６０で、静止画撮像モードに含まれるこれらのモードのいずれかに直接切り替えられる。あるいは、モード切替スイッチ６０で静止画撮像モードに一旦切り換えた後に、静止画撮像モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮像モードにも複数のモードが含まれていてもよい。シャッターボタン６１は、撮像指示を行うための操作部である。第１シャッタースイッチ６４は、シャッターボタン６１の操作途中、いわゆる半押しでＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュ自動調光発光）処理等の動作を開始する。つまり、システム制御部５０の制御のもとで、撮像のためのパラメータを取得する。尚、ユーザは、信号ＳＷ１を受けて開始するＡＦ処理として中央１点ＡＦ処理や顔ＡＦ処理を選択することが可能である。ここで、中央１点ＡＦ処理とは撮像画面内の中央位置１点に対してＡＦを行う処理を指し、顔ＡＦ処理とは顔検出機能によって検出された撮像画面内の顔に対してＡＦを行う処理を指す。第２シャッタースイッチ６２は、シャッターボタン６１の操作完了、いわゆる全押し（撮像指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部２２からの信号読出しから記録媒体２００に画像データを書き込むまでの一連の撮像処理の動作を開始する。操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部２８に表示される。利用者は、表示部２８に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。電源スイッチ７２は、デジタルカメラ１００の電源オン、電源オフを切り替える。

デジタルカメラ１００は、更に、電源制御部８０、電源部４０、及び記録媒体Ｉ／Ｆ１８を備える。電源制御部８０は、電池検出回路、ＤＣ－ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ－ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。電源部４０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。記録媒体Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体２００とのインターフェースである。記録媒体２００は、撮像された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。

次に、フォーカスブラケット撮像の概要について、図１を参照しながら説明する。フォーカスブラケット撮像とは、フォーカスレンズ１０３を動かして、所望のピント位置に移動させてから撮像部２２の露光、読出しを実行する撮像をいう。

次に、デジタルカメラ１００における深度合成処理の基本的な動作について、図面を用いて説明する。図２は、本実施形態における深度合成画像をライブビューした際の表示部２８の表示画像を説明するための図である。位置２０１はＡＦ枠で明示されたフォーカスブラケット撮像の至近側ピント位置、位置２０２は無限遠側ピント位置、位置２０３は被写体（昆虫）である。表示部２８に表示されるのは、至近側ピント位置２０１を示すＡＦ枠および被写体２０３である。ユーザが操作部７０を操作し、表示部２８に表示された画像上における基準ピント位置を指定する。あるいは、ＡＦ評価値検出部２３によって検出された被写体に対し、自動で基準ピント位置を指定してもよい。図２においては、被写体２０３の最も至近側の箇所を基準ピント位置として指定されたものとする。これにより、システム制御部５０は、指定された基準ピント位置を、フォーカスブラケット撮像の至近側ピント位置２０１と認識し、位置２０１にＡＦ枠を表示する。至近側ピント位置２０１が決定されると、Ｚ軸方向（奥行き方向）に、フォーカスステップの設定に応じたフォーカス間隔、および、撮像回数によって、フォーカスブラケット撮像が終了するピント位置、すなわち、無限遠側ピント位置２０２が決まる。図２においては、被写体２０３の全体が、至近側ピント位置２０１から無限遠側ピント位置２０２で示すフォーカス範囲に収まるものとする。また、１枚の深度合成画像を生成するための撮像回数は１０回として図示しており、深度合成部２５は１０枚の撮像画像を用いて深度合成処理を施すものとする。

次に図３を参照して、本実施形態における深度合成の処理について例をあげて説明する。図３は、本実施形態における深度合成を説明するためのフローチャートである。ステップＳ３０１において、システム制御部５０は撮像部２２がライブビューで撮像した画像に対し、シーン判定を行う。具体的な判定の方法は後述する。ステップＳ３０２において、システム制御部５０はシーン判定結果を用いて、深度合成の機能を有効にするかどうかを判断し、ピント位置を１箇所（ステップＳ３０６）あるいは複数箇所（ステップＳ３０３）設定する。

ステップＳ３０３では、システム制御部５０は、深度合成のための撮像のピント位置および回数を決定する。また、システム制御部５０は、露光制御値に応じてフォーカスステップを設定し、ピント位置数を変更してもよい。これは、露光時間増加に伴う、撮影時間および手ブレ量増加に対し、撮影枚数を減らすことで、処理時間短縮およびブレ量削減することを目的とする処理である。また、状態検出部２７で検出した三脚の着脱状態に応じて、システム制御部５０はピント位置数変更を実施するか否かを決定してもよい。

ステップＳ３０４において、システム制御部５０は、フォーカスレンズ１０３やシャッター１０１の駆動制御を行うことで、撮像部２２はステップＳ３０３で設定された複数の異なるピント位置の画像を順次撮像する。ステップＳ３０５において、深度合成部２５は、ステップＳ３０４において撮像された複数枚の撮像画像を用いて、被写界深度が拡大された画像を生成する。ステップＳ３０７において、システム制御部５０は、フォーカスレンズ１０３やシャッター１０１の駆動制御を行うことで、撮像部２２はステップＳ３０６で設定されたピント位置にて画像を撮像する。

ここではステップＳ３０５における深度合成の処理について詳細に述べる。

本実施形態における深度合成の処理は、公知の技術を用いてよく、一例としては以下のように行われる。

まず、画像処理部２４は、深度合成の対象の画像に対して、位置合わせを行う。画像処理部２４は、深度合成の対象の複数の画像のうちの１枚である基準画像に、複数のブロックを設定する。画像処理部２４は、各々のブロックのサイズが同じになるように設定することが好ましい。次に、画像処理部２４は、位置合わせの対象画像の、基準画像のそれぞれのブロックと同じ位置に、基準画像のブロックよりも広い範囲を、探索範囲を設定する。最後に、画像処理部２４は、対象画像のそれぞれの探索範囲に、基準画像のブロックとの輝度の差分絶対値和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ、以下、ＳＡＤをいう）が最小となる対応点を算出する。画像処理部２４は、基準画像のブロックの中心と前述した対応点から、位置のずれをベクトルとして算出する。画像処理部２４１は、前述する対応点の算出において、ＳＡＤのほかに、差分二乗和（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ、以下ＳＳＤをいう）や正規化相互相関（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ、以下ＮＣＣをいう）などを用いてもよい。

つぎに、画像処理部２４は、基準画像と対象画像との位置のずれ量から変換係数を算出する。画像処理部２４は、変換係数として、例えば射影変換係数を用いる。ただし、変換係数として射影変換係数だけに限定するわけではなく、アフィン変換係数や水平垂直シフトのみの簡略化した変換係数を用いてもよい。

たとえば、画像処理部２４は、（式１）に示した式を用いて変形を行うことができる。

（式１）では、（ｘ´，ｙ´）は変形を行った後の座標を示し、（ｘ，ｙ）は変形を行う前の座標を示す。行列Ａは変形係数を示す。

位置合わせの後に、深度合成部２５は、位置合わせの後の画像に対してコントラスト値を算出する。

コントラスト値の算出方法の一例としては、たとえば、まず、それぞれの画素の色信号Ｓｒ、Ｓｇ、Ｓｂから、下記の（式２）を用いて輝度Ｙを算出する。
Ｙ＝０．２９９Ｓｒ＋０．５８７Ｓｇ＋０．１１４Ｓｂ・・・（式２）

次に、３×３の画素の輝度Ｙの行列Ｌに、下記の（式３）乃至（式５）に示したように、ソーベルフィルタを用いてコントラスト値Ｉを算出する。

また、上述のコントラスト値の計算方法は一例にすぎず、たとえば、使用するフィルタをラプラシアンフィルタ等のエッジ検出フィルタや所定の帯域を通過するバンドパスフィルタを用いることも可能である。

次に、深度合成部２５は合成マップを生成する。合成マップの生成方法としては、深度合成部２５は、それぞれの画像の同じ位置にある画素のコントラスト値を比較し、コントラスト値の大きさに応じた合成比率を算出する。

具体的な算出方法の一例を以下に示す。

深度合成部２５は、コントラスト値Ｃｍ（ｘ，ｙ）を用いて合成マップＡｍ（ｘ，ｙ）を生成する。なお、ｍはピント位置の異なる複数画像のうちｍ番目の画像、ｘは画像の水平座標、ｙは垂直座標を示している。合成マップの生成方法としては、深度合成部２５は、それぞれの画像の同じ位置にある画素のコントラスト値を比較し、コントラスト値の大きさに応じた合成比率を算出する。具体的に、同じ位置にある画像のうち、コントラスト値の最も大きい画素に対して１００％の合成比率を与え、同じ位置にある他の画素に対して０％の合成比率を与える。つまり、次の（式６）が成り立つ。

ただし、境界部が不自然にならないように合成比率を適宜調整する必要がある。その結果、１枚の画像における合成マップの合成比率は、０％と１００％との二値化のものでなく、連続的に変化するものになる。

深度合成部２５７は、算出した合成マップに従い、撮像された画像を合成した全焦点画像О（ｘ，ｙ）を生成する。撮像された元の画像をＩｍ（ｘ，ｙ）とすると、以下の（式７）で画像が生成される。

以上は、ステップＳ３０５における深度合成の処理の一例についての説明である。

次に、ステップＳ３０１に述べたシーン判定について説明する。本実施形態では、一例としてライブビュー画像から被撮像者の顔を主被写体として検出し、被撮像者の顔の位置、大きさ、数などに基づいてシーン判定を行う場合を説明する。図４は、本実施形態における主被写体の検出の一例を説明するための図である。まず、ＡＦ評価値検出部２３が被撮像者の顔を検出し、次に、システム制御部５０はＡＦ評価値検出部２３にて検出した被撮像者の顔の位置による重要度４０１、被撮像者の顔の画角を占める割合による重要度４０２、被撮像者の顔の数による重要度４０３を算出する。具体的に、システム制御部５０は重要度４０１において、被撮像者の顔中心位置４０４と画角の中心４０５との距離に負相関する値を設定してもよい。システム制御部５０は重要度４０２において、画角４０６を占める被撮像者の顔４０７の割合に正相関する値を設定してもよい。システム制御部５０は重要度４０３において、被撮像者の顔の数に正相関あるいは負相関する値を設定してもよい。

主被写体の重要度があらかじめ定められた閾値よりも高い場合、システム制御部５０は深度合成実施と判定する。システム制御部５０が深度合成を実施する場合、主被写体（被撮像者の顔）にピント位置を置くように決定し、主被写体に合焦し、背景にボケ味のある合成画像を生成できる。一方、システム制御部５０が、深度合成を実施しない場合、背景まで被写界深度に入るような深い被写界深度を有する画像１枚だけ撮像する。

また、以上の説明においては、主被写体が被撮像者の顔であることを前提に説明したが、これに限るわけでない。

また、ステップＳ３０１において、システム制御部５０はＡＦ評価値検出部２３にて検出した主被写体以外の領域を、背景領域５０１として演算する。図５は、本実施形態における背景領域の検出の一例を説明するための図である。システム制御部５０は背景領域にピントを合わせた画像を取得し、背景領域の重要度を算出する。背景の重要度があらかじめ定められた閾値より低い場合、システム制御部５０は深度合成実施と判定する。たとえば、図５においては、画像５０１において、システム制御部５０は、ＡＦ評価値検出部２３が背景領域内にて被写体５０２を検出した場合に背景の重要度を上げる。画像５０１、画像５０３に対して、システム制御部５０は画像処理部２４で得られた露光制御値および測距制御値の演算結果に従って屋外かどうかを判定し、屋外の場合は背景の重要度を上げてもよい。屋外撮像の場合、とくに背景にランドマークが存在する場合、ランドマークにも合成させるため、１枚の被写界深度の深い画像を撮像する方が好ましい。屋外の場合は背景の重要度を上げるのは、屋外撮像の背景にランドマークが存在する場合を想定した処理である。

また、システム制御部５０は、主被写体の検出および背景の検出の両方を行い、両方の重要度に基づいて深度合成を実施するかどうかを判断してもよい。

第１の実施形態によれば、画像処理装置は、ライブビュー画像から主被写体や背景などの検出を行い、検出の結果に応じて深度合成を行うかどうかを自動的に判断することができる。

（第２の実施形態）
以下では、本発明の第２の実施形態について図面を用いながら説明する。第２の実施形態は、第１の実施形態と異なり、シーン判定の前後に、深度合成の実施判定も行う。以下では、第１の実施形態との違いを中心に、第２の実施形態について説明する。

図６は、第２の実施形態における深度合成の処理を説明するためのフローチャートである。第２の実施形態の特徴は、ステップＳ３０１でのシーン判定の前と後とに、ステップＳ６０１およびステップＳ６０２で深度合成の実施判定を行う。

ステップＳ６０１では、システム制御部５０は、シーン判定の前のライブビュー画像またはデジタルカメラ１００の設定より、深度合成の実施判定を行う。ステップＳ６０１で、システム制御部５０は、深度合成を実施しないと判定すると、ステップＳ３０６に進み、１枚の画像のみ撮像するように制御する。

ステップＳ６０１における深度合成の実施判定は、一例として、動き検知部２６が移動体を検出した場合に、システム制御部５０が深度合成を実施しないと判定し、Ｓ３０６へ遷移する。これは、動きのある領域が合成されることによる合成画像の品質劣化を防ぐための処理である。

次に、ステップＳ６０２における深度合成の実施判定について説明する。システム制御部５０が、ステップＳ３０２深度合成を有効にし、ステップＳ３０３でピント位置が決定された後に、ステップＳ６０２で深度合成の実施判定を行う。つまり、ステップＳ６０１と異なり、ステップＳ６０２の時点では、深度合成のための設定（たとえば、撮像回数、フォーカスステップなど）がすでになされている。

ステップＳ６０２で、システム制御部５０は、ステップＳ３０３で決定された深度合成のための設定に基づいて、深度合成の実施判定を行う。たとえば、決定された撮像枚数があらかじめ定められた閾値より多い場合、システム制御部５０が深度合成を行わないことにする。これは、撮像枚数が増加による処理時間増加を防ぐための処理である。なお、この場合において、ステップＳ３０７における撮像では、深度合成を行う場合での合成画像の被写界深度に相当する被写界深度を有するような１枚の画像を撮像するように絞りを調整してもよい。

また、ステップＳ６０２で、システム制御部５０は、決定されたピント位置および１枚の画像の被写界深度から、深度合成の画像の被写界深度を予測し、深度合成の画像の被写界深度があらかじめ定められた閾値より浅い場合、深度合成を行わないことにする。これは、合成画像の被写界深度が浅いと、深度合成を行うメリットが少ないためである。またここで、システム制御部５０は、単に、決定されたピント位置の両端のピント位置から深度合成の画像の被写界深度を予測してもよい。

また、本実施形態では、ステップＳ６０１の処理とステップＳ６０２の処理とのどちらか一方のみ実行してもよい。

第２の実施形態によれば、シーン判定の前後に、カメラの状態、動体検出、または、決定されたピント位置などに基づいて、深度合成を行う必要がないと判断した場合、深度合成を行わないと決めることができる。

（その他の実施形態）
以上の実施形態は、デジタルカメラでの実施をもとに説明したが、デジタルカメラに限定するものではない。たとえば、撮像素子が内蔵した携帯機器などで実施してもよく、画像を撮像することができるネットワークカメラなどでもよい。

なお、本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し作動させる処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ デジタルカメラ
１０１ シャッター
１０２ バリア
１０３ フォーカスレンズ
１３ Ｄ／Ａ変換器
１５ メモリ制御部
１８ 記録媒体Ｉ／Ｆ
２２ 撮像部
２３ ＡＦ評価値検出部
２４ 画像処理部
２５ 深度合成部
２６ 動き検知部
２７ 状態検出部
２８ 表示部
３２ メモリ
４０ 電源部
５０ システム制御部
５２ システムメモリ
５３ システムタイマー
５６ 不揮発性メモリ
６０ モード切替スイッチ
６１ シャッターボタン
６２ 第２シャッタースイッチ
６４ 第１シャッタースイッチ
７０ 操作部
７２ 電源スイッチ
８０ 電源制御部
９０ ストロボ
２００ 記録媒体

Claims (21)

1. シーン判定を行う判定手段と、
   光軸方向におけるピント位置の異なる複数の画像に対して合成を行う合成手段と、を有し、
   前記合成手段は、前記シーン判定の結果に基づいて、自動的に前記合成を行い、
   前記合成手段が前記合成を行う場合に生成した合成画像は、前記複数の画像よりも被写界深度が深いことを特徴とする画像処理装置。
2. 前記判定手段は、前記複数の画像に対して前記シーン判定を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記判定手段は、前記シーン判定において、被写体の位置と被写体が画角に占める割合と被写体の数との少なくともいずれかを検出することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記判定手段は、前記シーン判定において、被写体の位置と被写体が画角に占める割合と被写体の数とに基づいて重要度を決め、
   前記合成手段は、前記重要度があらかじめ定められた第１の閾値より大きい場合、前記合成を行うことを特徴とする請求項１または２に記載の画像処理装置。
5. 前記被写体の位置と画角の中心との距離と、前記重要度とは、負相関することを特徴とする請求項４に記載の画像処理装置。
6. 前記被写体が画角に占める割合と、前記重要度とは、正相関することを特徴とする請求項４に記載の画像処理装置。
7. 前記判定手段は、前記シーン判定において、背景が屋外であるかを判定し、
   前記合成手段は、前記背景が屋外である場合、前記合成を行わないことを特徴とする請求項１ないし６のいずれか１項に記載の画像処理装置。
8. 前記判定手段は、動体があるかを判定し、
   前記合成手段は、前記動体がある場合、前記合成を行わないことを特徴とする請求項１ないし７のいずれか１項に記載の画像処理装置。
9. 前記合成手段は、前記複数の画像のそれぞれの合焦している領域を抽出し、前記合成画像を生成することを特徴とする請求項１ないし８のいずれか１項に記載の画像処理装置。
10. 前記合成手段が前記合成を行う場合に生成する合成画像の被写界深度は、あらかじめ定められた第２の閾値より浅い場合、前記合成手段は前記合成を行わないことを特徴とする請求項１ないし９のいずれか１項に記載の画像処理装置。
11. 光軸方向におけるピント位置の異なる複数の画像を撮像する撮像手段と、
    シーンを判定する判定手段と、
    前記複数の画像に対して合成を行う合成手段と、を有し、
    前記合成手段が前記合成を行う場合に生成した合成画像は、前記複数の画像よりも被写界深度が深いことを特徴とする撮像装置。
12. 前記シーン判定手段は、前記撮像手段が取得したライブビュー画像に対して前記シーン判定を行うことを特徴とする請求項１１に記載の撮像装置。
13. 前記撮像手段が撮像者を撮像する場合、前記合成手段は、前記合成を行わないことを特徴とする請求項１１または１２に記載の撮像装置。
14. 前記撮像手段の状態を検出する状態検出手段を有し、
    前記状態検出手段が検出する前記撮像手段の状態に基づいて、前記合成手段は、前記撮像手段が撮像者を撮像する場合であるかどうかを判断することを特徴とする請求項１３に記載の画像処理装置。
15. 前記合成手段が前記合成を行わない場合、
    前記撮像手段は、改めて１枚の画像を撮像することを特徴とする請求項１１ないし１４のいずれか１項に記載の撮像装置。
16. 前記合成手段が前記合成を行わない場合に、前記撮像手段が撮像する前記画像の被写界深度を、前記合成手段が前記合成を行う場合の前記合成画像の被写界深度に基づいて決めることを特徴とする請求項１１ないし１５のいずれか１項に記載の撮像装置。
17. 前記撮像手段が撮像する前記ピント位置を決定する決定手段を有し、
    前記決定手段が決定した前記ピント位置の数があらかじめ定められた第３の閾値よりも大きい場合、前記合成手段が前記合成を行わないことを特徴とする請求項１１ないし１６のいずれか１項に記載の撮像装置。
18. 前記撮像手段が撮像する前記ピント位置を決定する決定手段を有し、
    前記決定手段は、露光制御値に基づいて前記ピント位置を決定することを特徴とする請求項１１ないし１６のいずれか１項に記載の撮像装置。
19. シーン判定を行う判定ステップと、
    光軸方向におけるピント位置の異なる複数の画像に対して合成を行う合成ステップと、を有し、
    前記合成ステップにおいては、前記シーン判定の結果に基づいて、自動的に前記合成を行い、
    前記合成ステップにおいて前記合成を行う場合に生成した合成画像は、前記複数の画像よりも被写界深度が深いことを特徴とする画像処理方法。
20. 画像処理装置をコンピュータに動作させるプログラムであって、
    シーン判定を行う判定ステップと、
    光軸方向におけるピント位置の異なる複数の画像に対して合成を行う合成ステップと、を行わせ、
    前記合成ステップにおいては、前記シーン判定の結果に基づいて、自動的に前記合成を行い、
    前記合成ステップにおいて前記合成を行う場合に生成した合成画像は、前記複数の画像よりも被写界深度が深いことを特徴とするプログラム。
21. 請求項２０に記載のプログラムを記憶したコンピュータが読み出し可能な記憶媒体。

Images