JP2013149043A - 画像処理装置 - Google Patents

Abstract

【課題】精度良く被写界深度の浅い画像を生成すること。
【解決手段】画像処理装置１は、第１の絞り開口で撮像した第１の画像と、第１の絞り開口よりも小さい第２の絞り開口で撮像した第２の画像とを取得する取得手段１６Ａと、第１の画像および第２の画像間における絞り設定の違いに起因する差異のうち、被写界深度以外の差異を補正する補正手段１６Ｂと、補正手段１６Ｂによる補正後の第１の画像および第２の画像に基づいて、ぼかし処理をすべき領域を決定する決定手段１６Ｂと、第１の画像または第２の画像の一方における、決定手段により決定された領域に対してぼかし処理を行うぼかし処理手段１６Ｂと、を備える。
【選択図】図１

Description

本発明は、画像処理装置に関する。

撮影する際に主被写体を強調する技法として、主被写体にピントを合わせるとともに、カメラレンズの被写界深度を利用して背景や前景をぼかして撮影する事が行われている。このような撮影をする際には、焦点深度を浅くする必要があるので、焦点距離の長いレンズを使ったり、開放Ｆ値の小さいレンズを使ってＦ値の小さい領域で撮影を行ったりする。

しかし、コンパクトデジタルカメラでは撮像素子のサイズが小さく、適切な視野角の画像を得るためには、焦点距離が短くなってしまう。例えば、１／２．３型イメージセンサを採用したデジタルカメラでは、３５ｍｍ判２５−３５０ｍｍ相当の撮影画角となるズームレンズの焦点距離が、４．５−６３．０ｍｍである。従って、被写界深度が深くなり、背景や前景が余りぼけない場合が多くなってしまう。

そこで、同一シーンに対して絞り値を変更して、全被写体に焦点の合った第一の画像と主被写体に焦点の合った第二の画像とを撮影し、これらの画像に基づいて被写界深度の浅い画像を生成する方法が知られている（特許文献１参照）。

特開２００４−３１０５０４号公報

上記従来技術では、第一の画像および第二の画像間では、被写界深度以外に絞り設定の違いに起因する差異がないものとして処理を行っている。しかしながら、実際には、被写界深度以外にも絞り設定の違いに起因する差異が存在する。

例えば、絞りを開けた第二の画像に比べて、絞りを絞った第一の画像では、回折による解像度低下の影響が大きくなる。また、絞りを絞った第一の画像を撮影する際に、光量の低下を補うために露光時間を長くすると、第二の画像よりも手振れの可能性が高くなる。さらに、光量低下を補うために第一の画像の撮影感度を上げると、第二の画像よりもノイズが増加する。また、絞りを絞った第一の画像では、絞りを開けた第二の画像に比べて、周辺光量落ちが減少する。

上記従来技術では、第一の画像および第二の画像間において、このような絞り設定の違いに起因する差異が考慮されていなかったので、精度良く被写界深度の浅い画像を生成することができなかった。

本発明による画像処理装置は、第１の絞り開口で撮像した第１の画像と、第１の絞り開口よりも小さい第２の絞り開口で撮像した第２の画像とを取得する取得手段と、第１の画像および第２の画像間における絞り設定の違いに起因する差異のうち、被写界深度以外の差異を補正する補正手段と、補正手段による補正後の第１の画像および第２の画像に基づいて、ぼかし処理をすべき領域を決定する決定手段と、第１の画像または第２の画像の一方における、決定手段により決定された領域に対してぼかし処理を行うぼかし処理手段と、を備えることを特徴とする。

本発明によれば、精度良く被写界深度の浅い画像を生成することができる。

本発明の一実施の形態による画像処理装置を搭載するデジタルカメラの構成例を説明するブロック図である。 撮影状況の一例を説明する図である。 被写界深度の深い画像の一例を説明する図である。 被写界深度の浅い画像の一例を説明する図である。 波長０．５５μｍの光がＦ２．８の開口を通過した場合のＰＳＦの一例を説明する図である。 波長０．５５μｍの光がＦ８．０の開口を通過した場合のＰＳＦの一例を説明する図である。 波長ごとのＰＳＦの一例を説明する図である。 撮像素子の分光感度の一例を説明する図である。 手振れの場合における、相関が高い領域の集合体の一例を説明する図である。 手振れではない場合における、相関が高い領域の集合体の一例を説明する図である。 基準画像におけるエッジ検出結果の一例を説明する図である。 参照画像におけるエッジ検出結果の一例を説明する図である。 画像生成処理の流れを説明するフローチャートである。

以下、図面を参照して本発明を実施するための形態について説明する。図１は、本発明の一実施の形態による画像処理装置を搭載するデジタルカメラの構成例を示すブロック図である。このデジタルカメラ１は、コンパクトデジタルカメラであり、撮影光学系１１と、絞り１２と、撮像素子１３と、レンズ駆動部１４と、絞り駆動部１５と、制御部１６と、表示部１７と、操作部１８と、画像記録部１９とを含む。

撮影光学系１１は、ズームレンズやフォーカシングレンズを含む複数のレンズ群で構成され、被写体像を撮像素子１３の受光面に結像させる。なお、図１を簡単にするため、撮影光学系１１を単レンズとして図示している。レンズ駆動部１４は、制御部１６からの指示に応じて撮影光学系１１のズームレンズやフォーカシングレンズなどを光軸方向に進退駆動する。絞り１２は、撮影光学系１１を通過する光束を絞るためのものである。絞り駆動部１５は、制御部１６からの指示に応じて絞り１２の開口径を調整し、絞り値を調節する。

撮像素子１３は、画素を構成する受光素子のフォトダイオードが受光面に二次元配列されたＣＭＯＳイメージセンサなどによって構成される。撮像素子１３は、撮影光学系１１および絞り１２を通過した光束による像を光電変換して、画像信号を出力する。撮像素子１３から出力された画像信号は、不図示のＡ／Ｄ変換回路によりデジタル画像データに変換された後、制御部１６に入力される。

表示部１７は、液晶パネルなどによって構成される。表示部１７は、制御部１６からの指示に応じて画像や操作アイコン、メニュー画面などを表示する。

操作部１８は、不図示のレリーズボタンやメニュースイッチなどを含む。操作部１８は、撮影操作、モード切替え操作やアイコン選択操作など、各操作に応じた操作信号を制御部１６へ送出する。

画像記録部１９はコネクタ（不図示）を有し、該コネクタにメモリカードなどの記録媒体（不図示）が接続される。画像記録部１９は、接続された記録媒体に対するデータの書き込みや、記録媒体からのデータの読み込みを行う。

制御部１６は、ＣＰＵや、メモリ、およびその他周辺回路によって構成されている。制御部１６は、メモリに記憶されているプログラムを実行することにより、デジタルカメラの動作を制御する。

制御部１６は、撮影制御部１６Ａと、画像処理部１６Ｂと、画像選択部１６Ｃと、ぼかし量設定部１６Ｄとを含む。撮影制御部１６Ａは、デジタルカメラ１の撮影動作を制御する。画像処理部１６Ｂは、入力された画像データに対して各種の画像処理（画素補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整処理、画像圧縮処理、画像伸張処理など）を施す。画像選択部１６Ｃは、操作部１８からの操作信号などに応じて画像を選択する。ぼかし量設定部１６Ｄは、後述する画像生成処理における画像のぼかし量を設定する。

＜画像生成処理＞
本実施形態は、デジタルカメラ１で撮影した画像に基づいて被写界深度の浅い画像を生成する画像生成処理に特徴を有するので、以降は画像生成処理を中心に説明する。図２は、撮影状況の一例を示す図である。図２では、主被写体が人物Ｐである。人物Ｐの前には、草Ｇが位置する。人物Ｐの後ろには、木Ｔが位置する。

本実施形態のデジタルカメラ１は、コンパクトデジタルカメラであり、焦点距離が比較的短い。したがって、絞りを開放状態にして人物Ｐにピントを合わせて撮影しても、被写界深度が比較的深くなり、図３に示すように前景である草Ｇや背景である木Ｔが余りぼけない画像が撮影されてしまう。そこで、本実施形態の画像生成処理では、絞り値を変えて同一被写体を複数枚撮影し、撮影した画像に対して画像処理を行うことにより、図４に示すように草Ｇや木Ｔをぼかして主被写体である人物Ｐを浮き立たせた画像、すなわち被写界深度の浅い画像を生成する。

−基準画像および参照画像の取得−
具体的に、制御部１６の撮影制御部１６Ａは、撮影者が操作部１８を介して指定した被写体、または顔認識処理等による自動判定によって判定された被写体を主被写体として選択する。そして、撮影制御部１６Ａは、その主被写体の存在する領域にピントが合うようにフォーカシングレンズ（不図示）を駆動させるＡＦ（オートフォーカス）動作を行う。ＡＦ動作は、位相差を検出するセンサーの出力に基づいてフォーカシングレンズの合焦位置を求める位相差検出方式を用いてもよいし、画像のコントラスト情報に基づいてフォーカシングレンズの合焦位置を求めるコントラスト検出方式を用いてもよい。

主被写体にピントを合わせると、撮影制御部１６Ａは、絞り１２を開放状態（例えばＦ２．８）として撮像素子１３に光電変換を行わせることにより、基準画像を取得する。続けて撮影制御部１６Ａは、主被写体にピントを合わせたまま（すなわちピント位置を変えず）、絞り１２の開口径を開放状態よりも充分に小さくして（例えばＦ８．０）撮像素子１３に光電変換を行わせることにより、参照画像を取得する。撮影制御部１６Ａは、この２回の撮影動作を連続的に、すなわち短い時間間隔で自動的に行う。

なお、絞り１２の開口径を小さくした場合には単位時間当りの光量が減るため、たとえば、参照画像の露光時間を基準画像の露光時間よりも長くすることにより、基準画像と参照画像とが同等の露光量、すなわち同等の明るさの画像となるように撮影する。または、基準画像および参照画像の露光時間は同一として、参照画像の撮影感度を基準画像の撮影感度よりも高くすることにより基準画像と参照画像とが同等の明るさの画像となるようにしてもよい。さらに、露光時間および撮影感度の両方を調整して、基準画像と参照画像とが同等の明るさの画像となるようにしてもよい。

このようにして絞り値の異なる基準画像および参照画像を取得すると、制御部１６の画像処理部１６Ｂは、基準画像および参照画像間における絞り値の違いに起因する差異のうち、被写界深度以外の差異を補正する処理を行う。以下、この補正処理について説明する。

−回折の影響による差異の補正−
有限の大きさを持つ開口を通過した光は、回折の効果により低域通過型の周波数特性を持つ。図５は、波長０．５５μｍの光がＦ２．８の開口を通過した場合のPoint Spread Function（ＰＳＦ）の一例である。図６は、波長０．５５μｍの光がＦ８．０の開口を通過した場合のＰＳＦの一例である。図５および図６において、横軸は点光源からの位置を示し、縦軸は光量を示す。上述したように、基準画像では絞り１２を開放Ｆ値(例えばＦ２．８)で撮影し、参照画像では絞り１２を充分に絞って(例えばＦ８．０)撮影する。しかしながら、絞り１２を絞った場合には、図６に示すように回折の影響により画像がぼやけてしまう。本実施形態のデジタルカメラ１のようなコンパクトデジタルカメラでは、撮像素子１３の画素ピッチが１−２μｍ程度であるため、この回折の影響は無視できない。

そこで、画像処理部１６Ｂは、基準画像に対して低域通過型フィルタ処理(ＬＰＦ処理)を施すことにより、基準画像のＰＳＦ特性が参照画像のＰＳＦ特性とほぼ同等の性質を持つように変換する。こうすることにより、基準画像を、参照画像と回折の影響が略同じになるように補正する。

なお、図７は、波長ごとのＰＳＦの一例を示す図である。図７の左図は、波長０．４５μｍ、０．５５μｍ、０．６５μｍの光がそれぞれＦ２．８の開口を通過した場合のＰＳＦの一例を示す。図７の右図は、波長０．４５μｍ、０．５５μｍ、０．６５μｍの光がそれぞれＦ８．０の開口を通過した場合のＰＳＦの一例を示す。図７に示すように、回折の影響は、Ｆ値だけでなく波長にも依存する。従って、カラー画像の場合には、色ごとに回折の影響による差異を補正するのが好ましい。

例えば、撮像素子１３が図８に示すような分光感度を持つカラーイメージセンサーであるとする。なお、図８の横軸は波長であり、縦軸は感度である。画像処理部１６Ｂは、撮像素子１３のＲＧＢそれぞれのチャンネルのほぼピーク値に対応する波長を、ＲＧＢそれぞれを代表する波長λＲ、λＧ、λＢとして近似する。そして画像処理部１６Ｂは、基準画像のＲ信号については波長λＲにおけるＰＳＦ特性の違いを用いて補正する。同様にして、基準画像のＧ信号およびＢ信号についても補正する。

−手振れの影響による差異の補正−
基準画像と参照画像とを同等の明るさの画像とするために、参照画像の露光時間を基準画像の露光時間よりも長くして撮影した場合には、参照画像において手振れの可能性が高くなってしまう。

そこで、画像処理部１６Ｂは、参照画像の手振れ判定処理を行う。例えば、参照画像を複数の小領域に分割し、各小領域においてその近傍領域との差分を計算し、小領域ごとに当該差分が所定値よりも小さい領域（すなわち相関が高い領域）の集合体を求める。この集合体の形状および方向が、画像のぼけの形状および方向を示す。

図９および図１０は、上記集合体Ｓｙを模式的に示す図である。なお、図９および図１０では、上記集合体Ｓｙのいくつかを離散的に示す。画像処理部１６Ｂは、図９に示すように、上記集合体Ｓｙの形状および方向が参照画像中で略同じ形状および方向である場合に、手振れであると判定する。そして、画像処理部１６Ｂは、上記集合体Ｓｙの形状および方向を、参照画像における手振れの影響によるＰＳＦ特性であると近似する。画像処理部１６Ｂは、この参照画像のＰＳＦ特性に基づいて、基準画像に手振れの影響を加える処理を行うことにより、基準画像を、参照画像と手振れの影響が略同じになるように補正する。

一方、画像処理部１６Ｂは、図１０に示すように、上記集合体Ｓｙの形状および方向が参照画像中で揃っていない場合には、動体がある、または被写体の構造がたまたまその方向に相関があるものだったと判断し、手振れではないと判定する。この場合、画像処理部１６Ｂは、基準画像と参照画像とで手振れの影響を略同じにする補正を行わない。

−ノイズの影響による差異の補正−
基準画像と参照画像とが同等の明るさの画像となるように、参照画像の撮影感度を基準画像の撮影感度よりも高くして撮影した場合には、参照画像のノイズが大きくなってしまう。

そこで、画像処理部１６Ｂは、参照画像に対してノイズ低減フィルタ処理を施すことにより、参照画像を、基準画像とノイズの影響が略同じになるように補正する。なお、ノイズ低減フィルタとしては、ノイズ成分を低減しつつエッジはぼかさないものが好ましいため、例えば、バイラテラルフィルタ（bilateral filter）等を用いる。

−周辺光量落ちの影響による差異の補正−
上述したように、基準画像は絞り１２を開放Ｆ値で撮影し、参照画像は絞り１２を充分に絞って撮影するので、参照画像よりも基準画像の方が撮影画面の周辺部の光量、すなわち周辺光量の低下量が大きくなる。そこで、デジタルカメラ１では、周辺光量の低下量を、絞り値、焦点距離および撮影距離に応じたルックアップテーブルの形式で制御部１６のメモリなどに予め保持しておく。画像処理部１６Ｂは、基準画像と参照画像とで周辺光量落ちの影響が略同じになるように、上記ルックアップテーブルを参照して基準画像に対する周辺光量補正を行う。

−位置合わせ−
このようにして基準画像および参照画像を補正すると、画像処理部１６Ｂは、補正済の基準画像と参照画像との間で被写体の同一部分の対応付けを行う。例えば、基準画像に対してエッジ検出処理を行い、エッジ成分が強い座標を含む小領域を検出する。そして、基準画像において検出した小領域と同じ座標である参照画像の小領域においてLucas-Kanade法等を用いることにより、参照画像から、基準画像において検出した小領域と同一の被写体部分である小領域を検出する。同様にして、複数の場所において、基準画像において検出した小領域と同一の被写体部分である小領域を参照画像から検出して、これらの小領域を対応付ける。

そして、画像処理部１６Ｂは、このようにして対応付けられた小領域が画像中で同一位置に配置されるように、画像の幾何変換による位置合わせを行う。ここでは、参照画像を幾何変換することにより、基準画像の座標に合わせる。

−エッジ検出−
次に、画像処理部１６Ｂは、上記位置合わせ後の基準画像および参照画像のそれぞれに対してバンドパスフィルタ処理を施すことにより、エッジ部分のコントラスト検出を行う。なお、バンドパスフィルタの代わりにハイパスフィルタを用いてもよいが、ノイズ成分が高周波成分に多く含まれるのでバンドパスフィルタの方が好ましい。

図１１の左図は、基準画像の合焦領域におけるエッジ検出結果の一例であり、右図は、基準画像の非合焦領域におけるエッジ検出結果の一例である。図１２の左図は、参照画像の合焦領域におけるエッジ検出結果の一例であり、右図は、参照画像の非合焦領域におけるエッジ検出結果の一例である。なお、図１１および図１２は、横軸が位置座標であり、縦軸がエッジ強度（コントラスト）である。

参照画像は絞り１２を絞って撮影しているため、被写界深度が比較的深い。したがって、図１２に示すように、合焦領域および非合焦領域の双方で、コントラストが強く幅の細いエッジが検出される。一方、基準画像は被写界深度が比較的浅いため、図１１に示すように、合焦領域では参照画像と同等のエッジが検出されるが、非合焦領域では参照画像に比べ、コントラストが弱く幅の太いエッジが検出される。

したがって、基準画像のエッジ検出結果から参照画像のエッジ検出結果を差し引くと、合焦領域ではエッジ検出結果が相殺するが、非合焦領域では被写界深度の違いに応じたエッジ検出差が得られる。

また、参照画像のエッジ検出結果と基準画像のエッジ検出結果との比を算出すると、合焦領域ではエッジ検出結果の比がほぼ１となるが、非合焦領域では被写界深度の違いに応じたエッジ検出比が得られる。

ゆえに、エッジ検出差またはエッジ検出比の大きい領域は、非合焦領域であり、エッジ検出差が０に近い、またはエッジ検出比が１に近い領域は、合焦領域となる。

そこで、画像処理部１６Ｂは、基準画像および参照画像のエッジ検出差、またはエッジ検出比を算出し、このエッジ検出差またはエッジ検出比の大きさに基づいて、基準画像を合焦領域と非合焦領域とに分割する。

画像処理部１６Ｂは、基準画像の上記非合焦領域に対してＬＰＦ処理を施すことにより、上記非合焦領域をぼかし処理した画像を生成する。この結果、非合焦領域（前景や背景など主被写体以外の領域）がぼかされ、合焦領域（主被写体の領域）が際立った画像、すなわち被写界深度の浅い画像が得られる。

なお、ぼかし処理におけるぼかし量については、制御部１６のぼかし量設定部１６Ｄが設定する。ぼかし量設定部１６Ｄは、例えば撮影者の操作部１８を介した操作に応じて、非合焦領域に対するぼかし量を設定する。

次に、図１３のフローチャートを用いて、上記画像生成処理の流れを説明する。制御部１６は、操作部１８を介して被写界深度の浅い画像の生成を指示されると、図１３の処理を行うプログラムを起動する。なお、このプログラムは制御部１６内のメモリ（不図示）に格納されている。

ステップＳ１において制御部１６は、上述したように、絞り１２を開放状態にして撮影した基準画像と、絞り１２を充分に絞って撮影した参照画像とを取得して、ステップＳ２へ進む。

ステップＳ２において制御部１６は、上述したように、基準画像および参照画像間における回折の影響による差異を補正して、ステップＳ３へ進む。

ステップＳ３において制御部１６は、上述したように、基準画像および参照画像間における手振れの影響による差異を補正して、ステップＳ４へ進む。

ステップＳ４において制御部１６は、上述したように、基準画像および参照画像間におけるノイズの影響による差異を補正して、ステップＳ５へ進む。

ステップＳ５において制御部１６は、上述したように、基準画像および参照画像間における周辺光量落ちの影響による差異を補正して、ステップＳ６へ進む。

ステップＳ６において制御部１６は、上述したように、上記補正後の基準画像および参照画像間での被写体の同一部分の対応付けを行い、ステップＳ７へ進む。

ステップＳ７において制御部１６は、上述したように、ステップＳ６で対応付けられた領域が画像中で同一位置に配置されるように、画像の幾何変換による位置合わせを行い、ステップＳ８へ進む。

ステップＳ８において制御部１６は、上述したように、上記位置合わせ後の基準画像および参照画像に対してエッジ部分のコントラスト検出処理を行い、ステップＳ９へ進む。

ステップＳ９において制御部１６は、上述したように、基準画像および参照画像間のエッジ部分のコントラスト検出結果を比較し、エッジ検出差またはエッジ検出比を算出して、ステップＳ１０へ進む。

ステップＳ１０において制御部１６は、上述したように、上記エッジ検出差またはエッジ検出比の大きさに基づいて、基準画像内を合焦領域と非合焦領域とに分割して、ステップＳ１１へ進む。

ステップＳ１１において制御部１６は、上述したように、基準画像における、ステップＳ７で分割された非合焦領域に対してぼかし処理を行うことにより、被写界深度の浅い画像を生成し、ステップＳ１２へ進む。

ステップＳ１２において制御部１６は、ステップＳ８において生成された被写界深度の浅い画像を画像記録部１９に出力して、図１３の処理を終了する。画像記録部１９は、制御部１６から入力された画像を、不図示の記録媒体に記録する。

以上説明した実施形態によれば、次の作用効果が得られる。
（１）デジタルカメラ１は、撮影光学系１１によって主被写体に焦点を合わせた状態で且つ絞り１２の開放状態で撮像した基準画像と、同一被写体に対して上記主被写体に焦点を合わせた状態で且つ絞り１２を開放状態よりも絞って撮像した参照画像とを取得する撮影制御部１６Ａと、基準画像および参照画像間における絞り設定の違いに起因する差異のうち、被写界深度以外の差異を補正する画像処理部１６Ｂと、補正後の基準画像および参照画像に基づいて、ぼかし処理をすべき領域（非合焦領域）を決定する画像処理部１６Ｂと、基準画像における、上記決定したぼかし処理をすべき領域に対してぼかし処理を行う画像処理部１６Ｂと、を備えるように構成したので、被写界深度以外の絞り設定の違いに起因する差異が補正された基準画像および参照画像に基づいてぼかし処理をすべき領域（非合焦領域）を精度よく決定することができるため、精度よく被写界深度の浅い画像を生成することができる。

（２）上記（１）のデジタルカメラ１において、上記被写界深度以外の差異は、回折の影響、撮影時の手振れの影響、ノイズの影響、および周辺光量落ちの影響によるものであるように構成したので、基準画像および参照画像間で、被写界深度以外の絞り設定の違いに起因する差異を大幅に減らすことができる。

（３）上記（１）または（２）のデジタルカメラ１において、画像処理部１６Ｂは、基準画像を、基準画像および参照画像間で回折の影響が略同じになるように補正するので、回折の影響を受けずに、非合焦領域を精度よく決定することができる。

（４）上記（１）〜（３）のデジタルカメラ１において、参照画像の撮影感度は基準画像の撮影感度よりも高く、画像処理部１６Ｂは、参照画像を、基準画像および参照画像間でノイズの影響が略同じになるように補正するので、ノイズの影響を受けずに、非合焦領域を精度よく決定することができる。

（５）上記（１）〜（４）のデジタルカメラ１において、画像処理部１６Ｂは、基準画像を、基準画像および参照画像間で周辺光量落ちの影響が略同じになるように補正するので、周辺光量落ちの影響を受けずに、非合焦領域を精度よく決定することができる。

（６）上記（１）〜（５）のデジタルカメラ１において、参照画像の露光時間は、基準画像の露光時間よりも長く、画像処理部１６Ｂは、基準画像を、基準画像および参照画像間で手振れの影響が略同じになるように補正するので、手振れの影響を受けずに、非合焦領域を精度よく決定することができる。

（７）上記（１）〜（６）のデジタルカメラ１において、基準画像および参照画像のコントラスト情報を検出し、当該コントラスト情報を基準画像および参照画像間で比較し、比較結果に基づいて基準画像を合焦領域と非合焦領域とに分割し、非合焦領域をぼかし処理をすべき領域として決定するように構成したので、非合焦領域がぼかされ、合焦領域が際立った画像を生成できる。

（変形例１）
上述した実施の形態では、基準画像および参照画像間で、回折の影響による差異、手振れの影響による差異、ノイズの影響による差異および周辺光量落ちの影響による差異を補正する例について説明した。しかしながら、これらのうち少なくともいずれかを補正するようにしてもよい。また、これらを補正する順番も上記図１３のフローチャートで示した順番に限らなくてよく、この他の順番で補正するようにしてもよい。

（変形例２）
上述した実施の形態では、基準画像に対してＬＰＦ処理を施すことにより、基準画像を、参照画像と回折の影響が略同じになるように補正する例について説明した。しかしながら、参照画像を、基準画像と回折の影響が略同じになるように補正してもよい。また、基準画像および参照画像の両方を補正してもよい。

（変形例３）
上述した実施の形態では、基準画像に手振れの影響を加える処理を施すことにより、基準画像を、参照画像と手振れの影響が略同じになるように補正する例について説明した。しかしながら、参照画像に対して手振れ補正を行うことにより、参照画像を、基準画像と手振れの影響が略同じになるように補正するようにしてもよい。また、基準画像および参照画像の両方を補正してもよい。

（変形例４）
上述した実施の形態では、参照画像に対してノイズ低減フィルタ処理を施すことにより、参照画像を、基準画像とノイズの影響が略同じになるように補正する例について説明した。しかしながら、基準画像に対してノイズを加える処理を施すことにより、基準画像を、参照画像とノイズの影響が略同じになるように補正するようにしてもよい。また、基準画像および参照画像の両方を補正してもよい。

（変形例５）
上述した実施の形態では、基準画像に対して周辺光量補正を施すことにより、基準画像を、参照画像と周辺光量落ちの影響が略同じになるように補正する例について説明した。しかしながら、参照画像を、基準画像と周辺光量落ちの影響が略同じになるように補正してもよい。また、基準画像および参照画像の両方を補正してもよい。

（変形例６）
上述した実施の形態では、基準画像および参照画像間のエッジ検出差またはエッジ検出比の大きさに基づいて、基準画像を合焦領域と非合焦領域とに分割する例について説明した。しかしながら、上記エッジ検出差またはエッジ検出比の大きさに基づいて、さらに非合焦領域を複数領域（例えば合焦している主被写体に近い領域と遠い領域など）に分割するようにしてもよい。この場合、非合焦領域内で分割された各領域でぼかし量を変えるようにしてもよい。

（変形例７）
上述した実施の形態では、基準画像を合焦領域と非合焦領域とに分割して、基準画像の非合焦領域に対してぼかし処理を行う例について説明した。しかしながら、参照画像を合焦領域と非合焦領域とに分割して、参照画像の非合焦領域に対してぼかし処理を行うようにしてもよい。

（変形例８）
上述した実施の形態では、絞り１２を開放して撮影した基準画像と絞り１２を絞って撮影した参照画像との２枚の画像を用いて被写界深度の浅い画像を生成する例について説明した。しかしながら、３枚以上の画像を用いて被写界深度の浅い画像を生成してもよい。例えば、絞り１２を開放して撮影した基準画像と、絞り１２を異なる絞り値に応じて絞った複数枚の参照画像とを用いて被写界深度の浅い画像を生成してもよい。

（変形例９）
上述した実施の形態では、基準画像および参照画像のコントラスト情報として、基準画像および参照画像のエッジ部分のコントラストを検出する例について説明した。しかしながら、基準画像および参照画像のコントラスト情報として、基準画像および参照画像をそれぞれ複数の小領域に分割し、当該小領域ごとに高周波成分を積算して当該小領域ごとのコントラスト情報を算出するようにしてもよい。

以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。また、上記実施形態に各変形例の構成を適宜組み合わせてもかまわない。

１…デジタルカメラ
１１…撮影光学系
１２…絞り
１３…撮像素子
１４…レンズ駆動部
１５…絞り駆動部
１６…制御部
１６Ａ…撮影制御部
１６Ｂ…画像処理部

Claims (8)

1. 第１の絞り開口で撮像した第１の画像と、前記第１の絞り開口よりも小さい第２の絞り開口で撮像した第２の画像とを取得する取得手段と、
   前記第１の画像および前記第２の画像間における絞り設定の違いに起因する差異のうち、被写界深度以外の差異を補正する補正手段と、
   前記補正手段による補正後の前記第１の画像および前記第２の画像に基づいて、ぼかし処理をすべき領域を決定する決定手段と、
   前記第１の画像または前記第２の画像の一方における、前記決定手段により決定された領域に対してぼかし処理を行うぼかし処理手段と、
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記第１の画像は、撮影光学系によって主被写体に焦点を合わせた状態で且つ前記第１の絞り開口で撮像したものであり、前記第２の画像は、同一被写体に対して前記主被写体に焦点を合わせた状態で且つ前記第２の絞り開口で撮像したものであることを特徴とする画像処理装置。
3. 請求項１または２に記載の画像処理装置において、
   前記被写界深度以外の差異は、回折の影響、撮影時の手振れの影響、ノイズの影響、および周辺光量落ちの影響のうち、少なくともいずれかによるものであることを特徴とする画像処理装置。
4. 請求項１〜３のいずれか一項に記載の画像処理装置において、
   前記補正手段は、前記第１の画像および前記第２の画像の少なくとも一方を、前記第１の画像および前記第２の画像間で回折の影響が略同じになるように補正することを特徴とする画像処理装置。
5. 請求項１〜４のいずれか一項に記載の画像処理装置において、
   前記第２の画像の撮影感度は、前記第１の画像の撮影感度よりも高く、
   前記補正手段は、前記第１の画像および前記第２の画像の少なくとも一方を、前記第１の画像および前記第２の画像間でノイズの影響が略同じになるように補正することを特徴とする画像処理装置。
6. 請求項１〜５のいずれか一項に記載の画像処理装置において、
   前記補正手段は、前記第１の画像および前記第２の画像の少なくとも一方を、前記第１の画像および前記第２の画像間で周辺光量落ちの影響が略同じになるように補正することを特徴とする画像処理装置。
7. 請求項１〜６のいずれか一項に記載の画像処理装置において、
   前記第２の画像の露光時間は、前記第１の画像の露光時間よりも長く、
   前記補正手段は、前記第１の画像および前記第２の画像の少なくとも一方を、前記第１の画像および前記第２の画像間で手振れの影響が略同じになるように補正することを特徴とする画像処理装置。
8. 請求項１〜７のいずれか一項に記載の画像処理装置において、
   前記決定手段は、前記第１の画像および前記第２の画像のコントラスト情報を検出し、前記コントラスト情報を前記第１の画像および前記第２の画像間で比較し、前記比較結果に基づいて前記第１の画像または前記第２の画像を合焦領域と非合焦領域とに分割し、前記非合焦領域をぼかし処理をすべき領域として決定することを特徴とする画像処理装置。

Images