JP2013149043A - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP2013149043A JP2013149043A JP2012008428A JP2012008428A JP2013149043A JP 2013149043 A JP2013149043 A JP 2013149043A JP 2012008428 A JP2012008428 A JP 2012008428A JP 2012008428 A JP2012008428 A JP 2012008428A JP 2013149043 A JP2013149043 A JP 2013149043A
- Authority
- JP
- Japan
- Prior art keywords
- image
- reference image
- influence
- image processing
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002093 peripheral effect Effects 0.000 claims description 15
- 230000035945 sensitivity Effects 0.000 claims description 12
- 230000003287 optical effect Effects 0.000 claims description 10
- 238000000034 method Methods 0.000 abstract description 21
- 230000008569 process Effects 0.000 abstract description 18
- 238000003708 edge detection Methods 0.000 description 31
- 230000004048 modification Effects 0.000 description 10
- 238000012986 modification Methods 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 230000009467 reduction Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 244000025254 Cannabis sativa Species 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
【課題】精度良く被写界深度の浅い画像を生成すること。
【解決手段】画像処理装置1は、第1の絞り開口で撮像した第1の画像と、第1の絞り開口よりも小さい第2の絞り開口で撮像した第2の画像とを取得する取得手段16Aと、第1の画像および第2の画像間における絞り設定の違いに起因する差異のうち、被写界深度以外の差異を補正する補正手段16Bと、補正手段16Bによる補正後の第1の画像および第2の画像に基づいて、ぼかし処理をすべき領域を決定する決定手段16Bと、第1の画像または第2の画像の一方における、決定手段により決定された領域に対してぼかし処理を行うぼかし処理手段16Bと、を備える。
【選択図】図1
【解決手段】画像処理装置1は、第1の絞り開口で撮像した第1の画像と、第1の絞り開口よりも小さい第2の絞り開口で撮像した第2の画像とを取得する取得手段16Aと、第1の画像および第2の画像間における絞り設定の違いに起因する差異のうち、被写界深度以外の差異を補正する補正手段16Bと、補正手段16Bによる補正後の第1の画像および第2の画像に基づいて、ぼかし処理をすべき領域を決定する決定手段16Bと、第1の画像または第2の画像の一方における、決定手段により決定された領域に対してぼかし処理を行うぼかし処理手段16Bと、を備える。
【選択図】図1
Description
本発明は、画像処理装置に関する。
撮影する際に主被写体を強調する技法として、主被写体にピントを合わせるとともに、カメラレンズの被写界深度を利用して背景や前景をぼかして撮影する事が行われている。このような撮影をする際には、焦点深度を浅くする必要があるので、焦点距離の長いレンズを使ったり、開放F値の小さいレンズを使ってF値の小さい領域で撮影を行ったりする。
しかし、コンパクトデジタルカメラでは撮像素子のサイズが小さく、適切な視野角の画像を得るためには、焦点距離が短くなってしまう。例えば、1/2.3型イメージセンサを採用したデジタルカメラでは、35mm判25−350mm相当の撮影画角となるズームレンズの焦点距離が、4.5−63.0mmである。従って、被写界深度が深くなり、背景や前景が余りぼけない場合が多くなってしまう。
そこで、同一シーンに対して絞り値を変更して、全被写体に焦点の合った第一の画像と主被写体に焦点の合った第二の画像とを撮影し、これらの画像に基づいて被写界深度の浅い画像を生成する方法が知られている(特許文献1参照)。
上記従来技術では、第一の画像および第二の画像間では、被写界深度以外に絞り設定の違いに起因する差異がないものとして処理を行っている。しかしながら、実際には、被写界深度以外にも絞り設定の違いに起因する差異が存在する。
例えば、絞りを開けた第二の画像に比べて、絞りを絞った第一の画像では、回折による解像度低下の影響が大きくなる。また、絞りを絞った第一の画像を撮影する際に、光量の低下を補うために露光時間を長くすると、第二の画像よりも手振れの可能性が高くなる。さらに、光量低下を補うために第一の画像の撮影感度を上げると、第二の画像よりもノイズが増加する。また、絞りを絞った第一の画像では、絞りを開けた第二の画像に比べて、周辺光量落ちが減少する。
上記従来技術では、第一の画像および第二の画像間において、このような絞り設定の違いに起因する差異が考慮されていなかったので、精度良く被写界深度の浅い画像を生成することができなかった。
本発明による画像処理装置は、第1の絞り開口で撮像した第1の画像と、第1の絞り開口よりも小さい第2の絞り開口で撮像した第2の画像とを取得する取得手段と、第1の画像および第2の画像間における絞り設定の違いに起因する差異のうち、被写界深度以外の差異を補正する補正手段と、補正手段による補正後の第1の画像および第2の画像に基づいて、ぼかし処理をすべき領域を決定する決定手段と、第1の画像または第2の画像の一方における、決定手段により決定された領域に対してぼかし処理を行うぼかし処理手段と、を備えることを特徴とする。
本発明によれば、精度良く被写界深度の浅い画像を生成することができる。
以下、図面を参照して本発明を実施するための形態について説明する。図1は、本発明の一実施の形態による画像処理装置を搭載するデジタルカメラの構成例を示すブロック図である。このデジタルカメラ1は、コンパクトデジタルカメラであり、撮影光学系11と、絞り12と、撮像素子13と、レンズ駆動部14と、絞り駆動部15と、制御部16と、表示部17と、操作部18と、画像記録部19とを含む。
撮影光学系11は、ズームレンズやフォーカシングレンズを含む複数のレンズ群で構成され、被写体像を撮像素子13の受光面に結像させる。なお、図1を簡単にするため、撮影光学系11を単レンズとして図示している。レンズ駆動部14は、制御部16からの指示に応じて撮影光学系11のズームレンズやフォーカシングレンズなどを光軸方向に進退駆動する。絞り12は、撮影光学系11を通過する光束を絞るためのものである。絞り駆動部15は、制御部16からの指示に応じて絞り12の開口径を調整し、絞り値を調節する。
撮像素子13は、画素を構成する受光素子のフォトダイオードが受光面に二次元配列されたCMOSイメージセンサなどによって構成される。撮像素子13は、撮影光学系11および絞り12を通過した光束による像を光電変換して、画像信号を出力する。撮像素子13から出力された画像信号は、不図示のA/D変換回路によりデジタル画像データに変換された後、制御部16に入力される。
表示部17は、液晶パネルなどによって構成される。表示部17は、制御部16からの指示に応じて画像や操作アイコン、メニュー画面などを表示する。
操作部18は、不図示のレリーズボタンやメニュースイッチなどを含む。操作部18は、撮影操作、モード切替え操作やアイコン選択操作など、各操作に応じた操作信号を制御部16へ送出する。
画像記録部19はコネクタ(不図示)を有し、該コネクタにメモリカードなどの記録媒体(不図示)が接続される。画像記録部19は、接続された記録媒体に対するデータの書き込みや、記録媒体からのデータの読み込みを行う。
制御部16は、CPUや、メモリ、およびその他周辺回路によって構成されている。制御部16は、メモリに記憶されているプログラムを実行することにより、デジタルカメラの動作を制御する。
制御部16は、撮影制御部16Aと、画像処理部16Bと、画像選択部16Cと、ぼかし量設定部16Dとを含む。撮影制御部16Aは、デジタルカメラ1の撮影動作を制御する。画像処理部16Bは、入力された画像データに対して各種の画像処理(画素補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整処理、画像圧縮処理、画像伸張処理など)を施す。画像選択部16Cは、操作部18からの操作信号などに応じて画像を選択する。ぼかし量設定部16Dは、後述する画像生成処理における画像のぼかし量を設定する。
<画像生成処理>
本実施形態は、デジタルカメラ1で撮影した画像に基づいて被写界深度の浅い画像を生成する画像生成処理に特徴を有するので、以降は画像生成処理を中心に説明する。図2は、撮影状況の一例を示す図である。図2では、主被写体が人物Pである。人物Pの前には、草Gが位置する。人物Pの後ろには、木Tが位置する。
本実施形態は、デジタルカメラ1で撮影した画像に基づいて被写界深度の浅い画像を生成する画像生成処理に特徴を有するので、以降は画像生成処理を中心に説明する。図2は、撮影状況の一例を示す図である。図2では、主被写体が人物Pである。人物Pの前には、草Gが位置する。人物Pの後ろには、木Tが位置する。
本実施形態のデジタルカメラ1は、コンパクトデジタルカメラであり、焦点距離が比較的短い。したがって、絞りを開放状態にして人物Pにピントを合わせて撮影しても、被写界深度が比較的深くなり、図3に示すように前景である草Gや背景である木Tが余りぼけない画像が撮影されてしまう。そこで、本実施形態の画像生成処理では、絞り値を変えて同一被写体を複数枚撮影し、撮影した画像に対して画像処理を行うことにより、図4に示すように草Gや木Tをぼかして主被写体である人物Pを浮き立たせた画像、すなわち被写界深度の浅い画像を生成する。
−基準画像および参照画像の取得−
具体的に、制御部16の撮影制御部16Aは、撮影者が操作部18を介して指定した被写体、または顔認識処理等による自動判定によって判定された被写体を主被写体として選択する。そして、撮影制御部16Aは、その主被写体の存在する領域にピントが合うようにフォーカシングレンズ(不図示)を駆動させるAF(オートフォーカス)動作を行う。AF動作は、位相差を検出するセンサーの出力に基づいてフォーカシングレンズの合焦位置を求める位相差検出方式を用いてもよいし、画像のコントラスト情報に基づいてフォーカシングレンズの合焦位置を求めるコントラスト検出方式を用いてもよい。
具体的に、制御部16の撮影制御部16Aは、撮影者が操作部18を介して指定した被写体、または顔認識処理等による自動判定によって判定された被写体を主被写体として選択する。そして、撮影制御部16Aは、その主被写体の存在する領域にピントが合うようにフォーカシングレンズ(不図示)を駆動させるAF(オートフォーカス)動作を行う。AF動作は、位相差を検出するセンサーの出力に基づいてフォーカシングレンズの合焦位置を求める位相差検出方式を用いてもよいし、画像のコントラスト情報に基づいてフォーカシングレンズの合焦位置を求めるコントラスト検出方式を用いてもよい。
主被写体にピントを合わせると、撮影制御部16Aは、絞り12を開放状態(例えばF2.8)として撮像素子13に光電変換を行わせることにより、基準画像を取得する。続けて撮影制御部16Aは、主被写体にピントを合わせたまま(すなわちピント位置を変えず)、絞り12の開口径を開放状態よりも充分に小さくして(例えばF8.0)撮像素子13に光電変換を行わせることにより、参照画像を取得する。撮影制御部16Aは、この2回の撮影動作を連続的に、すなわち短い時間間隔で自動的に行う。
なお、絞り12の開口径を小さくした場合には単位時間当りの光量が減るため、たとえば、参照画像の露光時間を基準画像の露光時間よりも長くすることにより、基準画像と参照画像とが同等の露光量、すなわち同等の明るさの画像となるように撮影する。または、基準画像および参照画像の露光時間は同一として、参照画像の撮影感度を基準画像の撮影感度よりも高くすることにより基準画像と参照画像とが同等の明るさの画像となるようにしてもよい。さらに、露光時間および撮影感度の両方を調整して、基準画像と参照画像とが同等の明るさの画像となるようにしてもよい。
このようにして絞り値の異なる基準画像および参照画像を取得すると、制御部16の画像処理部16Bは、基準画像および参照画像間における絞り値の違いに起因する差異のうち、被写界深度以外の差異を補正する処理を行う。以下、この補正処理について説明する。
−回折の影響による差異の補正−
有限の大きさを持つ開口を通過した光は、回折の効果により低域通過型の周波数特性を持つ。図5は、波長0.55μmの光がF2.8の開口を通過した場合のPoint Spread Function(PSF)の一例である。図6は、波長0.55μmの光がF8.0の開口を通過した場合のPSFの一例である。図5および図6において、横軸は点光源からの位置を示し、縦軸は光量を示す。上述したように、基準画像では絞り12を開放F値(例えばF2.8)で撮影し、参照画像では絞り12を充分に絞って(例えばF8.0)撮影する。しかしながら、絞り12を絞った場合には、図6に示すように回折の影響により画像がぼやけてしまう。本実施形態のデジタルカメラ1のようなコンパクトデジタルカメラでは、撮像素子13の画素ピッチが1−2μm程度であるため、この回折の影響は無視できない。
有限の大きさを持つ開口を通過した光は、回折の効果により低域通過型の周波数特性を持つ。図5は、波長0.55μmの光がF2.8の開口を通過した場合のPoint Spread Function(PSF)の一例である。図6は、波長0.55μmの光がF8.0の開口を通過した場合のPSFの一例である。図5および図6において、横軸は点光源からの位置を示し、縦軸は光量を示す。上述したように、基準画像では絞り12を開放F値(例えばF2.8)で撮影し、参照画像では絞り12を充分に絞って(例えばF8.0)撮影する。しかしながら、絞り12を絞った場合には、図6に示すように回折の影響により画像がぼやけてしまう。本実施形態のデジタルカメラ1のようなコンパクトデジタルカメラでは、撮像素子13の画素ピッチが1−2μm程度であるため、この回折の影響は無視できない。
そこで、画像処理部16Bは、基準画像に対して低域通過型フィルタ処理(LPF処理)を施すことにより、基準画像のPSF特性が参照画像のPSF特性とほぼ同等の性質を持つように変換する。こうすることにより、基準画像を、参照画像と回折の影響が略同じになるように補正する。
なお、図7は、波長ごとのPSFの一例を示す図である。図7の左図は、波長0.45μm、0.55μm、0.65μmの光がそれぞれF2.8の開口を通過した場合のPSFの一例を示す。図7の右図は、波長0.45μm、0.55μm、0.65μmの光がそれぞれF8.0の開口を通過した場合のPSFの一例を示す。図7に示すように、回折の影響は、F値だけでなく波長にも依存する。従って、カラー画像の場合には、色ごとに回折の影響による差異を補正するのが好ましい。
例えば、撮像素子13が図8に示すような分光感度を持つカラーイメージセンサーであるとする。なお、図8の横軸は波長であり、縦軸は感度である。画像処理部16Bは、撮像素子13のRGBそれぞれのチャンネルのほぼピーク値に対応する波長を、RGBそれぞれを代表する波長λR、λG、λBとして近似する。そして画像処理部16Bは、基準画像のR信号については波長λRにおけるPSF特性の違いを用いて補正する。同様にして、基準画像のG信号およびB信号についても補正する。
−手振れの影響による差異の補正−
基準画像と参照画像とを同等の明るさの画像とするために、参照画像の露光時間を基準画像の露光時間よりも長くして撮影した場合には、参照画像において手振れの可能性が高くなってしまう。
基準画像と参照画像とを同等の明るさの画像とするために、参照画像の露光時間を基準画像の露光時間よりも長くして撮影した場合には、参照画像において手振れの可能性が高くなってしまう。
そこで、画像処理部16Bは、参照画像の手振れ判定処理を行う。例えば、参照画像を複数の小領域に分割し、各小領域においてその近傍領域との差分を計算し、小領域ごとに当該差分が所定値よりも小さい領域(すなわち相関が高い領域)の集合体を求める。この集合体の形状および方向が、画像のぼけの形状および方向を示す。
図9および図10は、上記集合体Syを模式的に示す図である。なお、図9および図10では、上記集合体Syのいくつかを離散的に示す。画像処理部16Bは、図9に示すように、上記集合体Syの形状および方向が参照画像中で略同じ形状および方向である場合に、手振れであると判定する。そして、画像処理部16Bは、上記集合体Syの形状および方向を、参照画像における手振れの影響によるPSF特性であると近似する。画像処理部16Bは、この参照画像のPSF特性に基づいて、基準画像に手振れの影響を加える処理を行うことにより、基準画像を、参照画像と手振れの影響が略同じになるように補正する。
一方、画像処理部16Bは、図10に示すように、上記集合体Syの形状および方向が参照画像中で揃っていない場合には、動体がある、または被写体の構造がたまたまその方向に相関があるものだったと判断し、手振れではないと判定する。この場合、画像処理部16Bは、基準画像と参照画像とで手振れの影響を略同じにする補正を行わない。
−ノイズの影響による差異の補正−
基準画像と参照画像とが同等の明るさの画像となるように、参照画像の撮影感度を基準画像の撮影感度よりも高くして撮影した場合には、参照画像のノイズが大きくなってしまう。
基準画像と参照画像とが同等の明るさの画像となるように、参照画像の撮影感度を基準画像の撮影感度よりも高くして撮影した場合には、参照画像のノイズが大きくなってしまう。
そこで、画像処理部16Bは、参照画像に対してノイズ低減フィルタ処理を施すことにより、参照画像を、基準画像とノイズの影響が略同じになるように補正する。なお、ノイズ低減フィルタとしては、ノイズ成分を低減しつつエッジはぼかさないものが好ましいため、例えば、バイラテラルフィルタ(bilateral filter)等を用いる。
−周辺光量落ちの影響による差異の補正−
上述したように、基準画像は絞り12を開放F値で撮影し、参照画像は絞り12を充分に絞って撮影するので、参照画像よりも基準画像の方が撮影画面の周辺部の光量、すなわち周辺光量の低下量が大きくなる。そこで、デジタルカメラ1では、周辺光量の低下量を、絞り値、焦点距離および撮影距離に応じたルックアップテーブルの形式で制御部16のメモリなどに予め保持しておく。画像処理部16Bは、基準画像と参照画像とで周辺光量落ちの影響が略同じになるように、上記ルックアップテーブルを参照して基準画像に対する周辺光量補正を行う。
上述したように、基準画像は絞り12を開放F値で撮影し、参照画像は絞り12を充分に絞って撮影するので、参照画像よりも基準画像の方が撮影画面の周辺部の光量、すなわち周辺光量の低下量が大きくなる。そこで、デジタルカメラ1では、周辺光量の低下量を、絞り値、焦点距離および撮影距離に応じたルックアップテーブルの形式で制御部16のメモリなどに予め保持しておく。画像処理部16Bは、基準画像と参照画像とで周辺光量落ちの影響が略同じになるように、上記ルックアップテーブルを参照して基準画像に対する周辺光量補正を行う。
−位置合わせ−
このようにして基準画像および参照画像を補正すると、画像処理部16Bは、補正済の基準画像と参照画像との間で被写体の同一部分の対応付けを行う。例えば、基準画像に対してエッジ検出処理を行い、エッジ成分が強い座標を含む小領域を検出する。そして、基準画像において検出した小領域と同じ座標である参照画像の小領域においてLucas-Kanade法等を用いることにより、参照画像から、基準画像において検出した小領域と同一の被写体部分である小領域を検出する。同様にして、複数の場所において、基準画像において検出した小領域と同一の被写体部分である小領域を参照画像から検出して、これらの小領域を対応付ける。
このようにして基準画像および参照画像を補正すると、画像処理部16Bは、補正済の基準画像と参照画像との間で被写体の同一部分の対応付けを行う。例えば、基準画像に対してエッジ検出処理を行い、エッジ成分が強い座標を含む小領域を検出する。そして、基準画像において検出した小領域と同じ座標である参照画像の小領域においてLucas-Kanade法等を用いることにより、参照画像から、基準画像において検出した小領域と同一の被写体部分である小領域を検出する。同様にして、複数の場所において、基準画像において検出した小領域と同一の被写体部分である小領域を参照画像から検出して、これらの小領域を対応付ける。
そして、画像処理部16Bは、このようにして対応付けられた小領域が画像中で同一位置に配置されるように、画像の幾何変換による位置合わせを行う。ここでは、参照画像を幾何変換することにより、基準画像の座標に合わせる。
−エッジ検出−
次に、画像処理部16Bは、上記位置合わせ後の基準画像および参照画像のそれぞれに対してバンドパスフィルタ処理を施すことにより、エッジ部分のコントラスト検出を行う。なお、バンドパスフィルタの代わりにハイパスフィルタを用いてもよいが、ノイズ成分が高周波成分に多く含まれるのでバンドパスフィルタの方が好ましい。
次に、画像処理部16Bは、上記位置合わせ後の基準画像および参照画像のそれぞれに対してバンドパスフィルタ処理を施すことにより、エッジ部分のコントラスト検出を行う。なお、バンドパスフィルタの代わりにハイパスフィルタを用いてもよいが、ノイズ成分が高周波成分に多く含まれるのでバンドパスフィルタの方が好ましい。
図11の左図は、基準画像の合焦領域におけるエッジ検出結果の一例であり、右図は、基準画像の非合焦領域におけるエッジ検出結果の一例である。図12の左図は、参照画像の合焦領域におけるエッジ検出結果の一例であり、右図は、参照画像の非合焦領域におけるエッジ検出結果の一例である。なお、図11および図12は、横軸が位置座標であり、縦軸がエッジ強度(コントラスト)である。
参照画像は絞り12を絞って撮影しているため、被写界深度が比較的深い。したがって、図12に示すように、合焦領域および非合焦領域の双方で、コントラストが強く幅の細いエッジが検出される。一方、基準画像は被写界深度が比較的浅いため、図11に示すように、合焦領域では参照画像と同等のエッジが検出されるが、非合焦領域では参照画像に比べ、コントラストが弱く幅の太いエッジが検出される。
したがって、基準画像のエッジ検出結果から参照画像のエッジ検出結果を差し引くと、合焦領域ではエッジ検出結果が相殺するが、非合焦領域では被写界深度の違いに応じたエッジ検出差が得られる。
また、参照画像のエッジ検出結果と基準画像のエッジ検出結果との比を算出すると、合焦領域ではエッジ検出結果の比がほぼ1となるが、非合焦領域では被写界深度の違いに応じたエッジ検出比が得られる。
ゆえに、エッジ検出差またはエッジ検出比の大きい領域は、非合焦領域であり、エッジ検出差が0に近い、またはエッジ検出比が1に近い領域は、合焦領域となる。
そこで、画像処理部16Bは、基準画像および参照画像のエッジ検出差、またはエッジ検出比を算出し、このエッジ検出差またはエッジ検出比の大きさに基づいて、基準画像を合焦領域と非合焦領域とに分割する。
画像処理部16Bは、基準画像の上記非合焦領域に対してLPF処理を施すことにより、上記非合焦領域をぼかし処理した画像を生成する。この結果、非合焦領域(前景や背景など主被写体以外の領域)がぼかされ、合焦領域(主被写体の領域)が際立った画像、すなわち被写界深度の浅い画像が得られる。
なお、ぼかし処理におけるぼかし量については、制御部16のぼかし量設定部16Dが設定する。ぼかし量設定部16Dは、例えば撮影者の操作部18を介した操作に応じて、非合焦領域に対するぼかし量を設定する。
次に、図13のフローチャートを用いて、上記画像生成処理の流れを説明する。制御部16は、操作部18を介して被写界深度の浅い画像の生成を指示されると、図13の処理を行うプログラムを起動する。なお、このプログラムは制御部16内のメモリ(不図示)に格納されている。
ステップS1において制御部16は、上述したように、絞り12を開放状態にして撮影した基準画像と、絞り12を充分に絞って撮影した参照画像とを取得して、ステップS2へ進む。
ステップS2において制御部16は、上述したように、基準画像および参照画像間における回折の影響による差異を補正して、ステップS3へ進む。
ステップS3において制御部16は、上述したように、基準画像および参照画像間における手振れの影響による差異を補正して、ステップS4へ進む。
ステップS4において制御部16は、上述したように、基準画像および参照画像間におけるノイズの影響による差異を補正して、ステップS5へ進む。
ステップS5において制御部16は、上述したように、基準画像および参照画像間における周辺光量落ちの影響による差異を補正して、ステップS6へ進む。
ステップS6において制御部16は、上述したように、上記補正後の基準画像および参照画像間での被写体の同一部分の対応付けを行い、ステップS7へ進む。
ステップS7において制御部16は、上述したように、ステップS6で対応付けられた領域が画像中で同一位置に配置されるように、画像の幾何変換による位置合わせを行い、ステップS8へ進む。
ステップS8において制御部16は、上述したように、上記位置合わせ後の基準画像および参照画像に対してエッジ部分のコントラスト検出処理を行い、ステップS9へ進む。
ステップS9において制御部16は、上述したように、基準画像および参照画像間のエッジ部分のコントラスト検出結果を比較し、エッジ検出差またはエッジ検出比を算出して、ステップS10へ進む。
ステップS10において制御部16は、上述したように、上記エッジ検出差またはエッジ検出比の大きさに基づいて、基準画像内を合焦領域と非合焦領域とに分割して、ステップS11へ進む。
ステップS11において制御部16は、上述したように、基準画像における、ステップS7で分割された非合焦領域に対してぼかし処理を行うことにより、被写界深度の浅い画像を生成し、ステップS12へ進む。
ステップS12において制御部16は、ステップS8において生成された被写界深度の浅い画像を画像記録部19に出力して、図13の処理を終了する。画像記録部19は、制御部16から入力された画像を、不図示の記録媒体に記録する。
以上説明した実施形態によれば、次の作用効果が得られる。
(1)デジタルカメラ1は、撮影光学系11によって主被写体に焦点を合わせた状態で且つ絞り12の開放状態で撮像した基準画像と、同一被写体に対して上記主被写体に焦点を合わせた状態で且つ絞り12を開放状態よりも絞って撮像した参照画像とを取得する撮影制御部16Aと、基準画像および参照画像間における絞り設定の違いに起因する差異のうち、被写界深度以外の差異を補正する画像処理部16Bと、補正後の基準画像および参照画像に基づいて、ぼかし処理をすべき領域(非合焦領域)を決定する画像処理部16Bと、基準画像における、上記決定したぼかし処理をすべき領域に対してぼかし処理を行う画像処理部16Bと、を備えるように構成したので、被写界深度以外の絞り設定の違いに起因する差異が補正された基準画像および参照画像に基づいてぼかし処理をすべき領域(非合焦領域)を精度よく決定することができるため、精度よく被写界深度の浅い画像を生成することができる。
(1)デジタルカメラ1は、撮影光学系11によって主被写体に焦点を合わせた状態で且つ絞り12の開放状態で撮像した基準画像と、同一被写体に対して上記主被写体に焦点を合わせた状態で且つ絞り12を開放状態よりも絞って撮像した参照画像とを取得する撮影制御部16Aと、基準画像および参照画像間における絞り設定の違いに起因する差異のうち、被写界深度以外の差異を補正する画像処理部16Bと、補正後の基準画像および参照画像に基づいて、ぼかし処理をすべき領域(非合焦領域)を決定する画像処理部16Bと、基準画像における、上記決定したぼかし処理をすべき領域に対してぼかし処理を行う画像処理部16Bと、を備えるように構成したので、被写界深度以外の絞り設定の違いに起因する差異が補正された基準画像および参照画像に基づいてぼかし処理をすべき領域(非合焦領域)を精度よく決定することができるため、精度よく被写界深度の浅い画像を生成することができる。
(2)上記(1)のデジタルカメラ1において、上記被写界深度以外の差異は、回折の影響、撮影時の手振れの影響、ノイズの影響、および周辺光量落ちの影響によるものであるように構成したので、基準画像および参照画像間で、被写界深度以外の絞り設定の違いに起因する差異を大幅に減らすことができる。
(3)上記(1)または(2)のデジタルカメラ1において、画像処理部16Bは、基準画像を、基準画像および参照画像間で回折の影響が略同じになるように補正するので、回折の影響を受けずに、非合焦領域を精度よく決定することができる。
(4)上記(1)〜(3)のデジタルカメラ1において、参照画像の撮影感度は基準画像の撮影感度よりも高く、画像処理部16Bは、参照画像を、基準画像および参照画像間でノイズの影響が略同じになるように補正するので、ノイズの影響を受けずに、非合焦領域を精度よく決定することができる。
(5)上記(1)〜(4)のデジタルカメラ1において、画像処理部16Bは、基準画像を、基準画像および参照画像間で周辺光量落ちの影響が略同じになるように補正するので、周辺光量落ちの影響を受けずに、非合焦領域を精度よく決定することができる。
(6)上記(1)〜(5)のデジタルカメラ1において、参照画像の露光時間は、基準画像の露光時間よりも長く、画像処理部16Bは、基準画像を、基準画像および参照画像間で手振れの影響が略同じになるように補正するので、手振れの影響を受けずに、非合焦領域を精度よく決定することができる。
(7)上記(1)〜(6)のデジタルカメラ1において、基準画像および参照画像のコントラスト情報を検出し、当該コントラスト情報を基準画像および参照画像間で比較し、比較結果に基づいて基準画像を合焦領域と非合焦領域とに分割し、非合焦領域をぼかし処理をすべき領域として決定するように構成したので、非合焦領域がぼかされ、合焦領域が際立った画像を生成できる。
(変形例1)
上述した実施の形態では、基準画像および参照画像間で、回折の影響による差異、手振れの影響による差異、ノイズの影響による差異および周辺光量落ちの影響による差異を補正する例について説明した。しかしながら、これらのうち少なくともいずれかを補正するようにしてもよい。また、これらを補正する順番も上記図13のフローチャートで示した順番に限らなくてよく、この他の順番で補正するようにしてもよい。
上述した実施の形態では、基準画像および参照画像間で、回折の影響による差異、手振れの影響による差異、ノイズの影響による差異および周辺光量落ちの影響による差異を補正する例について説明した。しかしながら、これらのうち少なくともいずれかを補正するようにしてもよい。また、これらを補正する順番も上記図13のフローチャートで示した順番に限らなくてよく、この他の順番で補正するようにしてもよい。
(変形例2)
上述した実施の形態では、基準画像に対してLPF処理を施すことにより、基準画像を、参照画像と回折の影響が略同じになるように補正する例について説明した。しかしながら、参照画像を、基準画像と回折の影響が略同じになるように補正してもよい。また、基準画像および参照画像の両方を補正してもよい。
上述した実施の形態では、基準画像に対してLPF処理を施すことにより、基準画像を、参照画像と回折の影響が略同じになるように補正する例について説明した。しかしながら、参照画像を、基準画像と回折の影響が略同じになるように補正してもよい。また、基準画像および参照画像の両方を補正してもよい。
(変形例3)
上述した実施の形態では、基準画像に手振れの影響を加える処理を施すことにより、基準画像を、参照画像と手振れの影響が略同じになるように補正する例について説明した。しかしながら、参照画像に対して手振れ補正を行うことにより、参照画像を、基準画像と手振れの影響が略同じになるように補正するようにしてもよい。また、基準画像および参照画像の両方を補正してもよい。
上述した実施の形態では、基準画像に手振れの影響を加える処理を施すことにより、基準画像を、参照画像と手振れの影響が略同じになるように補正する例について説明した。しかしながら、参照画像に対して手振れ補正を行うことにより、参照画像を、基準画像と手振れの影響が略同じになるように補正するようにしてもよい。また、基準画像および参照画像の両方を補正してもよい。
(変形例4)
上述した実施の形態では、参照画像に対してノイズ低減フィルタ処理を施すことにより、参照画像を、基準画像とノイズの影響が略同じになるように補正する例について説明した。しかしながら、基準画像に対してノイズを加える処理を施すことにより、基準画像を、参照画像とノイズの影響が略同じになるように補正するようにしてもよい。また、基準画像および参照画像の両方を補正してもよい。
上述した実施の形態では、参照画像に対してノイズ低減フィルタ処理を施すことにより、参照画像を、基準画像とノイズの影響が略同じになるように補正する例について説明した。しかしながら、基準画像に対してノイズを加える処理を施すことにより、基準画像を、参照画像とノイズの影響が略同じになるように補正するようにしてもよい。また、基準画像および参照画像の両方を補正してもよい。
(変形例5)
上述した実施の形態では、基準画像に対して周辺光量補正を施すことにより、基準画像を、参照画像と周辺光量落ちの影響が略同じになるように補正する例について説明した。しかしながら、参照画像を、基準画像と周辺光量落ちの影響が略同じになるように補正してもよい。また、基準画像および参照画像の両方を補正してもよい。
上述した実施の形態では、基準画像に対して周辺光量補正を施すことにより、基準画像を、参照画像と周辺光量落ちの影響が略同じになるように補正する例について説明した。しかしながら、参照画像を、基準画像と周辺光量落ちの影響が略同じになるように補正してもよい。また、基準画像および参照画像の両方を補正してもよい。
(変形例6)
上述した実施の形態では、基準画像および参照画像間のエッジ検出差またはエッジ検出比の大きさに基づいて、基準画像を合焦領域と非合焦領域とに分割する例について説明した。しかしながら、上記エッジ検出差またはエッジ検出比の大きさに基づいて、さらに非合焦領域を複数領域(例えば合焦している主被写体に近い領域と遠い領域など)に分割するようにしてもよい。この場合、非合焦領域内で分割された各領域でぼかし量を変えるようにしてもよい。
上述した実施の形態では、基準画像および参照画像間のエッジ検出差またはエッジ検出比の大きさに基づいて、基準画像を合焦領域と非合焦領域とに分割する例について説明した。しかしながら、上記エッジ検出差またはエッジ検出比の大きさに基づいて、さらに非合焦領域を複数領域(例えば合焦している主被写体に近い領域と遠い領域など)に分割するようにしてもよい。この場合、非合焦領域内で分割された各領域でぼかし量を変えるようにしてもよい。
(変形例7)
上述した実施の形態では、基準画像を合焦領域と非合焦領域とに分割して、基準画像の非合焦領域に対してぼかし処理を行う例について説明した。しかしながら、参照画像を合焦領域と非合焦領域とに分割して、参照画像の非合焦領域に対してぼかし処理を行うようにしてもよい。
上述した実施の形態では、基準画像を合焦領域と非合焦領域とに分割して、基準画像の非合焦領域に対してぼかし処理を行う例について説明した。しかしながら、参照画像を合焦領域と非合焦領域とに分割して、参照画像の非合焦領域に対してぼかし処理を行うようにしてもよい。
(変形例8)
上述した実施の形態では、絞り12を開放して撮影した基準画像と絞り12を絞って撮影した参照画像との2枚の画像を用いて被写界深度の浅い画像を生成する例について説明した。しかしながら、3枚以上の画像を用いて被写界深度の浅い画像を生成してもよい。例えば、絞り12を開放して撮影した基準画像と、絞り12を異なる絞り値に応じて絞った複数枚の参照画像とを用いて被写界深度の浅い画像を生成してもよい。
上述した実施の形態では、絞り12を開放して撮影した基準画像と絞り12を絞って撮影した参照画像との2枚の画像を用いて被写界深度の浅い画像を生成する例について説明した。しかしながら、3枚以上の画像を用いて被写界深度の浅い画像を生成してもよい。例えば、絞り12を開放して撮影した基準画像と、絞り12を異なる絞り値に応じて絞った複数枚の参照画像とを用いて被写界深度の浅い画像を生成してもよい。
(変形例9)
上述した実施の形態では、基準画像および参照画像のコントラスト情報として、基準画像および参照画像のエッジ部分のコントラストを検出する例について説明した。しかしながら、基準画像および参照画像のコントラスト情報として、基準画像および参照画像をそれぞれ複数の小領域に分割し、当該小領域ごとに高周波成分を積算して当該小領域ごとのコントラスト情報を算出するようにしてもよい。
上述した実施の形態では、基準画像および参照画像のコントラスト情報として、基準画像および参照画像のエッジ部分のコントラストを検出する例について説明した。しかしながら、基準画像および参照画像のコントラスト情報として、基準画像および参照画像をそれぞれ複数の小領域に分割し、当該小領域ごとに高周波成分を積算して当該小領域ごとのコントラスト情報を算出するようにしてもよい。
以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。また、上記実施形態に各変形例の構成を適宜組み合わせてもかまわない。
1…デジタルカメラ
11…撮影光学系
12…絞り
13…撮像素子
14…レンズ駆動部
15…絞り駆動部
16…制御部
16A…撮影制御部
16B…画像処理部
11…撮影光学系
12…絞り
13…撮像素子
14…レンズ駆動部
15…絞り駆動部
16…制御部
16A…撮影制御部
16B…画像処理部
Claims (8)
- 第1の絞り開口で撮像した第1の画像と、前記第1の絞り開口よりも小さい第2の絞り開口で撮像した第2の画像とを取得する取得手段と、
前記第1の画像および前記第2の画像間における絞り設定の違いに起因する差異のうち、被写界深度以外の差異を補正する補正手段と、
前記補正手段による補正後の前記第1の画像および前記第2の画像に基づいて、ぼかし処理をすべき領域を決定する決定手段と、
前記第1の画像または前記第2の画像の一方における、前記決定手段により決定された領域に対してぼかし処理を行うぼかし処理手段と、
を備えることを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
前記第1の画像は、撮影光学系によって主被写体に焦点を合わせた状態で且つ前記第1の絞り開口で撮像したものであり、前記第2の画像は、同一被写体に対して前記主被写体に焦点を合わせた状態で且つ前記第2の絞り開口で撮像したものであることを特徴とする画像処理装置。 - 請求項1または2に記載の画像処理装置において、
前記被写界深度以外の差異は、回折の影響、撮影時の手振れの影響、ノイズの影響、および周辺光量落ちの影響のうち、少なくともいずれかによるものであることを特徴とする画像処理装置。 - 請求項1〜3のいずれか一項に記載の画像処理装置において、
前記補正手段は、前記第1の画像および前記第2の画像の少なくとも一方を、前記第1の画像および前記第2の画像間で回折の影響が略同じになるように補正することを特徴とする画像処理装置。 - 請求項1〜4のいずれか一項に記載の画像処理装置において、
前記第2の画像の撮影感度は、前記第1の画像の撮影感度よりも高く、
前記補正手段は、前記第1の画像および前記第2の画像の少なくとも一方を、前記第1の画像および前記第2の画像間でノイズの影響が略同じになるように補正することを特徴とする画像処理装置。 - 請求項1〜5のいずれか一項に記載の画像処理装置において、
前記補正手段は、前記第1の画像および前記第2の画像の少なくとも一方を、前記第1の画像および前記第2の画像間で周辺光量落ちの影響が略同じになるように補正することを特徴とする画像処理装置。 - 請求項1〜6のいずれか一項に記載の画像処理装置において、
前記第2の画像の露光時間は、前記第1の画像の露光時間よりも長く、
前記補正手段は、前記第1の画像および前記第2の画像の少なくとも一方を、前記第1の画像および前記第2の画像間で手振れの影響が略同じになるように補正することを特徴とする画像処理装置。 - 請求項1〜7のいずれか一項に記載の画像処理装置において、
前記決定手段は、前記第1の画像および前記第2の画像のコントラスト情報を検出し、前記コントラスト情報を前記第1の画像および前記第2の画像間で比較し、前記比較結果に基づいて前記第1の画像または前記第2の画像を合焦領域と非合焦領域とに分割し、前記非合焦領域をぼかし処理をすべき領域として決定することを特徴とする画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012008428A JP2013149043A (ja) | 2012-01-18 | 2012-01-18 | 画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012008428A JP2013149043A (ja) | 2012-01-18 | 2012-01-18 | 画像処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013149043A true JP2013149043A (ja) | 2013-08-01 |
Family
ID=49046496
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012008428A Pending JP2013149043A (ja) | 2012-01-18 | 2012-01-18 | 画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013149043A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115499577A (zh) * | 2022-06-27 | 2022-12-20 | 华为技术有限公司 | 一种图像处理方法及终端设备 |
-
2012
- 2012-01-18 JP JP2012008428A patent/JP2013149043A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115499577A (zh) * | 2022-06-27 | 2022-12-20 | 华为技术有限公司 | 一种图像处理方法及终端设备 |
CN115499577B (zh) * | 2022-06-27 | 2024-04-30 | 华为技术有限公司 | 一种图像处理方法及终端设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108462830B (zh) | 摄像装置及摄像装置的控制方法 | |
US10986262B2 (en) | Imaging apparatus, control method, and non-transitory storage medium | |
US10992854B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and storage medium | |
JP5947601B2 (ja) | 焦点検出装置、その制御方法および撮像装置 | |
JP2010020758A (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
US11831979B2 (en) | Image pickup apparatus, an image processing method and a non-transitory computer-readable medium for displaying a plurality of images different in in-focus position | |
JP2011010194A (ja) | ボカシ画像形成装置及びそれを備えたカメラ | |
JP6300670B2 (ja) | 焦点調節装置、焦点調節方法およびプログラム、並びに撮像装置 | |
JP7422843B2 (ja) | 画像処理装置およびその制御方法ならびにプログラム | |
JP5378283B2 (ja) | 撮像装置およびその制御方法 | |
US20150264249A1 (en) | Image processing apparatus and image processing method | |
JP6748847B2 (ja) | 撮像装置 | |
JP2018026716A (ja) | 撮像装置、撮像方法及び撮像プログラム | |
JP2013186293A (ja) | 画像生成装置および画像表示方法 | |
US11108944B2 (en) | Image processing apparatus for providing information for confirming depth range of image, control method of the same, and storage medium | |
JP2013149043A (ja) | 画像処理装置 | |
JP7071165B2 (ja) | 表示制御装置及び方法、及び撮像装置 | |
US10447937B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and storage medium that perform image processing based on an image processing parameter set for a first object area, and information on a positional relationship between an object in a second object area and an object in the first object area | |
JP7235068B2 (ja) | 撮像装置 | |
WO2023042453A1 (ja) | 撮像装置、および画像処理方法、並びにプログラム | |
US20240089597A1 (en) | Image capturing apparatus for capturing and compositing images different in in-focus position, control method, and storage medium | |
JP2011176457A (ja) | 電子カメラ | |
JP6916416B2 (ja) | 撮像装置 | |
JP2016212178A (ja) | 画像処理装置及びその制御方法、並びにプログラム | |
JP2021180449A (ja) | 画像処理装置、画像処理方法及び撮像装置 |