JP2012005063A - 撮像装置および方法、並びにプログラム - Google Patents

Abstract

【課題】より少ない処理時間で、より高画質な全焦点画像を撮影する。
【解決手段】撮像制御部３２は、露光中にフォーカス位置を移動させて得られるスイープ画像の、異なるフォーカス範囲での撮像を制御し、合成スイープ画像生成部３６は、撮像制御部３２の制御により撮像されたスイープ画像のうちの、所定の被写体を表す情報である被写体情報を有するスイープ画像を合成した合成スイープ画像を生成し、ぼけ除去処理部３５は、合成されたスイープ画像のフォーカス範囲に対応する点広がり関数に基づいて、合成スイープ画像に対してぼけ除去処理を施す。本発明は、デジタルスチルカメラに適用することができる。
【選択図】図１

Description

本発明は、撮像装置および方法、並びにプログラムに関し、特に、より少ない処理時間で、より高画質な全焦点画像を撮影することができるようにする撮像装置および方法、並びにプログラムに関する。

従来、デジタルスチルカメラによって、画像内の全ての被写体にピントが合った、すなわち、被写界深度の大きい全焦点画像（パンフォーカス画像）を撮影することができる。

被写界深度は、撮影された画像における被写体が合焦状態であるように見える、レンズの光軸方向の手前側と奥側との間の距離（範囲）を表し、レンズの焦点距離が小さいほど、フォーカス距離（被写体までの距離）が大きいほど、また、レンズの絞り値が大きいほど大きくなることが知られている。

一般的に、撮影時に、構図を変化させずに被写界深度の大きい全焦点画像を得る場合、レンズの絞り値を大きくすることが行われる。

しかしながら、絞り値を大きくしすぎると、光量を確保するために露光時間を長くする必要があるので、実用上、過度に絞り値を大きくすることはできない。また、焦点距離が比較的大きいレンズを使用している場合には、どんなに絞り値を大きくしても、十分な被写界深度が得られないことがある。このように、絞り値の制御のみでは、十分な被写界深度が得られず、所望の全焦点画像を撮影することができなかった。

そこで、フォーカス位置の異なる複数の画像を撮影し、それぞれの画像で最もピントの合っている部分を選択して合成することで全焦点画像を得るようにした、Focal Stackと呼ばれる手法がある（例えば、特許文献１参照）。Focal Stackにおいては、複数の画像における同一領域でコントラストを比較し、最も大きいコントラストを有する画像の領域がピントの合っている部分とされる。

また、露光中にレンズを移動してフォーカス位置を移動させることで、全ての被写体にぼけを含む１枚の画像（スイープ画像）を撮影し、そのぼけが含まれたスイープ画像全体に対して、フォーカス位置が移動したフォーカス範囲に対応する点拡がり関数（PSF：Point Spread Function）を用いて、ぼけ除去（Deblur）処理を施すようにした手法がある。

上述したスイープ画像は、全ての被写体にぼけを含む画像であるが、露光中にフォーカス位置が移動する間、いずれかの被写体に、いずれかのフォーカス位置でピントが合った画像が複数重なり合ったものということができる。

また、一般的に、所定の被写体距離にある被写体についての、フォーカス位置の移動に対するぼけの分布は、レンズの特性および被写体距離に依存するPSFによりモデル化され、その被写体のぼけ除去処理には、被写体距離に応じたPSFの逆関数が用いられる。しかしながら、全ての被写体にぼけが含まれたスイープ画像に対してぼけ除去処理を施すためには、被写体毎に異なる被写体距離に応じた、複数のPSFの逆関数を適用する必要があり、これは非常に困難である。

そこで、被写体距離の依存性を除いた、１つの合成PSF（IPSF：Integrated PSF）を用いることで、全ての被写体にぼけが含まれたスイープ画像に対してぼけ除去処理を施すことで、全焦点画像を得るようにした、Focus Sweepと呼ばれる手法が提案されている（例えば、非特許文献１参照）。

特許第３９６１７２９号公報

Hajime Nagahara, Sujit Kuthirummal, Changyin Zhou, and Shree K. Nayar, "Flexible Depth of Field Photography", Proc. Europian Conf. Computer Vision (ECCV2008), No. LNCS 5305, pp.60-73, Marseille, France, Oct, 2008.

しかしながら、Focal Stackでは、フォーカス位置を細かく変化させ、その都度撮影を行うため、撮影に時間がかかる上に、複数の画像を比較し最もピントの合っている領域を求めるのにも、多くの処理時間がかかっていた。

また、Focus Sweepでは、フォーカス位置の移動の範囲であるフォーカス範囲に合焦位置が含まれない被写体についてのぼけ除去処理は正しく行われない。そのため、レンズとの距離が近距離である被写体から遠距離である被写体まで、全ての被写体についてぼけ除去処理を正しく行うためには、フォーカス範囲を大きくする必要があった。

しかしながら、Focus Sweepで用いられるIPSFの周波数特性の振幅成分を表す、IPSFの２次元フーリエ変換である光学伝達関数（OTF：Optical Transfer Function）は、フォーカス範囲に依存し、フォーカス範囲が大きいほど高域成分が減衰する。したがって、フォーカス範囲を大きくすると、IPSFを用いたぼけ除去処理の結果得られる全焦点画像においては、その高域成分が失われ、画質が低下する可能性があった。

本発明は、このような状況に鑑みてなされたものであり、より少ない処理時間で、より高画質な全焦点画像を撮影することができるようにするものである。

本発明の一側面の撮像装置は、露光中にフォーカス位置を移動させて得られるスイープ画像の、異なるフォーカス範囲での撮像を制御する撮像制御手段と、前記撮像制御手段の制御により撮像された前記スイープ画像のうちの、所定の被写体を表す情報である被写体情報を有する被写体スイープ画像を合成した合成スイープ画像を生成する生成手段と、前記被写体スイープ画像のフォーカス範囲に対応する点広がり関数に基づいて、前記合成スイープ画像に対してぼけ除去処理を施すぼけ除去処理手段とを備える。

前記生成手段には、全スイープ画像に亘って一様に定義される注目領域について、前記注目領域が前記被写体情報を有する被写体領域を含む有意領域である場合、前記被写体スイープ画像を含む前記スイープ画像における前記注目領域を、前記被写体スイープ画像のフォーカス範囲のうち最大となる最大フォーカス範囲で合成し、前記注目領域が前記有意領域でない場合、全スイープ画像における前記注目領域を加算平均することで、前記合成スイープ画像を生成させ、前記ぼけ除去処理手段には、前記最大フォーカス範囲に対応する前記点広がり関数に基づいて、前記合成スイープ画像の前記有意領域に対応する領域に対してぼけ除去処理を施させることができる。

前記生成手段には、全スイープ画像に亘って一様に定義される注目領域について、前記注目領域が前記被写体情報を有する被写体領域を含む有意領域である場合、前記被写体スイープ画像を含む前記スイープ画像における前記注目領域を、前記被写体スイープ画像のフォーカス範囲である領域フォーカス範囲で合成し、前記注目領域が前記有意領域でない場合、全スイープ画像における前記注目領域を加算平均することで、前記合成スイープ画像を生成させ、前記ぼけ除去処理手段には、前記領域フォーカス範囲に対応する前記点広がり関数に基づいて、前記合成スイープ画像の前記有意領域に対応する領域に対してぼけ除去処理を施させることができる。

前記生成手段には、全スイープ画像に亘って一様に定義される注目領域について、前記注目領域が前記被写体情報を有する被写体領域を含む有意領域でない場合、前記注目領域を前記有意領域に統合し、前記被写体スイープ画像における前記有意領域を、前記被写体スイープ画像のフォーカス範囲のうち最大となる最大フォーカス範囲で合成することで、前記合成スイープ画像を生成させ、前記ぼけ除去処理手段には、前記最大フォーカス範囲に対応する前記点広がり関数に基づいて、前記合成スイープ画像の前記有意領域に対応する領域に対してぼけ除去処理を施させることができる。

前記生成手段には、全スイープ画像に亘って一様に定義される注目領域について、前記注目領域が前記被写体情報を有する被写体領域を含む有意領域でない場合、前記注目領域を前記有意領域に統合し、前記被写体スイープ画像における前記有意領域を、前記被写体スイープ画像のフォーカス範囲である領域フォーカス範囲で合成することで、前記合成スイープ画像を生成させ、前記ぼけ除去処理手段には、前記領域フォーカス範囲に対応する前記点広がり関数に基づいて、前記合成スイープ画像の前記有意領域に対応する領域に対してぼけ除去処理を施させることができる。

本発明の一側面の撮像方法は、露光中にフォーカス位置を移動させて得られるスイープ画像の、異なるフォーカス範囲での撮像を制御する撮像制御手段と、前記撮像制御手段の制御により撮像された前記スイープ画像のうちの、所定の被写体を表す情報である被写体情報を有する被写体スイープ画像を合成した合成スイープ画像を生成する生成手段と、前記被写体スイープ画像のフォーカス範囲に対応する点広がり関数に基づいて、前記合成スイープ画像に対してぼけ除去処理を施すぼけ除去処理手段とを備える撮像装置の撮像方法であって、前記撮像制御手段が、露光中にフォーカス位置を移動させて得られるスイープ画像の、異なるフォーカス範囲での撮像を制御する撮像制御ステップと、前記生成手段が、前記撮像制御ステップの処理の制御により撮像された前記スイープ画像のうちの、所定の被写体を表す情報である被写体情報を有する被写体スイープ画像を合成した合成スイープ画像を生成する生成ステップと、前記ぼけ除去処理手段が、前記被写体スイープ画像のフォーカス範囲に対応する点広がり関数に基づいて、前記合成スイープ画像に対してぼけ除去処理を施すぼけ除去処理ステップとを含む。

本発明の一側面のプログラムは、露光中にフォーカス位置を移動させて得られるスイープ画像の、異なるフォーカス範囲での撮像を制御する撮像制御ステップと、前記撮像制御ステップの処理の制御により撮像された前記スイープ画像のうちの、所定の被写体を表す情報である被写体情報を有する被写体スイープ画像を合成した合成スイープ画像を生成する生成ステップと、前記被写体スイープ画像のフォーカス範囲に対応する点広がり関数に基づいて、前記合成スイープ画像に対してぼけ除去処理を施すぼけ除去処理ステップとを含む処理をコンピュータに実行させる。

本発明の一側面においては、露光中にフォーカス位置を移動させて得られるスイープ画像の、異なるフォーカス範囲での撮像が制御され、撮像されたスイープ画像のうちの、所定の被写体を表す情報である被写体情報を有する被写体スイープ画像を合成した合成スイープ画像が生成され、被写体スイープ画像のフォーカス範囲に対応する点広がり関数に基づいて、合成スイープ画像に対してぼけ除去処理が施される。

本発明の一側面によれば、より少ない処理時間で、より高画質な全焦点画像を撮影することが可能となる。

本発明を適用した撮像装置の機能構成例を示すブロック図である。 全焦点画像撮影処理について説明するフローチャートである。 全焦点画像を得るためのフォーカス範囲について説明する図である。 フォーカス範囲の分割について説明する図である。 分割スイープ画像撮像処理について説明するフローチャートである。 スイープ画像抽出処理について説明するフローチャートである。 合成スイープ画像について説明する図である。 本発明を適用した撮像装置の他の機能構成例を示すブロック図である。 全焦点画像撮影処理について説明するフローチャートである。 スイープ画像抽出処理について説明するフローチャートである。 合成フォーカス範囲設定処理について説明するフローチャートである。 有意領域について説明する図である。 合成スイープ画像生成設定処理について説明するフローチャートである。 スイープ画像と合成フォーカス範囲について説明する図である。 本発明を適用した撮像装置のさらに他の機能構成例を示すブロック図である。 全焦点画像撮影処理について説明するフローチャートである。 合成フォーカス範囲設定処理について説明するフローチャートである。 合成スイープ画像生成設定処理について説明するフローチャートである。 スイープ画像と合成フォーカス範囲について説明する図である。 本発明を適用した撮像装置のさらに他の機能構成例を示すブロック図である。 全焦点画像撮影処理について説明するフローチャートである。 合成スイープ画像生成設定処理について説明するフローチャートである。 有意領域について説明する図である。 スイープ画像と合成フォーカス範囲について説明する図である。 本発明を適用した撮像装置のさらに他の機能構成例を示すブロック図である。 全焦点画像撮影処理について説明するフローチャートである。 合成スイープ画像生成設定処理について説明するフローチャートである。 スイープ画像と合成フォーカス範囲について説明する図である。 コンピュータのハードウェアの構成例を示すブロック図である。

以下、本発明の実施の形態について図を参照して説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（被写体情報を有するスイープ画像からなる合成スイープ画像に対してぼけ除去処理を行う構成）
２．第２の実施の形態（被写体情報を有する領域からなる合成スイープ画像に対してぼけ除去処理を行い、被写体情報を有しない領域に対して加算平均する構成）
３．第３の実施の形態（被写体情報を有する領域からなる合成スイープ画像に対してぼけ除去処理を行い、被写体情報を有しない領域に対して加算平均する他の構成）
４．第４の実施の形態（被写体情報を有する領域からなる合成スイープ画像に対してぼけ除去処理を行い、被写体情報を有しない領域を、被写体情報を有する領域に統合する構成）
５．第５の実施の形態（（被写体情報を有する領域からなる合成スイープ画像に対してぼけ除去処理を行い、被写体情報を有しない領域を、被写体情報を有する領域に統合する他の構成）

＜１．第１の実施の形態＞
［撮像装置の機能構成例］
図１は、本発明を適用した撮像装置の機能構成例を示している。

図１の撮像装置１１は、例えば、デジタルスチルカメラとして構成され、ユーザの操作にしたがって、被写体を撮像し、その被写体の撮像画像（静止画像）を蓄積したり、ユーザに提示する。撮像装置１１は、被写体（例えば、風景や人物）や撮像環境（例えば、野外や屋内）に応じた撮像条件（例えば、シャッタースピードや絞り値）で撮像を行えるように、「夜景モード」や「人物モード」、「風景モード」等といった撮像モードが選択されるようになされている。すなわち、撮像装置１１は、ユーザの操作により撮像モードが選択されることで、最適な撮像条件を設定することができる。

図１の撮像装置１１は、撮像部３１、撮像制御部３２、記憶部３３、スイープ画像抽出部３４、合成フォーカス範囲設定部３５、合成スイープ画像生成部３６、ぼけ除去処理部３７、表示部３８、および記録部３９から構成される。

撮像部３１は、撮像素子と、その撮像素子に画像を結像させるレンズなどの光学系から構成される。撮像部３１は、被写体の像を結像させて、結像させた画像を光電変換して、画像に対応する画像データを生成する撮像処理を行う。撮像部３１は、撮像処理の結果得られた画像データ（以下、単に画像という）を撮像制御部３２に供給する。

撮像制御部３２は、ユーザによる図示せぬ操作部の操作に基づいて、撮像部３１の撮像処理を制御し、撮像部３１からの画像を記憶部３３に供給し、記憶させる。撮像制御部３２は、フォーカス位置制御部５１、露光制御部５２、分割数決定部５３を備える。

フォーカス位置制御部５１は、撮像部３１を構成する光学系を構成するフォーカス機構（フォーカスレンズ）の駆動を制御することにより、フォーカス位置を制御する。

露光制御部５２は、撮像部３１を構成する撮像素子を動作させるタイミング信号を発生することで、露光時間を制御する。

分割数決定部５３は、露光制御部５２の制御によって露光されている間に、フォーカス位置制御部５１の制御によってフォーカス位置が移動されることによって得られるスイープ画像の枚数を決めるための、フォーカス位置が移動する範囲であるフォーカス範囲を分割する分割数を決定する。スイープ画像の詳細については、図５を参照して後述する。

記憶部３３は、例えば、EEPROM(Electrically Erasable Programmable Read Only Memory)等の不揮発性メモリであり、撮像制御部３２からの画像を記憶する。記憶部３３に記憶されている画像は、必要に応じて、スイープ画像抽出部３４により読み出される（抽出される）。

スイープ画像抽出部３４は、記憶部３３に記憶されている画像のうちのスイープ画像から、所定の条件を満たすスイープ画像を抽出し、合成スイープ画像生成部３６に供給するとともに、抽出したスイープ画像が得られたフォーカス範囲を表す情報を合成フォーカス範囲設定部３５に供給する。

スイープ画像抽出部３４は、画像取得部６１、分割部６２、判定部６３、および保持部６４を備えている。画像取得部６１は、記憶部３３から、記憶部３３に記憶されているスイープ画像を取得する。分割部６２は、取得されたスイープ画像を所定の大きさの領域に分割する。判定部６３は、分割された領域が所定の条件を満たすか否かを判定する。保持部６４は、所定の条件を満たすと判定された領域を有するスイープ画像を一時的に記録（保持）する。

合成フォーカス範囲設定部３５は、スイープ画像抽出部３４からの情報で表されるスイープ画像が撮像されたときのフォーカス範囲に基づいて、そのフォーカス範囲を合成した合成フォーカス範囲を設定し、合成フォーカス範囲を表す情報を、ぼけ除去処理部３７に供給する。

合成スイープ画像生成部３６は、スイープ画像抽出部３４からのスイープ画像を合成（加算）することで、合成スイープ画像を生成し、ぼけ除去処理部３７に供給する。

ぼけ除去処理部３７は、合成フォーカス範囲設定部３５からの情報に基づいて、合成スイープ画像生成部３６からの合成スイープ画像に対して、合成フォーカス範囲に応じたぼけ除去処理を施す。ぼけ除去処理部３７は、ぼけ除去された画像を所定の形式に変換して、表示部３８および記録部３９に供給する。

表示部３８は、例えば、LCD(Liquid Crystal Display)等で構成され、ぼけ除去処理部３７から供給された画像を表示する。

記録部３９は、半導体メモリや、DVD(Digital Versatile Disc)，HD(Hard Disk)等の記録媒体であり、ぼけ除去処理部３７から供給される画像（圧縮画像データ）を記録する。なお、記録部３９としては、撮像装置１１に着脱可能な記録媒体を採用することができる。

［全焦点画像撮影処理］
次に、図２のフローチャートを参照して、撮像装置１１の全焦点画像撮影処理について説明する。画像内の全ての被写体にピントが合った、すなわち、被写界深度の大きい全焦点画像の撮像は、一般的に、例えば風景を撮像する場合に行われる。撮像装置１１の全焦点画像撮影処理は、ユーザの操作により、撮像モードとして「風景モード」が選択（設定）され、図示せぬシャッタボタンが押下されると開始される。

ステップＳ１１において、撮像制御部３２は、撮像部３１を構成する光学系を構成するフォーカスレンズが駆動することでフォーカス位置が移動する範囲であるフォーカス範囲を分割する分割数を決定する。

具体的には、撮像制御部３２の分割数決定部５３は、まず、例えば、予め設定されている、最終的に得られる全焦点画像に対応する被写界深度における、奥側の端点（遠端DF）と手前側の端点（近端DN）に基づいて、その遠端DFおよび近端DNのそれぞれに対応するフォーカス位置pFarおよびpNearを決定する。

図３は、全焦点画像撮影処理によって全焦点画像を得るためのフォーカス範囲を示している。

図３において、フォーカス範囲の左端は、被写界深度の遠端DFに対応するフォーカス位置pFarを示しており、フォーカス範囲の右端は、被写界深度の近端DNに対応するフォーカス位置pNearを示している。また、フォーカス範囲におけるフォーカス位置pm1およびpm2には、被写体像m1およびm2が示されている。フォーカス位置pm1およびpm2は、図示せぬフォーカスレンズの反対側である被写体M1およびM2から出た光が、それぞれ集まる点である。すなわち、フォーカス位置pm1において、被写体M1にピントが合い、フォーカス位置pm2において、被写体M2にピントが合うようになる。なお、被写体像m1およびm2が、それぞれフォーカス位置pm1およびpm2から広がりを持って示されているのは、ぼけの度合を表している。

さて、分割数決定部５３は、フォーカス位置pFarおよびpNearを決定すると、図４に示されるように、フォーカス位置pFar乃至pNearの間（すなわち、フォーカス範囲）をＮ等分するための値Ｎを決定する。図４においては、フォーカス位置p1乃至p(N-1)でフォーカス範囲が分割されている。フォーカス位置pFarおよびpNearを、それぞれフォーカス位置p0およびpNとすると、フォーカス範囲はフォーカス位置pn（ｎは、０乃至Ｎ）で分割されていると言える。なお、図４においては、フォーカス範囲がＮ等分に分割されるものとしたが、等分でなくてもよく、異なるフォーカス位置の間隔でＮ分割されるようにしてもよい。

図２に戻り、ステップＳ１２において、撮像制御部３２は、分割スイープ画像撮像処理を実行する。

［分割スイープ画像撮像処理］
ここで、図５のフローチャートを参照して、撮像制御部３２による分割スイープ画像撮像処理の詳細について説明する。

ステップＳ３１において、撮像制御部３２は、パラメータｎをｎ＝０とする。このパラメータｎは、上述したフォーカス範囲においてフォーカス位置pnを決定する値である。

ステップＳ３２において、撮像制御部３２のフォーカス位置制御部５１は、フォーカス位置をフォーカス位置pnとする。ここでは、ｎ＝０であるので、フォーカス位置はフォーカス位置p0となる。

ステップＳ３３において、撮像制御部３２の露光制御部５２は、撮像部３１を構成する撮像素子を動作させるタイミング信号を発生することで、露光を開始するよう、撮像部３１を制御する。

ステップＳ３４において、フォーカス位置制御部５１は、フォーカスレンズの駆動を開始させることにより、フォーカス位置の移動を開始する。すなわち、図４のフォーカス範囲において、フォーカス位置がフォーカス位置p0からp1に向かって移動し始める。

ステップＳ３５において、フォーカス位置制御部５１は、フォーカス位置がフォーカス位置p(n+1)となったか否かを判定する。フォーカス位置がフォーカス位置p(n+1)となっていないと判定された場合、フォーカス位置がフォーカス位置p(n+1)となるまで、ステップＳ３５の処理は繰り返される。

そして、ステップＳ３５において、フォーカス位置がフォーカス位置p(n+1)になったと判定されると、すなわち、フォーカス位置が、フォーカス位置p0からp1まで移動すると、処理はステップＳ３６に進む。

ステップＳ３６において、露光制御部５２は、撮像部３１の撮像素子の動作を停止させるタイミング信号を発生することで、露光を終了するよう、撮像部３１を制御する。

このようにして、露光中にフォーカスレンズを駆動してフォーカス位置をp0からp1まで移動させることで、図４のフォーカス範囲の上側に示されているように、スイープ画像I0が得られる。

ステップＳ３７において、撮像制御部３２は、ステップＳ３３乃至Ｓ３６の処理により得られたスイープ画像Inを、記憶部３３に供給し、記憶させる。このとき、スイープ画像Inには、そのスイープ画像Inが得られたフォーカス範囲（フォーカス位置pn乃至p(n+1)）を表す情報が付加される。なお、以下においては、フォーカス位置pn乃至p(n+1)のフォーカス範囲を、適宜、フォーカス範囲pn乃至p(n+1)ともいう。

ステップＳ３８において、撮像制御部３２は、パラメータｎをｎ＝ｎ＋１とする。この場合、パラメータｎはｎ＝１となる。

ステップＳ３９において、撮像制御部３２は、パラメータｎが、値Ｎより小さいか否かを判定する。値Ｎは、上述したフォーカス範囲の分割数を表す値である。この場合、ｎ＝１であり、値Ｎより小さいので、処理はステップＳ３２に戻り、ｎ＝Ｎとなるまで、ステップＳ３２乃至Ｓ３９の処理が繰り返される。

このようにして、撮像制御部３２は、図４のフォーカス範囲の上側に示されているように、Ｎ枚のスイープ画像I0乃至I(N-1)が得られ、記憶部３３に記憶される。

一方、ステップＳ３９において、パラメータｎが値Ｎより小さくない、すなわち、パラメータｎが値Ｎになると、分割スイープ画像撮像処理は終了し、処理は、図２のフローチャートのステップＳ１２に戻る。なお、分割スイープ画像撮像処理においては、フォーカス範囲を重複してスイープ画像を撮像するようにしてもよいが、後述する合成スイープ画像を生成する処理においては、フォーカス範囲が重複しないようになされる。

さて、図２のフローチャートのステップＳ１２の後、ステップＳ１３において、スイープ画像抽出部３４は、スイープ画像抽出処理を実行する。

［スイープ画像抽出処理］
ここで、図６のフローチャートを参照して、スイープ画像抽出部３４によるスイープ画像抽出処理の詳細について説明する。

ステップＳ５１において、スイープ画像抽出部３４は、パラメータｎをｎ＝０とする。

ステップＳ５２において、スイープ画像抽出部３４の画像取得部６１は、記憶部３３から、記憶されているスイープ画像I0乃至I(N-1)のうちの、スイープ画像Inを取得する。ここではまず、スイープ画像I0が取得される。

ステップＳ５３において、分割部６２は、画像取得部６１により取得されたスイープ画像Inを、例えば、３×３画素の大きさの、Ｍ個の矩形領域R0乃至R(M-1)に分割する。なお、スイープ画像が分割される領域は、矩形領域に限らず、それぞれ重複しないように分割されれば、形状や大きさは任意とされる。

ステップＳ５４において、スイープ画像抽出部３４は、パラメータｍをｍ＝０とする。このパラメータｍは、スイープ画像が分割されたそれぞれの領域Rmを特定するための値であり、０乃至Ｍ−１の値をとる。

ステップＳ５５において、判定部６３は、分割された領域Rm内の各画素の画素値に対して高域通過フィルタを適用することで、領域Rmの高域成分（高周波成分）を求める（検出する）。

ステップＳ５６において、判定部６３は、領域Rmについて検出された高域成分が、所定の閾値より高いか否か、すなわち、領域Rmのコントラストが所定の値より大きいか否かを判定する。

ステップＳ５６において、領域Rmについて検出された高域成分が、所定の閾値より高くないと判定された場合、処理はステップＳ５７に進み、判定部６３は、全ての領域Rmについて、高域成分の判定の処理がされたか否かを判定する。

ステップＳ５７において、全ての領域Rmについて処理されていないと判定された場合、処理はステップＳ５８に進み、スイープ画像抽出部３４は、パラメータｍをｍ＝ｍ＋１とする。ステップＳ５８の後、処理はステップＳ５５に戻り、ステップＳ５５以降の処理が繰り返される。

一方、ステップＳ５７において、全ての領域Rmについて処理されたと判定された場合、処理はステップＳ６０に進む。

ところで、ステップＳ５６において、領域Rmについて検出された高域成分が、所定の閾値より高いと判定された場合、処理はステップＳ５９に進む。

ステップＳ５９において、判定部６３は、そのときのスイープ画像Inを、抽出スイープ画像として保持部６４に記録（保持）させて、処理はステップＳ６０に進む。

ステップＳ６０において、判定部６３は、全てのスイープ画像Inについて、領域Rm毎の高域成分の判定の処理がされたか否かを判定する。

ステップＳ６０において、全てのスイープ画像Inについて処理されていないと判定された場合、処理はステップＳ６１に進み、スイープ画像抽出部３４は、パラメータｎをｎ＝ｎ＋１とする。ステップＳ６１の後、処理はステップＳ５２に戻り、ステップＳ５２以降の処理が繰り返される。

一方、ステップＳ６０において、全てのスイープ画像Inについて処理されたと判定された場合、スイープ画像抽出部３４は、保持部６４に保持されている抽出スイープ画像を、合成スイープ画像生成部３６に供給する。また、スイープ画像抽出部３４は、抽出した抽出スイープ画像に付加されている、抽出スイープ画像が得られたフォーカス範囲を表す情報を合成フォーカス範囲設定部３５に供給する。その後、処理は、図２のフローチャートのステップＳ１３に戻る。

このようにして、所定の閾値より高い高域成分を有する領域を含むスイープ画像が抽出される。すなわち、被写体像を表す被写体情報を含むスイープ画像が抽出されるようになる。具体的には、図４に示されるフォーカス範囲で撮像されたスイープ画像I0乃至I(N-1)のうち、被写体像m1を表す被写体情報を含むスイープ画像I0，I1、および、被写体像m2を表す被写体情報を含むスイープ画像I3が、抽出スイープ画像として抽出されるようになる。

さて、図２のフローチャートのステップＳ１３の後、ステップＳ１４において、合成フォーカス範囲設定部３５は、スイープ画像抽出部３４からの、抽出スイープ画像のフォーカス範囲を表す情報に基づいて、合成フォーカス範囲を設定する。

具体的には、図４に示されるスイープ画像I0，I1，I3が抽出スイープ画像として抽出された場合、抽出スイープ画像I0，I1，I3のそれぞれに付加されているフォーカス範囲p0乃至p1、p1乃至p2、p3乃至p4を表す情報に基づいて、合成フォーカス範囲psが設定される。すなわち、合成フォーカス範囲psは、フォーカス範囲p0乃至p2およびp3乃至p4を足し合わせたものとなる。設定された合成フォーカス範囲を表す情報は、ぼけ除去処理部３７に供給される。

ステップＳ１５において、合成スイープ画像生成部３６は、スイープ画像抽出部３４からの抽出スイープ画像から、それぞれの抽出スイープ画像を構成する画素の画素値を画素毎に加算した合成スイープ画像Isを生成する。図７に示されるように、合成スイープ画像Isは、図４に示されるスイープ画像のうちの、被写体情報を含むスイープ画像I0，I1，I3のみから構成されるようになる。生成された合成スイープ画像Isは、ぼけ除去処理部３７に供給される。

ステップＳ１６において、ぼけ除去処理部３７は、合成フォーカス範囲設定部３５からの情報で表わされる合成フォーカス範囲psに対応するPSF（点拡がり関数）に基づいて、合成スイープ画像生成部３６からの合成スイープ画像Isに対してぼけ除去処理を施す。

例えば、図４に示される被写体像m2についてぼけ除去を行う場合、被写体像m2を表す被写体情報を含むスイープ画像I3に対して、フォーカス範囲p3乃至p4に対応するIPSFを用いてデコンボリューション（逆畳み込み）を行うことで、ぼけ除去が行われる。

ここで、IPSFを用いたデコンボリューションについて、以下、簡単に説明する。

Focus Sweepによれば、シャッタを開き、露光中にフォーカス位置を移動させた後、シャッタを閉じると、同一の被写体について、ピントの合ったものと、ピントの合わないものが重なり合った１枚の画像が得られる。

ここで、時刻ｔ＝０乃至Ｔにおけるフォーカス位置をp(t)とすると、Focus Sweepにより得られる画像は、各々の被写体から出た光が、各々のフォーカス位置p(t)におけるPSF(t)によって広がった像の重ね合わせとなる。ここで、フォーカス位置p(0)を最短撮像距離、フォーカス位置p(T)を無限遠にそれぞれ相当するフォーカス位置として、１枚のスイープ画像を撮像すると、そのスイープ画像には、全ての被写体に、どこかの時点でピントが合った状態の画像が含まれている。

このスイープ画像は、全ての距離におけるPSF(t)によるぼけが重なったものであり、PSF(t)を時間積分することにより、単一の合成PSFにまとめることができる。この合成PSFが、IPSF(Integrated PSF)と呼ばれ、以下の式（１）で表わされる。

・・・（１）

式（１）において、P(r,u,p(t))は、時刻ｔにおけるPSF(t)であり、Pillboxモデルと呼ばれるモデルを用いると、焦点を中心に円錐状に広がるぼけの円面における中心からの距離ｒ、フォーカス距離（被写体距離）ｕ、およびフォーカス位置p(t)の関数として表される。

ここで、フォーカス位置の移動が等速運動p(t)=p(0)+st（ｓはフォーカス位置の移動速度）であるとすると、IPSFは以下の式（２）で表わされる。

・・・（２）

式（２）において、ａは、フォーカスレンズの有効口径、b(t)は、時刻tにおけるぼけ直径、ｆは、フォーカスレンズの焦点距離を表している。また、λ_t（ｔ＝０，Ｔ）は、b(t)≧2rであるときに１となり、そうでなければ０になる関数である。

一般の光学系では、ｕ≫ｆであるので、uf/(u-f)は、ほぼｆに等しくなる。すなわち、IPSFは、被写体距離ｕにほとんど依存しない。したがって、画像内の全ての距離の被写体のぼけ除去処理が、同一のIPSFを用いて行うことができる。これにより、露光中にフォーカス位置を変化させて撮像した１枚の画像に対して、そのフォーカス範囲に対応するIPSFを用いてデコンボリューションを行うことで、そのフォーカス範囲に含まれる全ての被写体にピントが合った全焦点画像が得られる。

さて、図４に示されるように、スイープ画像I3には、被写体像m1を表す被写体情報が含まれないため、スイープ画像I3に対してぼけ除去処理を施しても、被写体像m1についてぼけ除去を行うことはできない。被写体像m1についてぼけ除去を行う場合には、被写体像m1を表す被写体情報を含むスイープ画像I0，I1に対して、フォーカス範囲p0乃至p2に対応するIPSFを用いてデコンボリューションを行う必要がある。

したがって、被写体像m1，m2についてぼけ除去を行う場合、被写体像m1，m2を表す被写体情報を含む合成スイープ画像Isに対して、合成フォーカス範囲ps（p0乃至p2およびp3乃至p4）に対応するIPSFを用いてデコンボリューションを行うことで、被写体像m1，m2の両方にピントが合った全焦点画像Iaを得ることができる。

以上の処理によれば、露光中にフォーカス位置を移動させて得られる複数のスイープ画像から、被写体情報を有するスイープ画像が抽出され、抽出された抽出スイープ画像が合成（加算）され、合成スイープ画像の合成フォーカス範囲に対応するIPSFに基づいて、合成スイープ画像に対してぼけ除去処理が施されるようになる。

スイープ画像は、全フォーカス範囲を分割したフォーカス範囲毎に撮像されるので、Focal Stackのように、フォーカス位置を細かく変化させ、その都度撮像を行う場合と比較して、撮像回数（枚数）を抑えることができる。また、合成フォーカス範囲は、全フォーカス範囲より小さい範囲とすることができるので、Focus Sweepによって得られる全焦点画像と比較して、高域成分を失うことを避けることができる。したがって、より少ない処理時間で、より高画質な全焦点画像を撮影することが可能となる。

以上においては、複数のスイープ画像から、被写体情報を有するスイープ画像を抽出することで、合成スイープ画像を生成するようにしたが、複数のスイープ画像の、被写体情報を有する領域を抽出することで、合成スイープ画像を生成するようにしてもよい。以下においては、複数のスイープ画像の、被写体情報を有する領域を抽出することで、合成スイープ画像を生成する例について説明する。

＜２．第２の実施の形態＞
［撮像装置の機能構成例］
図８は、複数のスイープ画像の、被写体情報を有する領域を抽出することで、合成スイープ画像を生成するようにした撮像装置の機能構成例を示している。

撮像装置１１１は、撮像部３１、撮像制御部３２、記憶部３３、表示部３８、記録部３９、スイープ画像抽出部１３１、合成フォーカス範囲設定部１３２、合成スイープ画像生成部１３３、およびぼけ除去処理部１３４から構成される。

なお、図８の撮像装置１１１において、図１の撮像装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。

すなわち、図８の撮像装置１１１において、図１の撮像装置１１と異なるのは、スイープ画像抽出部３４、合成フォーカス範囲設定部３５、合成スイープ画像生成部３６、およびぼけ除去処理部３７に代えて、スイープ画像抽出部１３１、合成フォーカス範囲設定部１３２、合成スイープ画像生成部１３３、およびぼけ除去処理部１３４を設けた点である。

スイープ画像抽出部１３１は、記憶部３３に記憶されている画像のうちのスイープ画像から、所定の条件を満たす領域を有するスイープ画像を抽出し、合成スイープ画像生成部１３３に供給するとともに、そのスイープ画像が得られたフォーカス範囲を表す情報を合成フォーカス範囲設定部１３２に供給する。

スイープ画像抽出部１３１は、画像取得部６１、分割部６２、判定部１６１、および保持部１６２を備えている。

なお、図８のスイープ画像抽出部１３１において、図１のスイープ画像抽出部３４に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。

すなわち、図８のスイープ画像抽出部１３１において、図１のスイープ画像抽出部３４と異なるのは、判定部６３および保持部６４に代えて、判定部１６１および保持部１６２を設けた点である。判定部１６１は、分割部６２によって分割された領域が所定の条件を満たすか否かを判定する。保持部１６２は、所定の条件を満たすと判定された領域を有するスイープ画像を一時的に記録（保持）する。

合成フォーカス範囲設定部１３２は、スイープ画像抽出部１３１からの情報で表されるスイープ画像が撮像されたときのフォーカス範囲に基づいて、そのフォーカス範囲を合成した合成フォーカス範囲を設定し、合成フォーカス範囲を表す情報を、合成スイープ画像生成部１３３およびぼけ除去処理部１３４に供給する。

合成スイープ画像生成部１３３は、合成フォーカス範囲設定部１３２からの情報で表わされる合成フォーカス範囲に基づいて、スイープ画像抽出部１３１からのスイープ画像を合成（加算）することで、合成スイープ画像を生成し、ぼけ除去処理部１３４に供給する。

ぼけ除去処理部１３４は、合成フォーカス範囲設定部１３２からの情報に基づいて、合成スイープ画像生成部１３３からの合成スイープ画像に対して、合成フォーカス範囲に応じたぼけ除去処理を施す。ぼけ除去処理部１３４は、ぼけ除去された画像を所定の形式に変換して、表示部３８および記録部３９に供給する。

［全焦点画像撮影処理］
次に、図９のフローチャートを参照して、撮像装置１１１の全焦点画像撮影処理について説明する。

なお、図９のフローチャートのステップＳ１１１，Ｓ１１２の処理は、図２のフローチャートのステップＳ１１，Ｓ１２の処理と基本的に同様であるので、その説明は省略する。

すなわち、ステップＳ１１３において、スイープ画像抽出部１３１は、スイープ画像抽出処理を実行する。

［スイープ画像抽出処理］
ここで、図１０のフローチャートを参照して、スイープ画像抽出部１３１によるスイープ画像抽出処理の詳細について説明する。

なお、図１０のフローチャートのステップＳ１３１乃至Ｓ１３５の処理は、図６のフローチャートのステップＳ５１乃至Ｓ５５の処理と基本的に同様であるので、その説明は省略する。

すなわち、ステップＳ１３６において、判定部１６１は、領域Rmについて検出された高域成分が、所定の閾値より高いか否かを判定する。

ステップＳ１３６において、領域Rmについて検出された高域成分が、所定の閾値より高いと判定された場合、処理はステップＳ１３７に進む。

ステップＳ１３７において、判定部１６１は、そのときのスイープ画像Inの領域Rmを、抽出領域とし、処理はステップＳ１３８に進む。

一方、ステップＳ１３６において、領域Rmについて検出された高域成分が、所定の閾値より高くないと判定された場合、ステップＳ１３７はスキップされ、処理はステップＳ１３７に進む。

ステップＳ１３８において、判定部１６１は、全ての領域Rmについて、高域成分の判定の処理がされたか否かを判定する。

ステップＳ１３８において、全ての領域Rmについて処理されていないと判定された場合、処理はステップＳ１３９に進み、スイープ画像抽出部１３１は、パラメータｍをｍ＝ｍ＋１とする。ステップＳ１３９の後、処理はステップＳ１３５に戻り、ステップＳ１３５以降の処理が繰り返される。

一方、ステップＳ１３８において、全ての領域Rmについて処理されたと判定された場合、処理はステップＳ１４０に進む。

ステップＳ１４０において、判定部１６１は、全ての領域Rmについて高域成分の判定の処理がされたスイープ画像Inを保持部１６２に記録（保持）させて、処理はステップＳ１４１に進む。

ステップＳ１４１において、判定部１６１は、全てのスイープ画像Inについて、領域Rm毎の高域成分の判定の処理がされたか否かを判定する。

ステップＳ１４１において、全てのスイープ画像Inについて処理されていないと判定された場合、処理はステップＳ１４２に進み、スイープ画像抽出部１３１は、パラメータｎをｎ＝ｎ＋１とする。ステップＳ１４２の後、処理はステップＳ１３２に戻り、ステップＳ１３２以降の処理が繰り返される。

一方、ステップＳ１４１において、全てのスイープ画像Inについて処理されたと判定された場合、スイープ画像抽出部１３１は、保持部１６２に保持されているスイープ画像を、合成フォーカス範囲設定部１３２および合成スイープ画像生成部１３３に供給する。その後、処理は、図９のフローチャートのステップＳ１１３に戻る。

このようにして、所定の閾値より高い高域成分を有する領域を含むスイープ画像とともに、所定の閾値より高い高域成分を有する領域を含まないスイープ画像が抽出される。すなわち、ここでは、図４に示されるフォーカス範囲で撮像されたスイープ画像I0乃至I(N-1)全てが、抽出スイープ画像として抽出されるようになる。

さて、図９のフローチャートのステップＳ１１３の後、ステップＳ１１４において、合成フォーカス範囲設定部１３２は、合成フォーカス範囲設定処理を実行する。

［合成フォーカス範囲設定処理］
ここで、図１１のフローチャートを参照して、合成フォーカス範囲設定部１３２による合成フォーカス範囲設定処理の詳細について説明する。

ステップＳ１５１において、合成フォーカス範囲設定部１３２は、スイープ画像抽出部１３１からの全スイープ画像に亘って一様に定義される領域の１つを、注目領域として選択する。ここで、全スイープ画像に亘って一様に定義される領域は、例えば、スイープ画像抽出処理において各スイープ画像が分割された領域Rmと同一の領域であってもよいし、領域Rmとは異なる、例えば領域Rmより大きい領域であってもよい。

ステップＳ１５２において、合成フォーカス範囲設定部１３２は、注目領域が、各スイープ画像の注目領域に対応する領域に抽出領域（被写体情報を有する領域）を含む有意領域であるか否かを判定する。

例えば、図１２に示されるスイープ画像I0乃至I(N-1)において、注目領域F1が選択され、スイープ画像I0，I1の注目領域F1に対応する領域に、被写体像m1（図４）を表す被写体情報を有する抽出領域が含まれている場合、注目領域F1は有意領域であると判定される。また、図１２に示されるスイープ画像I0乃至I(N-1)において、注目領域F2が選択され、スイープ画像I3の注目領域F2に対応する領域に、被写体像m2（図４）を表す被写体情報を有する抽出領域が含まれている場合、注目領域F2は有意領域であると判定される。

このように、ステップＳ１５２において、注目領域が有意領域であると判定されると、処理はステップＳ１５３に進む。

ステップＳ１５３において、合成フォーカス範囲設定部１３２は、有意領域（注目領域）において抽出領域を含むスイープ画像（抽出スイープ画像）のフォーカス範囲である領域フォーカス範囲を求める。例えば、上述したように、注目領域F1が有意領域である場合、注目領域F1についての領域フォーカス範囲は、スイープ画像I0，I1が得られたフォーカス範囲p0乃至p2となる。注目領域F2が有意領域である場合、注目領域F2についての領域フォーカス範囲は、スイープ画像I3が得られたフォーカス範囲p3乃至p4となる。

一方、ステップＳ１５２において、注目領域が有意領域でないと判定されると、ステップＳ１５３はスキップされ、処理はステップＳ１５４に進む。

ステップＳ１５４において、合成フォーカス範囲設定部１３２は、全ての領域について処理されたか否かを判定する。

ステップＳ１５４において、全ての領域について処理されていないと判定された場合、処理はステップＳ１５１に戻り、全ての領域について処理されるまで、ステップＳ１５１乃至Ｓ１５４の処理が繰り返される。

ステップＳ１５４において、全ての領域について処理されたと判定された場合、処理はステップＳ１５５に進み、合成フォーカス範囲設定部１３２は、ステップＳ１５３において求めた領域フォーカス範囲のうち、最大の領域フォーカス範囲を合成フォーカス範囲に設定する。

例えば、上述したように、領域フォーカス範囲として、注目領域F1についての領域フォーカス範囲p0乃至p2と、注目領域F2についての領域フォーカス範囲p3乃至p4が求められた場合、より範囲の大きい領域フォーカス範囲p0乃至p2が合成フォーカス範囲psとして設定される。設定された合成フォーカス範囲を表す情報は、合成スイープ画像生成部１３３およびぼけ除去処理部１３４に供給される。その後、処理は、図９のフローチャートのステップＳ１１４に戻る。

このように、有意領域において抽出領域を含むスイープ画像（抽出スイープ画像）のフォーカス範囲である領域フォーカス範囲のうちの最大となる領域フォーカス範囲が合成フォーカス範囲として設定されるので、合成フォーカス範囲を、図２のフローチャートのステップＳ１４で設定される合成フォーカス範囲p0乃至p2およびp3乃至p4よりも小さい範囲とすることができる。

さて、図９のフローチャートのステップＳ１１４の後、ステップＳ１１５において、合成スイープ画像生成部１３３は、合成スイープ画像生成処理を実行する。

［合成スイープ画像生成処理］
ここで、図１３のフローチャートを参照して、合成スイープ画像生成部１３３による合成スイープ画像生成処理の詳細について説明する。

ステップＳ１７１において、合成スイープ画像生成部１３３は、スイープ画像抽出部１３１からの全スイープ画像に亘って一様に定義される領域の１つを、注目領域として選択する。

ステップＳ１７２において、合成スイープ画像生成部１３３は、注目領域が有意領域であるか否かを判定する。

ステップＳ１７２において、注目領域が有意領域であると判定された場合、処理はステップＳ１７３に進み、合成スイープ画像生成部１３３は、抽出スイープ画像における注目領域（抽出領域）を構成する画素の画素値を、合成フォーカス範囲設定部１３２からの合成フォーカス範囲で画素毎に加算（合成）する。

例えば、上述したように、注目領域として注目領域F1（図１２）が選択された場合、図１４に示されるように、スイープ画像I0，I1の注目領域に対応する、被写体像m1を表す被写体情報を有する領域の画素の画素値が、図中、両矢印で示される合成フォーカス範囲ps（すなわち、フォーカス範囲p0乃至p2）で加算される。

また、注目領域として注目領域F2（図１２）が選択された場合、図１４に示されるように、スイープ画像I3の注目領域に対応する、被写体像m2を表す被写体情報を有する領域の画素の画素値が、図中、両矢印で示される合成フォーカス範囲ps（フォーカス範囲p2乃至p4）で加算される。

このように、注目領域に対応する領域に被写体情報を有するスイープ画像が得られたフォーカス範囲が、合成フォーカス範囲psより小さい場合でも、合成フォーカス範囲ps（フォーカス範囲p0乃至p2）と同一の範囲で、注目領域に対応する領域の画素が加算される。

一方、ステップＳ１７２において、注目領域が有意領域でないと判定された場合、処理はステップＳ１７４に進み、合成スイープ画像生成部１３３は、全スイープ画像における注目領域を構成する画素の画素値を、画素毎に加算平均する。

具体的には、図１４のスイープ画像I0乃至I(N-1)全てに亘って網かけで示されている、被写体情報を有しない領域を構成する画素の画素値が、画素毎に加算され、スイープ画像の枚数Ｎで割り算される。

ステップＳ１７５において、合成スイープ画像生成部１３３は、全ての領域について処理されたか否かを判定する。

ステップＳ１７５において、全ての領域について処理されていないと判定された場合、処理はステップＳ１７１に戻り、全ての領域について処理されるまで、ステップＳ１７１乃至Ｓ１７５の処理が繰り返される。

一方、ステップＳ１７５において、全ての領域について処理されたと判定された場合、合成スイープ画像生成部１３３は、画素値が加算された注目領域毎の画像（以下、領域画像という）からなる合成スイープ画像Isを、ぼけ除去処理部１３４に供給し、処理は、図９のフローチャートのステップＳ１１５に戻る。

さて、図９のフローチャートのステップＳ１１５の後、ステップＳ１１６において、ぼけ除去処理部１３４は、合成フォーカス範囲設定部１３２からの情報で表わされる合成フォーカス範囲psに対応するPSFに基づいて、合成スイープ画像生成部１３３からの合成スイープ画像Isに対してぼけ除去処理を施す。

具体的には、ぼけ除去処理部１３４は、合成スイープ画像生成部１３３からの合成スイープ画像Isの、被写体像m1を表す被写体情報を含む領域画像に対して、合成フォーカス範囲psに対応するIPSFを用いてデコンボリューションを行うことで、被写体像m1についてのぼけ除去を行う。また、ぼけ除去処理部１３４は、合成スイープ画像生成部１３３からの合成スイープ画像Isの、被写体像m2を表す被写体情報を含む領域画像に対して、合成フォーカス範囲psに対応するIPSFを用いてデコンボリューションを行うことで、被写体像m1についてのぼけ除去を行う。これにより、被写体像m1，m2の両方にピントが合った全焦点画像Iaを得ることができる。

以上の処理によれば、露光中にフォーカス位置を移動させて得られる複数のスイープ画像について、全スイープ画像に亘って一様に定義される領域のうち、被写体情報を含む有意領域の抽出スイープ画像が合成（加算）され、合成スイープ画像の領域画像毎に、領域フォーカス範囲のうち最大となる領域フォーカス範囲に対応するIPSFに基づいて、合成スイープ画像に対してぼけ除去処理が施され、被写体情報を含まない領域の全スイープ画像が加算平均されるようになる。

スイープ画像は、全フォーカス範囲を分割したフォーカス範囲毎に撮像されるので、Focal Stackのように、フォーカス位置を細かく変化させ、その都度撮像を行う場合と比較して、撮像回数（枚数）を抑えることができる。また、合成フォーカス範囲は、有意領域毎に抽出スイープ画像が加算される最大の領域フォーカス範囲となり、抽出スイープ画像全てを加算する場合よりさらに小さい範囲とすることができるので、高域成分を失うことをより確実に避けることができる。さらに、被写体情報を含まない領域については、デコンボリューションよりも演算量が少ない加算平均が行われるようになる。したがって、より一層少ない処理時間で、より一層高画質な全焦点画像を撮影することが可能となる。

以上においては、領域フォーカス範囲のうちの最大となる領域フォーカス範囲を合成フォーカス範囲として、その合成フォーカス範囲に対応するIPSFに基づいて、合成スイープ画像に対してぼけ除去処理を行うようにしたが、合成スイープ画像の有意領域毎の領域フォーカス範囲に対応するIPSFに基づいて、合成スイープ画像に対してぼけ除去処理を行うようにしてもよい。以下においては、合成スイープ画像の有意領域毎の領域フォーカス範囲に対応するIPSFに基づいて、合成スイープ画像に対してぼけ除去処理を行う例について説明する。

＜３．第３の実施の形態＞
［撮像装置の機能構成例］
図１５は、合成スイープ画像の有意領域毎の領域フォーカス範囲に対応するIPSFに基づいて、合成スイープ画像に対してぼけ除去処理を行うようにした撮像装置の機能構成例を示している。

撮像装置２１１は、撮像部３１、撮像制御部３２、記憶部３３、表示部３８、記録部３９、スイープ画像抽出部１３１、合成フォーカス範囲設定部２３１、合成スイープ画像生成部２３２、およびぼけ除去処理部２３３から構成される。

なお、図１５の撮像装置２１１において、図８の撮像装置１１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。

すなわち、図１５の撮像装置２１１において、図８の撮像装置１１１と異なるのは、合成フォーカス範囲設定部１３２、合成スイープ画像生成部１３３、およびぼけ除去処理部１３４に代えて、合成フォーカス範囲設定部２３１、合成スイープ画像生成部２３２、およびぼけ除去処理部２３３を設けた点である。

合成フォーカス範囲設定部２３１は、スイープ画像抽出部１３１からの情報で表されるスイープ画像が撮像されたときのフォーカス範囲を合成フォーカス範囲として設定し、合成フォーカス範囲を表す情報を、合成スイープ画像生成部２３２およびぼけ除去処理部２３３に供給する。

合成スイープ画像生成部２３２は、合成フォーカス範囲設定部２３１からの情報で表わされる合成フォーカス範囲に基づいて、スイープ画像抽出部１３１からのスイープ画像を合成（加算）することで、合成スイープ画像を生成し、ぼけ除去処理部２３３に供給する。

ぼけ除去処理部２３３は、合成フォーカス範囲設定部２３１からの情報に基づいて、合成スイープ画像生成部２３２からの合成スイープ画像に対して、合成フォーカス範囲に応じたぼけ除去処理を施す。ぼけ除去処理部２３３は、ぼけ除去された画像を所定の形式に変換して、表示部３８および記録部３９に供給する。

［全焦点画像撮影処理］
次に、図１６のフローチャートを参照して、撮像装置２１１の全焦点画像撮影処理について説明する。

なお、図１６のフローチャートのステップＳ２１１乃至Ｓ２１３の処理は、図９のフローチャートのステップＳ１１１乃至Ｓ１１３の処理と基本的に同様であるので、その説明は省略する。

すなわち、ステップＳ２１４において、合成フォーカス範囲設定部２３１は、合成フォーカス範囲設定処理を実行する。

［合成フォーカス範囲設定処理］
ここで、図１７のフローチャートを参照して、合成フォーカス範囲設定部２３１による合成フォーカス範囲設定処理の詳細について説明する。

なお、図１７のフローチャートのステップＳ２５１乃至Ｓ２５４の処理は、図１１のフローチャートのステップＳ１５１乃至Ｓ１５４の処理と基本的に同様であるので、その説明は省略する。

すなわち、ステップＳ２５５において、合成フォーカス範囲設定部２３１は、ステップＳ２５３において求めた有意領域毎の領域フォーカス範囲を、各領域（有意領域）の合成フォーカス範囲に設定する。

例えば、図１２を参照して説明したように、領域フォーカス範囲として、注目領域F1についての領域フォーカス範囲p0乃至p2と、注目領域F2についての領域フォーカス範囲p3乃至p4が求められた場合、領域フォーカス範囲p0乃至p2が、注目領域F1についての合成フォーカス範囲ps1として設定され、領域フォーカス範囲p3乃至p4が、注目領域F2についての合成フォーカス範囲ps2として設定される。設定された合成フォーカス範囲を表す情報は、合成スイープ画像生成部２３２およびぼけ除去処理部２３３に供給される。その後、処理は、図１６のフローチャートのステップＳ２１４に戻る。

このように、有意領域において抽出領域を含むスイープ画像（抽出スイープ画像）のフォーカス範囲である領域フォーカス範囲のそれぞれが、各有意領域の合成フォーカス範囲として設定されるので、合成フォーカス範囲を、有意領域毎に最小限の範囲とすることができる。

さて、図１６のフローチャートのステップＳ２１４の後、ステップＳ２１５において、合成スイープ画像生成部２３２は、合成スイープ画像生成処理を実行する。

［合成スイープ画像生成処理］
ここで、図１８のフローチャートを参照して、合成スイープ画像生成部２３２による合成スイープ画像生成処理の詳細について説明する。

なお、図１８のフローチャートのステップＳ２７１，Ｓ２７２，Ｓ２７４，Ｓ２７５の処理は、図１３のフローチャートのステップＳ１７１，Ｓ１７２，Ｓ１７４，Ｓ１７５の処理と基本的に同様であるので、その説明は省略する。

すなわち、ステップＳ２７３において、合成スイープ画像生成部２３２は、抽出スイープ画像における注目領域（抽出領域）を構成する画素の画素値を、合成フォーカス範囲設定部２３１からの有意領域毎の合成フォーカス範囲で画素毎に加算（合成）する。

例えば、上述したように、注目領域として注目領域F1（図１２）が選択された場合、図１９に示されるように、スイープ画像I0，I1の注目領域に対応する、被写体像m1を表す被写体情報を有する領域の画素の画素値が、図中、両矢印で示される合成フォーカス範囲ps1（すなわち、フォーカス範囲p0乃至p2）で加算される。

また、注目領域として注目領域F2（図１２）が選択された場合、図１９に示されるように、スイープ画像I3の注目領域に対応する、被写体像m2を表す被写体情報を有する領域の画素の画素値が、図中、両矢印で示される合成フォーカス範囲ps2（フォーカス範囲p3乃至p4）で加算される。

このように、領域毎に設定された合成フォーカス範囲で、注目領域に対応する領域の画素が加算される。

そして、ステップＳ２７５において、全ての領域について処理されたと判定されると、合成スイープ画像生成部２３２は、画素値が加算された注目領域毎の画像（領域画像）からなる合成スイープ画像Isを、ぼけ除去処理部２３３に供給し、処理は、図１６のフローチャートのステップＳ２１５に戻る。

さて、図１６のフローチャートのステップＳ２１５の後、ステップＳ２１６において、ぼけ除去処理部２３３は、合成フォーカス範囲設定部２３１からの情報で表わされる各有意領域の合成フォーカス範囲に対応するPSFに基づいて、合成スイープ画像生成部２３２からの合成スイープ画像Isに対してぼけ除去処理を施す。

具体的には、ぼけ除去処理部２３３は、合成スイープ画像生成部２３２からの合成スイープ画像Isの、被写体像m1を表す被写体情報を含む領域画像に対して、合成フォーカス範囲ps1に対応するIPSFを用いてデコンボリューションを行うことで、被写体像m1についてのぼけ除去を行う。また、ぼけ除去処理部２３３は、合成スイープ画像生成部２３２からの合成スイープ画像Isの、被写体像m2を表す被写体情報を含む領域画像に対して、合成フォーカス範囲ps2に対応するIPSFを用いてデコンボリューションを行うことで、被写体像m1についてのぼけ除去を行う。これにより、被写体像m1，m2の両方にピントが合った全焦点画像Iaを得ることができる。

以上の処理によれば、露光中にフォーカス位置を移動させて得られる複数のスイープ画像について、全スイープ画像に亘って一様に定義される領域のうち、被写体情報を含む有意領域の抽出スイープ画像が合成（加算）され、合成スイープ画像の領域画像毎に、各領域フォーカス範囲に対応するIPSFに基づいて、合成スイープ画像に対してぼけ除去処理が施され、被写体情報を含まない領域の全スイープ画像が加算平均されるようになる。

スイープ画像は、全フォーカス範囲を分割したフォーカス範囲毎に撮像されるので、Focal Stackのように、フォーカス位置を細かく変化させ、その都度撮像を行う場合と比較して、撮像回数（枚数）を抑えることができる。また、合成フォーカス範囲は、有意領域毎に抽出スイープ画像が加算される各有意領域の領域フォーカス範囲となり、抽出スイープ画像全てを加算する場合よりさらに小さい範囲とすることができるので、高域成分を失うことをさらに確実に避けることができる。さらに、被写体情報を含まない領域については、デコンボリューションよりも演算量が少ない加算平均が行われるようになる。したがって、より一層少ない処理時間で、より一層高画質な全焦点画像を撮影することが可能となる。

以上においては、注目領域において被写体情報を含まない領域については、全スイープ画像について加算平均を行うようにしたが、被写体情報を含まない領域を有意領域に統合するようにしてもよい。以下においては、被写体情報を含まない領域を有意領域に統合する例について説明する。

＜４．第４の実施の形態＞
［撮像装置の機能構成例］
図２０は、被写体情報を含まない領域を有意領域に統合するようにした撮像装置の機能構成例を示している。

撮像装置３１１は、撮像部３１、撮像制御部３２、記憶部３３、表示部３８、記録部３９、スイープ画像抽出部１３１、合成フォーカス範囲設定部３３１、合成スイープ画像生成部３３２、およびぼけ除去処理部３３３から構成される。

なお、図２０の撮像装置３１１において、図８の撮像装置１１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。

すなわち、図２０の撮像装置３１１において、図８の撮像装置１１１と異なるのは、合成フォーカス範囲設定部１３２、合成スイープ画像生成部１３３、およびぼけ除去処理部１３４に代えて、合成フォーカス範囲設定部３３１、合成スイープ画像生成部３３２、およびぼけ除去処理部３３３を設けた点である。

また、合成フォーカス範囲設定部３３１は、図８の合成フォーカス範囲設定部１３２と同様の機能を有するので、その説明は省略する。

合成スイープ画像生成部３３２は、合成フォーカス範囲設定部３３１からの情報で表わされる合成フォーカス範囲に基づいて、スイープ画像抽出部１３１からのスイープ画像を合成（加算）することで、合成スイープ画像を生成し、ぼけ除去処理部３３３に供給する。

ぼけ除去処理部３３３は、合成フォーカス範囲設定部３３１からの情報に基づいて、合成スイープ画像生成部３３２からの合成スイープ画像に対して、合成フォーカス範囲に応じたぼけ除去処理を施す。ぼけ除去処理部３３３は、ぼけ除去された画像を所定の形式に変換して、表示部３８および記録部３９に供給する。

［全焦点画像撮影処理］
次に、図２１のフローチャートを参照して、撮像装置３１１の全焦点画像撮影処理について説明する。

なお、図２１のフローチャートのステップＳ３１１乃至Ｓ３１４の処理は、図９のフローチャートのステップＳ１１１乃至Ｓ１１４の処理と基本的に同様であるので、その説明は省略する。

すなわち、ステップＳ３１５において、合成スイープ画像生成部３３２は、合成スイープ画像生成処理を実行する。

［合成スイープ画像生成処理］
ここで、図２２のフローチャートを参照して、合成スイープ画像生成部３３２による合成スイープ画像生成処理の詳細について説明する。

ステップＳ３７１において、合成スイープ画像生成部３３２は、スイープ画像抽出部１３１からの全スイープ画像に亘って一様に定義される領域の１つを、注目領域として選択する。

ステップＳ３７２において、合成スイープ画像生成部３３２は、注目領域が有意領域であるか否かを判定する。

ステップＳ３７２において、注目領域が有意領域であると判定された場合、合成スイープ画像生成部３３２は何もせず、処理はステップＳ３７４に進む。

一方、ステップＳ３７２において、注目領域が有意領域でないと判定された場合、処理はステップＳ３７３に進み、合成スイープ画像生成部３３２は、有意領域でない注目領域（以下、非有意領域という）を有意領域に統合する。具体的には、例えば、合成スイープ画像生成部３３２は、有意領域に隣接する非有意領域を有意領域に統合して、１つの有意領域とする。ステップＳ３７３の後、処理はステップＳ３７４に進む。

ステップＳ３７４において、合成スイープ画像生成部３３２は、全ての領域について、ステップＳ３７１乃至Ｓ３７３の処理がされたか否かを判定する。

ステップＳ３７４において、全ての領域について処理されていないと判定された場合、処理はステップＳ３７１に戻り、全ての領域について処理されるまで、ステップＳ３７１乃至Ｓ３７４の処理が繰り返される。

一方、ステップＳ３７４において、全ての領域について処理されたと判定された場合、処理はステップＳ３７５に進む。

この結果、全スイープ画像に亘って定義される領域は、有意領域のみとなる。

具体的には、例えば、図２３に示されるスイープ画像I0乃至I(N-1)において、注目領域F1および注目領域F2が有意領域である場合、すなわち、注目領域F1および注目領域F2以外の領域が全て非有意領域である場合、注目領域F1および注目領域F2に隣接する非有意領域は、注目領域F1および注目領域F2に統合される。そして、統合された注目領域F1および注目領域F2に隣接する非有意領域は、その一部が統合された注目領域F1および注目領域F2に統合される。これが繰り返されることにより、スイープ画像I0乃至I(N-1)は、有意領域Y1および有意領域Y2の２つの領域から構成されるようになる。なお、非有意領域と有意領域との統合の手法は、最終的に非有意領域が有意領域に統合されればよく、特に限定されない。

図２２のフローチャートに戻り、ステップＳ３７５において、合成スイープ画像生成部３３２は、抽出スイープ画像における有意領域を構成する画素の画素値を、合成フォーカス範囲設定部３３１からの合成フォーカス範囲で画素毎に加算（合成）する。

例えば、上述したように、非有意領域が有意領域に統合された結果、有意領域Y1および有意領域Y2が得られた場合、図２４に示されるように、スイープ画像I0，I1の有意領域Y1に対応する、被写体像m1を表す被写体情報を有する領域の画素の画素値が、図中、両矢印で示される合成フォーカス範囲ps（すなわち、フォーカス範囲p0乃至p2）で加算される。また、スイープ画像I3の有意領域Y2に対応する、被写体像m2を表す被写体情報を有する領域の画素の画素値が、図中、両矢印で示される合成フォーカス範囲ps（フォーカス範囲p2乃至p4）で加算される。

ここでは、統合された有意領域に対応する領域に被写体情報を有するスイープ画像が得られたフォーカス範囲が、合成フォーカス範囲psより小さい場合でも、合成フォーカス範囲ps（フォーカス範囲p0乃至p2）と同一の範囲で、有意領域に対応する領域の画素が加算される。

合成スイープ画像生成部３３２は、画素値が加算された有意領域毎の画像（領域画像）からなる合成スイープ画像Isを、ぼけ除去処理部３３３に供給し、処理は、図２１のフローチャートのステップＳ３１５に戻る。

さて、図２１のフローチャートのステップＳ３１５の後、ステップＳ３１６において、ぼけ除去処理部３３３は、合成フォーカス範囲設定部３３１からの情報で表わされる合成フォーカス範囲psに対応するPSFに基づいて、合成スイープ画像生成部３３２からの合成スイープ画像Isに対してぼけ除去処理を施す。

具体的には、ぼけ除去処理部３３３は、合成スイープ画像生成部３３２からの合成スイープ画像Isの、被写体像m1を表す被写体情報を含む領域画像に対して、合成フォーカス範囲psに対応するIPSFを用いてデコンボリューションを行うことで、被写体像m1についてのぼけ除去を行う。また、ぼけ除去処理部１３４は、合成スイープ画像生成部３３２からの合成スイープ画像Isの、被写体像m2を表す被写体情報を含む領域画像に対して、合成フォーカス範囲psに対応するIPSFを用いてデコンボリューションを行うことで、被写体像m1についてのぼけ除去を行う。これにより、被写体像m1，m2の両方にピントが合った全焦点画像Iaを得ることができる。

以上の処理によれば、露光中にフォーカス位置を移動させて得られる複数のスイープ画像について、全スイープ画像に亘って一様に定義される領域のうち、被写体情報を含む有意領域の抽出スイープ画像が合成（加算）され、合成スイープ画像の領域画像毎に、領域フォーカス範囲のうち最大となる領域フォーカス範囲に対応するIPSFに基づいて、合成スイープ画像に対してぼけ除去処理が施され、被写体情報を含まない領域の全スイープ画像が加算平均されるようになる。

スイープ画像は、全フォーカス範囲を分割したフォーカス範囲毎に撮像されるので、Focal Stackのように、フォーカス位置を細かく変化させ、その都度撮像を行う場合と比較して、撮像回数（枚数）を抑えることができる。また、合成フォーカス範囲は、有意領域毎に抽出スイープ画像が加算される最大の領域フォーカス範囲となり、抽出スイープ画像全てを加算する場合よりさらに小さい範囲とすることができるので、高域成分を失うことをより確実に避けることができる。さらに、被写体情報を含まない領域については、隣接する有意領域に統合されるようになるので、処理される領域の数が抑えられるとともに、最終的に得られる全焦点画像において、有意領域と非有意領域との境界が目立たなくなる。したがって、より一層少ない処理時間で、より一層高画質な全焦点画像を撮影することが可能となる。

以上においては、領域フォーカス範囲のうちの最大となる領域フォーカス範囲を合成フォーカス範囲として、その合成フォーカス範囲に対応するIPSFに基づいて、合成スイープ画像に対してぼけ除去処理を行うようにしたが、合成スイープ画像の有意領域毎の領域フォーカス範囲に対応するIPSFに基づいて、合成スイープ画像に対してぼけ除去処理を行うようにしてもよい。以下においては、合成スイープ画像の有意領域毎の領域フォーカス範囲に対応するIPSFに基づいて、合成スイープ画像に対してぼけ除去処理を行う例について説明する。

＜５．第５の実施の形態＞
［撮像装置の機能構成例］
図２５は、合成スイープ画像の有意領域毎の領域フォーカス範囲に対応するIPSFに基づいて、合成スイープ画像に対してぼけ除去処理を行うようにした撮像装置の機能構成例を示している。

撮像装置４１１は、撮像部３１、撮像制御部３２、記憶部３３、表示部３８、記録部３９、スイープ画像抽出部１３１、合成フォーカス範囲設定部４３１、合成スイープ画像生成部４３２、およびぼけ除去処理部４３３から構成される。

なお、図２５の撮像装置４１１において、図１５の撮像装置２１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。

すなわち、図２５の撮像装置４１１において、図１５の撮像装置２１１と異なるのは、合成フォーカス範囲設定部２３１、合成スイープ画像生成部２３２、およびぼけ除去処理部２３３に代えて、合成フォーカス範囲設定部４３１、合成スイープ画像生成部４３２、およびぼけ除去処理部４３３を設けた点である。

また、合成フォーカス範囲設定部４３１は、図１５の合成フォーカス範囲設定部２３１と同様の機能を有するので、その説明は省略する。

合成スイープ画像生成部４３２は、合成フォーカス範囲設定部４３１からの情報で表わされる合成フォーカス範囲に基づいて、スイープ画像抽出部１３１からのスイープ画像を合成（加算）することで、合成スイープ画像を生成し、ぼけ除去処理部４３３に供給する。

ぼけ除去処理部４３３は、合成フォーカス範囲設定部４３１からの情報に基づいて、合成スイープ画像生成部４３２からの合成スイープ画像に対して、合成フォーカス範囲に応じたぼけ除去処理を施す。ぼけ除去処理部４３３は、ぼけ除去された画像を所定の形式に変換して、表示部３８および記録部３９に供給する。

［全焦点画像撮影処理］
次に、図２６のフローチャートを参照して、撮像装置４１１の全焦点画像撮影処理について説明する。

なお、図２６のフローチャートのステップＳ４１１乃至Ｓ４１４の処理は、図１６のフローチャートのステップＳ２１１乃至Ｓ２１４の処理と基本的に同様であるので、その説明は省略する。

すなわち、ステップＳ４１５において、合成スイープ画像生成部４３２は、合成スイープ画像生成処理を実行する。

［合成スイープ画像生成処理］
ここで、図２７のフローチャートを参照して、合成スイープ画像生成部４３２による合成スイープ画像生成処理の詳細について説明する。

なお、図２７のフローチャートのステップＳ４７１乃至Ｓ４７５の処理は、図２２のフローチャートのステップＳ３７１乃至Ｓ３７５の処理と基本的に同様であるので、その説明は省略する。

すなわち、ステップＳ４７５において、合成スイープ画像生成部４３２は、抽出スイープ画像における有意領域を構成する画素の画素値を、合成フォーカス範囲設定部４３１からの有意領域毎の合成フォーカス範囲で画素毎に加算（合成）する。

例えば、上述したように、非有意領域が有意領域に統合された結果、有意領域Y1および有意領域Y2が得られた場合、図２８に示されるように、スイープ画像I0，I1の有意領域Y1に対応する、被写体像m1を表す被写体情報を有する領域の画素の画素値が、図中、両矢印で示される合成フォーカス範囲ps1（すなわち、フォーカス範囲p0乃至p2）で加算される。また、スイープ画像I3の有意領域Y2に対応する、被写体像m2を表す被写体情報を有する領域の画素の画素値が、図中、両矢印で示される合成フォーカス範囲ps2（フォーカス範囲p3乃至p4）で加算される。

このように、領域毎に設定された合成フォーカス範囲で、注目領域に対応する領域の画素が加算される。

合成スイープ画像生成部４３２は、画素値が加算された有意領域毎の画像（領域画像）からなる合成スイープ画像Isを、ぼけ除去処理部４３３に供給し、処理は、図２６のフローチャートのステップＳ４１５に戻る。

さて、図２６のフローチャートのステップＳ４１５の後、ステップＳ４１６において、ぼけ除去処理部４３３は、合成フォーカス範囲設定部４３１からの情報で表わされる各有意領域の合成フォーカス範囲に対応するPSFに基づいて、合成スイープ画像生成部２３２からの合成スイープ画像Isに対してぼけ除去処理を施す。

具体的には、ぼけ除去処理部４３３は、合成スイープ画像生成部４３２からの合成スイープ画像Isの、被写体像m1を表す被写体情報を含む領域画像に対して、合成フォーカス範囲ps1に対応するIPSFを用いてデコンボリューションを行うことで、被写体像m1についてのぼけ除去を行う。また、ぼけ除去処理部４３３は、合成スイープ画像生成部４３２からの合成スイープ画像Isの、被写体像m2を表す被写体情報を含む領域画像に対して、合成フォーカス範囲ps2に対応するIPSFを用いてデコンボリューションを行うことで、被写体像m1についてのぼけ除去を行う。これにより、被写体像m1，m2の両方にピントが合った全焦点画像Iaを得ることができる。

以上の処理によれば、露光中にフォーカス位置を移動させて得られる複数のスイープ画像について、全スイープ画像に亘って一様に定義される領域のうち、被写体情報を含む有意領域の抽出スイープ画像が合成（加算）され、合成スイープ画像の領域画像毎に、各領域フォーカス範囲に対応するIPSFに基づいて、合成スイープ画像に対してぼけ除去処理が施され、被写体情報を含まない領域の全スイープ画像が加算平均されるようになる。

スイープ画像は、全フォーカス範囲を分割したフォーカス範囲毎に撮像されるので、Focal Stackのように、フォーカス位置を細かく変化させ、その都度撮像を行う場合と比較して、撮像回数（枚数）を抑えることができる。また、合成フォーカス範囲は、有意領域毎に抽出スイープ画像が加算される各有意領域の領域フォーカス範囲となり、抽出スイープ画像全てを加算する場合よりさらに小さい範囲とすることができるので、高域成分を失うことをさらに確実に避けることができる。さらに、被写体情報を含まない領域については、隣接する有意領域に統合されるようになるので、処理される領域の数が抑えられるとともに、最終的に得られる全焦点画像において、有意領域と非有意領域との境界が目立たなくなる。したがって、より一層少ない処理時間で、より一層高画質な全焦点画像を撮影することが可能となる。

上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、プログラム記録媒体からインストールされる。

図２９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。

バス９０４には、さらに、入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、キーボード、マウス、マイクロホン等よりなる入力部９０６、ディスプレイ、スピーカ等よりなる出力部９０７、ハードディスクや不揮発性のメモリ等よりなる記憶部９０８、ネットワークインタフェース等よりなる通信部９０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア９１１を駆動するドライブ９１０が接続されている。

以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９０８に記憶されているプログラムを、入出力インタフェース９０５およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU９０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア９１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

そして、プログラムは、リムーバブルメディア９１１をドライブ９１０に装着することにより、入出力インタフェース９０５を介して、記憶部９０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０９で受信し、記憶部９０８にインストールすることができる。その他、プログラムは、ROM９０２や記憶部９０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１１ 撮像装置， ３４ スイープ画像抽出部， ３５ 合成フォーカス範囲設定部， ３６ 合成スイープ画像生成部， ３７ ぼけ除去処理部， １１１ 撮像装置， １３１ スイープ画像抽出部， １３２ 合成フォーカス範囲設定部， １３３ 合成スイープ画像生成部， １３４ ぼけ除去処理部， ２１１ 撮像装置， ２３１ 合成フォーカス範囲設定部， ２３２ 合成スイープ画像生成部， ２３３ ぼけ除去処理部， ３１１ 撮像装置， ３３１ 合成フォーカス範囲設定部， ３３２ 合成スイープ画像生成部， ３３３ ぼけ除去処理部， ４１１ 撮像装置， ４３１ 合成フォーカス範囲設定部， ４３２ 合成スイープ画像生成部， ４３３ ぼけ除去処理部

Claims (7)

1. 露光中にフォーカス位置を移動させて得られるスイープ画像の、異なるフォーカス範囲での撮像を制御する撮像制御手段と、
   前記撮像制御手段の制御により撮像された前記スイープ画像のうちの、所定の被写体を表す情報である被写体情報を有する被写体スイープ画像を合成した合成スイープ画像を生成する生成手段と、
   前記被写体スイープ画像のフォーカス範囲に対応する点広がり関数に基づいて、前記合成スイープ画像に対してぼけ除去処理を施すぼけ除去処理手段と
   を備える撮像装置。
2. 前記生成手段は、全スイープ画像に亘って一様に定義される注目領域について、前記注目領域が前記被写体情報を有する被写体領域を含む有意領域である場合、前記被写体スイープ画像を含む前記スイープ画像における前記注目領域を、前記被写体スイープ画像のフォーカス範囲のうち最大となる最大フォーカス範囲で合成し、前記注目領域が前記有意領域でない場合、全スイープ画像における前記注目領域を加算平均することで、前記合成スイープ画像を生成し、
   前記ぼけ除去処理手段は、前記最大フォーカス範囲に対応する前記点広がり関数に基づいて、前記合成スイープ画像の前記有意領域に対応する領域に対してぼけ除去処理を施す
   請求項１に記載の撮像装置。
3. 前記生成手段は、全スイープ画像に亘って一様に定義される注目領域について、前記注目領域が前記被写体情報を有する被写体領域を含む有意領域である場合、前記被写体スイープ画像を含む前記スイープ画像における前記注目領域を、前記被写体スイープ画像のフォーカス範囲である領域フォーカス範囲で合成し、前記注目領域が前記有意領域でない場合、全スイープ画像における前記注目領域を加算平均することで、前記合成スイープ画像を生成し、
   前記ぼけ除去処理手段は、前記領域フォーカス範囲に対応する前記点広がり関数に基づいて、前記合成スイープ画像の前記有意領域に対応する領域に対してぼけ除去処理を施す
   請求項１に記載の撮像装置。
4. 前記生成手段は、全スイープ画像に亘って一様に定義される注目領域について、前記注目領域が前記被写体情報を有する被写体領域を含む有意領域でない場合、前記注目領域を前記有意領域に統合し、前記被写体スイープ画像における前記有意領域を、前記被写体スイープ画像のフォーカス範囲のうち最大となる最大フォーカス範囲で合成することで、前記合成スイープ画像を生成し、
   前記ぼけ除去処理手段は、前記最大フォーカス範囲に対応する前記点広がり関数に基づいて、前記合成スイープ画像の前記有意領域に対応する領域に対してぼけ除去処理を施す
   請求項１に記載の撮像装置。
5. 前記生成手段は、全スイープ画像に亘って一様に定義される注目領域について、前記注目領域が前記被写体情報を有する被写体領域を含む有意領域でない場合、前記注目領域を前記有意領域に統合し、前記被写体スイープ画像における前記有意領域を、前記被写体スイープ画像のフォーカス範囲である領域フォーカス範囲で合成することで、前記合成スイープ画像を生成し、
   前記ぼけ除去処理手段は、前記領域フォーカス範囲に対応する前記点広がり関数に基づいて、前記合成スイープ画像の前記有意領域に対応する領域に対してぼけ除去処理を施す
   請求項１に記載の撮像装置。
6. 露光中にフォーカス位置を移動させて得られるスイープ画像の、異なるフォーカス範囲での撮像を制御する撮像制御手段と、
   前記撮像制御手段の制御により撮像された前記スイープ画像のうちの、所定の被写体を表す情報である被写体情報を有する被写体スイープ画像を合成した合成スイープ画像を生成する生成手段と、
   前記被写体スイープ画像のフォーカス範囲に対応する点広がり関数に基づいて、前記合成スイープ画像に対してぼけ除去処理を施すぼけ除去処理手段とを備える撮像装置の撮像方法において、
   前記撮像制御手段が、露光中にフォーカス位置を移動させて得られるスイープ画像の、異なるフォーカス範囲での撮像を制御する撮像制御ステップと、
   前記生成手段が、前記撮像制御ステップの処理の制御により撮像された前記スイープ画像のうちの、所定の被写体を表す情報である被写体情報を有する被写体スイープ画像を合成した合成スイープ画像を生成する生成ステップと、
   前記ぼけ除去処理手段が、前記被写体スイープ画像のフォーカス範囲に対応する点広がり関数に基づいて、前記合成スイープ画像に対してぼけ除去処理を施すぼけ除去処理ステップと
   を含む撮像方法。
7. 露光中にフォーカス位置を移動させて得られるスイープ画像の、異なるフォーカス範囲での撮像を制御する撮像制御ステップと、
   前記撮像制御ステップの処理の制御により撮像された前記スイープ画像のうちの、所定の被写体を表す情報である被写体情報を有する被写体スイープ画像を合成した合成スイープ画像を生成する生成ステップと、
   前記被写体スイープ画像のフォーカス範囲に対応する点広がり関数に基づいて、前記合成スイープ画像に対してぼけ除去処理を施すぼけ除去処理ステップと
   を含む処理をコンピュータに実行させるプログラム。

Images