JP2010147926A - 撮像装置 - Google Patents

Abstract

【課題】被写界深度が拡大された画像及び任意の被写界深度を有する画像を、画像撮影後の画像処理によって生成する。
【解決手段】軸上色収差を有する光学系を介して被写体を撮影した後、撮影画像から中心画素位置の異なる小領域を順次抽出し、小領域ごとにＲＧＢ信号の高域周波数成分をＲＧＢ信号間で比較するにより、赤、緑及び青の内の１色を合焦色として残りの２色を非合焦色として特定する。その後、小領域ごとに、小領域内の合焦色画像と非合焦色画像を対比することで非合焦色画像のぼけの状態を表す点広がり関数（ＰＳＦ）を求め、各ＰＳＦの逆関数を用いて各非合焦色画像のぼけを補正することにより、被写界深度の広い深度拡大画像を生成する。
【選択図】図９

Description

本発明は、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置に関する。

単体のレンズには、軸上色収差が存在する。撮像装置に用いられる光学系には、通常、軸上色収差を補正するためのレンズ群が設けられ、全体として、軸上色収差が無視できる程度に小さくなっている。図３２に、従来の一般的なレンズ９１０Ｌと撮像素子９１１と撮像素子９１１に対する入射光の関係を示す。レンズ９１０Ｌは、光学系に含まれるレンズ群を１つのレンズとみなしたものである。

点光源９００からレンズ９１０Ｌに向かう光９０１は、レンズ９１０Ｌによって青色光、緑色光及び赤色光に分離されるものの、軸上色収差の補正機能によって、青色光、緑色光及び赤色光は同じ結像点に結像する。この結像点に撮像素子９１１を配置することによって、ピントの合った点光源９００の像が撮像素子９１１の撮像面に形成される。

このようなレンズ９１０Ｌによる光学系と撮像素子９１１を備えた撮像装置における、静止画像撮影時の動作の流れを説明する。図３３は、この動作の手順を表すフローチャートである。尚、シャッタボタンの押下に伴って撮影されるべき１枚の静止画像を撮影対象画像と呼ぶ。

まず、シャッタボタンが半押しされると、撮影対象画像の露光に先立ってプリ露光が実行され、プリ露光にて撮像素子９１１から得られる出力信号のレベルから、プログラム線図を表すルックアップテーブルを用いて適正露光時間及び絞り値が決定される。その後、オートフォーカス制御が実行される。即ち、ＴＴＬ（Through The Lenz）のコントラスト検出方式や位相差検出方式によるオートフォーカス制御が実行され、主要被写体と思われる被写体にピントが合うようにフォーカスレンズ位置が調整される。フォーカスレンズ位置の調整が完了すると、電子音やモニタ表示を通じて、ユーザにオートフォーカスの完了通知が行われる。

その後、シャッタボタンが全押しされると、上述の如く決定された適正露光時間及び絞り値にて撮影対象画像の露光が実行され、撮像素子９１１の光電変換により撮影対象画像の画像データが得られる。得られた撮影対象画像に対して様々な画質調整処理（ガンマ補正処理やニー補正処理など）が施された後、撮影対象画像の画像データは所定の圧縮処理を介して記録媒体に記録される。

オートフォーカス制御では、一般的に、画像中央部（撮影領域中央部）に位置するＡＦ評価領域内の被写体が主要被写体であるとみなされ、その主要被写体にピントが合うようにフォーカスレンズ位置が調整される。

しかしながら、上述の撮影動作を実行する従来の撮像装置では、所望の合焦状態を有する画像を取得できないことがある。即ち、撮影者が注目している被写体にピントがあっていない画像が取得されうる、という問題（以下、問題αという）が発生する。ピントが合うことを「合焦」とも表現する。

例えば、問題αは、注目被写体が画像中央部（撮影領域中央部）に位置するＡＦ評価領域内に存在しない状況において顕在化する。この状況に対して、いわゆる置きピンという撮影方法が存在する。置きピンは、注目被写体がＡＦ評価領域内に位置するようにカメラ構図を調整した状態でオートフォーカス制御を完了させ、その後に、所望の構図が得られるように撮像装置の向きを変えてからシャッタボタンの全押しを行う撮影方法である。置きピンを用いれば、注目被写体にピントが合った画像を得ることもできる。但し、撮影時のカメラ操作が増加すると共に、これに伴って所謂シャッタチャンスを逃す恐れが生じる。

また例えば、問題αは、注目被写体のコントラストが低い状況においても顕在化する。コントラスト検出方式によるオートフォーカス制御では、画像の高域周波数成分に基づいてフォーカスレンズ位置の調整を行うため、注目被写体のコントラストが低い場合、適切なフォーカスレンズ位置を決定することができない。

更に例えば、シャッタボタンの半押し後、直ちにシャッタボタンが全押しされるという状況や、シャッタボタンの全押し直前に注目被写体が撮像領域外から撮影領域内に入ってくるような状況においても、問題αは顕在化する。

また、従来の撮像装置では、被写界深度の調整範囲が制限される或いは被写界深度の調整が難しいという問題（以下、問題βという）もある。

被写界深度は、撮影画像の作風に大きく影響するため、撮影者の意図に応じて被写界深度を自由に制御できることが望ましい。例えば、旅行先での記念撮影のように人物とその背景が共に重要な場合は被写界深度を深めて近景から遠景までピントを合わせる方が好ましく、逆に、背景はあまり重要でなく撮像装置近傍の人物のみを注目している場合は被写界深度を浅くして注目被写体以外の被写体（背景など）をぼかした方が好ましい。しかしながら、使用するレンズや撮像素子の特性により被写界深度の調整範囲は制限されており、当然ながら、従来の撮像装置では、その調整範囲を超えた被写界深度の調整はできない。また、従来の撮像装置にて被写界深度を調整する場合、撮影前に絞り値を手動設定する必要がある。これは撮影者にとって手間であると同時に、シャッタチャンスを逃す可能性を増大させる。

一方において、近年、被写界深度を通常の光学系で得られるものよりも拡大する技術が開発されている。被写界深度を拡大する方式として、Wave-front Codingと呼ばれる方式が提案されている（例えば、下記特許文献１及び２参照）。Wave-front Coding方式では、通常の光学系におけるレンズの前又は後に位相変調素子を挿入することで光学的伝達関数（撮影画像の画像劣化関数）が被写体距離に関わらず一定になるようにし、撮影後に、画像劣化関数の逆関数を撮影画像に適用することで劣化のない（即ちピントの合った）画像を生成する。

Wave-front Coding方式を用いれば、広い被写体距離範囲内の全被写体にピントが合った画像を生成することができるため、所謂ピンぼけに関わる問題αは解消される。しかしながら、Wave-front Coding方式を用いるためには位相変調素子が必須となるため、その分、コストが増大すると共に光学系のサイズが増大する。よって、Wave-front Coding方式を用いない方式が望まれる。また、Wave-front Coding方式は、被写界深度の拡大には寄与するものの上記問題βに対応することはできない。

尚、下記特許文献３には、レンズの有する軸上色収差を利用してフォーカスレンズ位置を調整する方法が開示されているが、この方法は、上記問題α及びβの解決に何ら寄与するものではない。

特表２００２−５１３９５１号公報 特開２０００−９８３０１号公報 特開昭５４−６５３３号公報

上述の如く、被写界深度が十分に深い画像を生成することができたならば、ピンぼけに関わる問題αは解消されるが、Wave-front Coding方式はコスト及び光学系のサイズ面から採用しがたい。また、上記の問題βに対する対応も重要である。

そこで本発明は、簡素な構成にて被写界深度の拡大を可能ならしめる撮像装置を提供することを目的とする。また本発明は、ユーザが期待する被写界深度を有した画像の提供に寄与する撮像装置を提供することも目的とする。

本発明に係る第１の撮像装置は、軸上色収差を有する光学系を介して被写体を撮影し、複数色の色信号から成る撮影画像を取得する撮像装置において、前記撮影画像の一部画像領域である小領域を、複数個、前記撮影画像から抽出する小領域抽出手段と、前記小領域ごとに、前記小領域内の各色信号に含まれる所定の高域周波数成分を異なる色信号間で比較することで、前記複数色の内、前記軸上色収差に基づく画像ぼけが最も少ない色信号の色を合焦色として、それ以外の色信号の色を非合焦色として特定する合焦色特定手段と、前記小領域ごとに、当該小領域内の前記合焦色の色信号から成る合焦色画像及び当該小領域内の前記非合焦色の色信号から成る非合焦色画像に基づいて前記非合焦色画像の前記画像ぼけの状態を表す画像劣化関数を導出する導出手段と、導出された各画像劣化関数に基づいて各非合焦色画像の前記画像ぼけを補正するぼけ補正手段と、を備えたことを特徴とする。

軸上色収差を有する光学系を用いて、個々の色信号が合焦状態となる被写体距離を広範囲に分散させる。その後、軸上色収差に基づく画像劣化関数を求めて該画像劣化関数により軸上色収差に基づく撮影画像のぼけを補正する。これにより、被写界深度の深さが、通常の光学系にて得られるそれよりも深い画像を生成することが可能となり、結果、ピンぼけに関わる問題αも解消される。

また、上記第１の撮像装置に、前記小領域ごとに、前記小領域内の各色信号の前記高域周波数成分に基づいて前記小領域における被写体距離を推定する被写体距離推定手段と、目標被写界深度を設定する目標被写界深度設定手段と、各非合焦色画像のぼけが補正された後の撮影画像に対して、前記被写体距離推定手段による各推定被写体距離と前記目標被写界深度に応じた画像処理を施すことにより、前記目標被写界深度を有する目標合焦画像を生成する目標合焦画像生成手段と、を更に設けるようにしてもよい。

これにより、ユーザ所望の被写界深度を有する画像（目標合焦画像）を生成することが可能となる。

また例えば、上記第１の撮像装置に、前記小領域ごとに、前記小領域内の各色信号の前記高域周波数成分に基づいて前記小領域における被写体距離を推定する被写体距離推定手段と、各非合焦色画像のぼけが補正された後の撮影画像の画像データと各推定被写体距離とを互いに関連付けて記録媒体に記録させる記録制御手段と、を更に設けるようにしてもよい。

これにより、記録媒体の記録データから、事後的に、ユーザ所望の被写界深度を有する画像を生成することが可能となる。

また本発明に係る第２の撮像装置は、軸上色収差を有する光学系を介して被写体を撮影し、複数色の色信号から成る撮影画像を取得する撮像装置において、前記撮影画像の一部画像領域である小領域を、複数個、前記撮影画像から抽出する小領域抽出手段と、前記小領域ごとに、前記小領域内の各色信号に含まれる所定の高域周波数成分に基づいて前記小領域における被写体距離を推定する被写体距離推定手段と、目標被写界深度を設定する目標被写界深度設定手段と、前記被写体距離推定手段による各推定被写体距離に基づき前記目標被写界深度に従って前記撮影画像の被写界深度を変更することにより、前記目標被写界深度を有する目標合焦画像を生成する補正手段と、を備え、前記補正手段は、前記撮影画像中の各画素位置における色信号ごとの、前記軸上色収差に基づく画像劣化関数と、前記目標合焦画像中の各画素位置における、前記目標被写界深度に応じた画像劣化関数とを、前記被写体距離推定手段による各推定被写体距離を用いて求め、前者の画像劣化関数と後者の画像劣化関数とに基づく補正関数を用いて前記撮影画像から前記目標合焦画像を生成することを特徴とする。

これによっても、ユーザ所望の被写界深度を有する画像（目標合焦画像）を生成することが可能となる。

また例えば、上記第１又は第２の撮像装置において、前記目標被写界深度によって、前記目標合焦画像の被写界深度内に位置すべき被写体距離範囲が指定され、前記目標被写界深度設定手段は、前記撮影画像又は前記撮影画像に基づく画像を表示手段に表示させている状態において外部から受けた操作内容に基づき、前記被写体距離範囲を指定する。

また例えば、上記第１又は第２の撮像装置に、前記撮影画像から人物又は人物の顔を検出する検出手段を更に設けるようにしても良い。この場合、前記目標被写界深度設定手段は、前記検出手段の検出結果に基づいて前記目標被写界深度を設定してもよい。

本発明によれば、簡素な構成にて被写界深度の拡大を可能ならしめる撮像装置を提供することが可能となる。また、適切な被写界深度を有する画像の提供に寄与する撮像装置を提供することも可能となる。

本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。

以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。

図１、図２（ａ）〜（ｃ）及び図３を参照して、本発明の実施形態に係る撮像装置１（図５参照）にて利用されるレンズ１０Ｌの特性を説明する（撮像装置１は、図１、図２（ａ）〜（ｃ）及び図３において不図示）。レンズ１０Ｌは、比較的大きな所定の軸上色収差を有している。従って、図１に示す如く、点光源３００からレンズ１０Ｌに向かう光３０１は、レンズ１０Ｌによって青色光３０１Ｂ、緑色光３０１Ｇ及び赤色光３０１Ｒに分離され、青色光３０１Ｂ、緑色光３０１Ｇ及び赤色光３０１Ｒは、互いに異なる結像点３０２Ｂ、３０２Ｇ及び３０２Ｒ上に結像する。青色光３０１Ｂ、緑色光３０１Ｇ及び赤色光３０１Ｒは、夫々、光３０１の青、緑及び赤成分である。以下、特に記述なき限り、軸上色収差とは、レンズ１０Ｌ（及び後述する光学系１０）の軸上色収差を指す。

図２（ａ）等において、符号１１は、撮像装置１にて利用される撮像素子を表している。撮像素子１１は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの固体撮像素子である。撮像素子１１は、いわゆる単板方式のイメージセンサであり、撮像素子１１としての１枚のイメージセンサにおける各受光画素の前面には、光の赤成分のみを透過させる赤フィルタ、光の緑成分のみを透過させる緑フィルタ、及び、光の青成分のみを透過させる青フィルタの何れかが配置されている。赤フィルタ、緑フィルタ及び青フィルタの配列は、例えば、ベイヤ配列である。

レンズ１０Ｌの中心から結像点３０２Ｂ、３０２Ｇ及び３０２Ｒまでの距離を、図３に示す如く、それぞれＸＢ、ＸＧ及びＸＲにて表す。そうすると、レンズ１０Ｌが有する軸上色収差により、不等式「ＸＢ＜ＸＧ＜ＸＲ」が成立する。また、レンズ１０Ｌの中心から撮像素子１１までの距離をＸ_ISにて表す。図３では、「ＸＢ＜ＸＧ＜ＸＲ＜Ｘ_IS」が成立しているが、光源３００とレンズ１０Ｌの中心までの距離３１０（図１参照）が変化することによって、距離ＸＢ、ＸＧ及びＸＲと距離Ｘ_ISとの大小関係は変化する。

図２（ａ）〜（ｃ）は、被写体距離とも言うべき距離３１０が変化することによって結像点３０２Ｂ、３０２Ｇ及び３０２Ｒの位置が変化する様子を示した図である。図２（ａ）は、距離３１０が比較的小さな距離であって「ＸＢ＝Ｘ_IS」が成立する時の、結像点３０２Ｂ、３０２Ｇ及び３０２Ｒと撮像素子１１の位置関係を示している。図２（ｂ）は、距離３１０が図２（ａ）の状態から増大することによって「ＸＧ＝Ｘ_IS」が成立する時の、結像点３０２Ｂ、３０２Ｇ及び３０２Ｒと撮像素子１１の位置関係を示している。図２（ｃ）は、距離３１０が図２（ｂ）の状態から更に増大することによって「ＸＲ＝Ｘ_IS」が成立する時の、結像点３０２Ｂ、３０２Ｇ及び３０２Ｒと撮像素子１１の位置関係を示している。

距離Ｘ_ISが距離ＸＢ、ＸＧ、ＸＢと一致する時におけるレンズ１０Ｌの位置は、青色光３０１Ｂ、緑色光３０１Ｇ、赤色光３０１Ｒに対するレンズ１０Ｌの合焦位置である。従って、「ＸＢ＝Ｘ_IS」、「ＸＧ＝Ｘ_IS」、「ＸＲ＝Ｘ_IS」が成立する場合においては、夫々、青色光３０１Ｂ、緑色光３０１Ｇ、赤色光３０１Ｒに対して完全にピントが合った状態の画像が撮像素子１１から得られる。但し、青色光３０１Ｂに対して完全にピントが合った状態の画像においては、緑色光３０１Ｇ及び赤色光３０１Ｒの像がぼける。緑色光３０１Ｇ及び赤色光３０１Ｒに対して完全にピントが合った状態の画像についても同様である。また、「ＸＢ＝Ｘ_IS」、「ＸＧ＝Ｘ_IS」及び「ＸＲ＝Ｘ_IS」の何れもが成立しない場合に撮像素子１１から得られた画像上においては、青色光３０１Ｂ、緑色光３０１Ｇ及び赤色光３０１Ｒの像が全てぼける。

撮像素子１１の撮像面上に形成される青色光３０１Ｂ、緑色光３０１Ｇ及び赤色光３０１Ｒの画像の半径を、夫々、ＹＢ、ＹＧ及びＹＲにて表す。軸上色収差の特性を含むレンズ１０Ｌの特性は撮像装置１の設計段階で予め分かっているともに撮像装置１は距離Ｘ_ISをも当然に認識可能である。よって、撮像装置１は、距離３１０が分かれば、レンズ１０Ｌの特性と距離Ｘ_ISを用いて半径ＹＢ、ＹＧ及びＹＲを推定可能である。また、距離３１０が分かれば、青色光３０１Ｂ、緑色光３０１Ｇ及び赤色光３０１Ｒの画像の点広がり関数（Point Spread Function）が決まるので、点広がり関数の逆関数を用いて、それらの画像のぼけを除去することも可能である。

尚、距離Ｘ_ISを変化させることも可能ではあるが、以下の説明では、説明の簡略化上、特に記述なき限り距離Ｘ_ISは一定距離に固定されているものとする。

或る被写体と撮像装置１との間における実空間上の距離（厳密には、或る被写体とレンズ１０Ｌの中心との間における実空間上の距離）を被写体距離と呼ぶ。点光源３００が注目した被写体であると考えれば、距離３１０は、注目した被写体にとっての被写体距離である。

図４に、被写体距離と撮像素子１１から得られた原画像のＢ、Ｇ及びＲ信号のぼけ半径との関係を示す。ここにおける原画像とは、撮像素子１１から得られたＲＡＷデータによって表される画像を指す。Ｂ、Ｇ及びＲ信号とは、夫々、青色光３０１Ｂに対応する画像上の青色成分を表す信号、緑色光３０１Ｇに対応する画像上の緑色成分を表す信号及び赤色光３０１Ｒに対応する画像上の赤色成分を表す信号を指す。

原画像をＢ、Ｇ及びＲ信号にて表現することができる。この場合、原画像を、Ｂ信号のみから形成される青画像とＧ信号のみから形成される緑画像とＲ信号のみから形成される赤画像とに分離することができる。原画像のＢ、Ｇ及びＲ信号のぼけ半径とは、夫々、青画像、緑画像及び赤画像中の、軸上色収差に由来するぼけの半径を指す。即ち、原画像のＢ、Ｇ及びＲ信号のぼけ半径は、夫々、点光源３００を被写体として捉えた時の半径ＹＢ、ＹＧ及びＹＲに相当する。

図４において、曲線６０１Ｂ、６０１Ｇ及び６０１Ｒは、夫々、原画像のＢ、Ｇ及びＲ信号におけるぼけ半径の被写体距離依存性を表している。図４（及び後述の図１１等）の、被写体距離とぼけ半径との関係を表すグラフにおいて、横軸及び縦軸は夫々被写体距離及びぼけ半径を表し、横軸上を左から右に向かうにつれて対応する被写体距離は増大すると共に縦軸上を下から上に向かうにつれて対応するぼけ半径は増大する。

被写体距離ＤＤ_B、ＤＤ_G及びＤＤ_Rは、夫々、図２（ａ）に対応する「ＸＢ＝Ｘ_IS」、図２（ｂ）に対応する「ＸＧ＝Ｘ_IS」及び図２（ｃ）に対応する「ＸＲ＝Ｘ_IS」が成立する場合における被写体距離である。従って、「ＤＤ_B＜ＤＤ_G＜ＤＤ_R」が成立する。

曲線６０１Ｂに示す如く、原画像のＢ信号のぼけ半径は、被写体距離が距離ＤＤ_Bである時に最小となり、被写体距離が距離ＤＤ_Bを起点として減少又は増大するにつれて増大する。同様に、曲線６０１Ｇに示す如く、原画像のＧ信号のぼけ半径は、被写体距離が距離ＤＤ_Gである時に最小となり、被写体距離が距離ＤＤ_Gを起点として減少又は増大するにつれて増大する。同様に、曲線６０１Ｒに示す如く、原画像のＲ信号のぼけ半径は、被写体距離が距離ＤＤ_Rである時に最小となり、被写体距離が距離ＤＤ_Rを起点として減少又は増大するにつれて増大する。

曲線６０１Ｂ、６０１Ｇ及び６０１Ｒの形状は、軸上色収差の特性を含むレンズ１０Ｌの特性から定まり、撮像装置１は、曲線６０１Ｂ、６０１Ｇ及び６０１Ｒの形状を予め認識している。即ち、撮像装置１にとって曲線６０１Ｂ、６０１Ｇ及び６０１Ｒは既知であり、撮像装置１は、原画像のＢ、Ｇ及びＲ信号におけるぼけ半径と被写体距離との関係を予め認識している。以下、曲線６０１Ｂ、６０１Ｇ及び６０１Ｒを、「原画像の合焦曲線」と呼ぶ。基準半径ｒ_REFは、許容錯乱円の半径であり、視覚的な合焦／非合焦の境界を表す。ぼけ半径が基準半径ｒ_REF以下である時、そのぼけは視覚的に全く或いは殆ど認識されない。Ｂ、Ｇ及びＲ信号のぼけ半径が基準半径ｒ_REF以下になる被写体距離の範囲は被写界深度と呼ばれる。

図５に、本実施形態に係る撮像装置１の概略全体ブロック図を示す。撮像装置１は、静止画像を撮影及び記録可能なデジタルスチルカメラ、又は、静止画像及び動画像を撮影及び記録可能なデジタルビデオカメラである。尚、撮影と撮像は同義である。

撮像装置１は、光学系１０と、撮像素子１１と、ＡＦＥ（Analog Front End）１２と、主制御部１３と、内部メモリ１４と、表示部１５と、記録媒体１６と、操作部１７と、を備えている。操作部１７には、シャッタボタン１７ａが備えられている。尚、本実施形態では、表示部１５が撮像装置１に設けられていることを想定しているが、表示部１５は、撮像装置１の外部に設けられた表示装置であってもよい。

図６に、光学系１０の内部構成図を示す。光学系１０は、光学系１０の焦点距離を調整して光学ズームを行うためのズームレンズ３０及び焦点位置を調整するためのフォーカスレンズ３１を含むレンズ群と、撮像素子１１への入射光量を調節するための絞り３２と、を備え、所望の画角を有し且つ所望の明るさを有する画像を撮像素子１１の撮像面に結像させる。主制御部１３から与えられる駆動信号に従って、ズームレンズ３０の位置、フォーカスレンズ３１の位置及び絞り３２の開口量が調節され、これによって光学系１０の焦点距離、焦点位置及び絞り値が調節される。光学系１０を単体のレンズとして捉えたものが上述のレンズ１０Ｌである。従って、光学系１０は、レンズ１０Ｌが有する軸上色収差と同じ軸上色収差を有する。

撮像素子１１は、光学系１０を介して入射した被写体を表す光学像（被写体像）を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。より具体的には、撮像素子１１は、マトリクス状に二次元配列された複数の受光画素を備え、各受光画素は露光時間（即ち露光期間の長さ）に応じた電荷量の信号電荷を蓄える。蓄えた信号電荷の電荷量に比例した大きさを有する各受光画素からのアナログ信号は、撮像装置１内で生成される駆動パルスに従って順次ＡＦＥ１２に出力される。以下の説明において、特記なき限り、露光とは、撮像素子１１における露光を指す。

ＡＦＥ１２は、撮像素子１１から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換してから出力する。また、ＡＦＥ１２の信号増幅における増幅度は、ＡＦＥ１２の出力信号レベルが最適化されるように、光学系１０の絞り値に対する調整と連動して調整される。尚、ＡＦＥ１２の出力信号をＲＡＷデータとも呼ぶ。ＲＡＷデータを、フレームメモリとしても機能する内部メモリ１４に一時記憶させることができる。

上述したように、撮像素子１１は単板方式のイメージセンサである。そして、撮像素子１１におけるカラーフィルタ配列がベイヤ配列であるとすると、ＲＡＷデータによって表される二次元画像には、Ｒ信号がベイヤ配列に従ってモザイク状に配置される（Ｇ信号及びＢ信号についても同様）。

主制御部１３は、ＲＡＷデータに対して周知のデモザイキング処理を実行することにより、ＲＧＢ形式の画像データ、即ち、原画像のＲ、Ｇ及びＢ信号を生成する。デモザイキング処理後の原画像を形成する１つ１つの画素にはＲ、Ｇ及びＢ信号の全てが割り当てられる。或る画素についてのＲ、Ｇ及びＢ信号は、夫々、その画素の赤、緑及び青の強度を表す色信号である。以下、Ｒ、Ｇ及びＢ信号を総称してＲＧＢ信号と言うことがある。

また、主制御部１３は、表示部１５の表示内容を制御する表示制御手段としての機能をも備え、表示に必要な制御を表示部１５に対して行う。更に、主制御部１３は、画像処理によって撮影画像の被写界深度を撮影後に調整する機能を備える。この機能の詳細についは後述される。

内部メモリ１４は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等にて形成され、撮像装置１内で生成された各種データを一時的に記憶する。表示部１５は、液晶ディスプレイパネル等から成る表示装置であり、主制御部１３の制御の下、撮影された画像や記録媒体１６に記録されている画像などを表示する。記録媒体１６は、ＳＤ（Secure Digital）メモリカード等の不揮発性メモリであり、主制御部１３による制御の下、撮影画像などを記憶する。

操作部１７は、外部からの操作を受け付ける。操作部１７に対する操作内容は、主制御部１３に伝達される。シャッタボタン１７ａは、静止画像の撮影及び記録を指示するためのボタンである。シャッタボタン１７ａを押下することによって静止画像の撮影及び記録が指示される。また、シャッタボタン１７ａは、２段階の押下操作が可能となっており、撮影者がシャッタボタン１７ａを軽く押し込むと、シャッタボタン１７ａは半押しの状態となり、その状態から更にシャッタボタン１７ａを押し込むとシャッタボタン１７ａは全押しの状態となる。

以下、撮像装置１にて実行される動作の例及び撮像装置１の詳細構成の例を、第１〜第６実施例として説明する。矛盾なき限り、或る実施例で説明した事項を、他の実施例に適用することができる。

また、本明細書では、記述の簡略化上、記号を用いることによって、その記号に対応する名称を略記又は省略することがある。例えば、本明細書において、合焦色画像Ｉｉｆ（図９及び図１０参照）は、単に「画像Ｉｉｆ」又は「Ｉｉｆ」と表現されうる。

［第１実施例］
まず、第１実施例について説明する。図７は、第１実施例に係る、静止画像撮影時の撮像装置１の動作手順を表すフローチャートである。この動作では、ステップＳ１０〜Ｓ１９の処理が順次実行される。これらの処理の内容を説明する。

まず、ステップＳ１０にて、主制御部１３は、シャッタボタン１７ａが半押しの状態になっているかを確認し、それが半押しの状態になっていることを確認するとステップＳ１１にてプリ露光を実行する。シャッタボタン１７ａの押下に伴って撮影されるべき１枚の静止画像を、撮影対象画像と呼ぶ。プリ露光とは、撮影対象画像の露光に先立って行われる露光を指す。ステップＳ１２において、主制御部１３は、プリ露光にて得られるＡＦＥ１２の出力信号レベルから適正露光時間Ｔ_OPを決定する。

一般には、プリ露光にて得られるＡＦＥ１２の出力信号レベルから絞り値と適正露光時間が決定されるが、第１実施例では、その出力信号レベルに関わらず、撮影対象画像に対する絞り値を開放値に設定する。これにより、受光量が最大化され、撮影対象画像のＳ／Ｎ比（信号対雑音比）が向上する。また、絞り値が固定されたとしても、被写界深度の調整は撮影後の画像処理によって可能であるため問題はない（調整の詳細は後述）。

但し、一般的方法と同様、プリ露光にて得られるＡＦＥ１２の出力信号レベルから絞り値と適正露光時間Ｔ_OPを決定するようにしてもよい。この場合、開放値と異なる絞り値が設定されうる。

また、被写界深度の調整が撮影後に可能であることから、ここでは、フォーカスレンズ３１の駆動によるオートフォーカス制御を実行しない。これにより、シャッタボタンの半押し後にオートフォーカス制御を行う従来の撮像装置（図３３参照）と比べて、より短時間で撮影対象画像の撮影を行うことができ、所謂シャッタチャンスを逃す可能性が低減される。

適正露光時間Ｔ_OPの決定後、ステップＳ１３にて、主制御部１３は、シャッタボタン１７ａが全押しの状態になっているかを確認し、それが全押しの状態になっていることを確認すると、ステップＳ１４にて本露光を行う。本露光とは、上記の如く設定された適正露光時間Ｔ_OPと絞り値にて実施される露光を指す。本露光によって得られた光学像は光電変換によって画像データ、即ち撮影対象画像のＲＡＷデータに変換され、このＲＡＷデータは、フレームメモリとして機能する内部メモリ１４に記録される。

その後、ステップＳ１５において、主制御部１３は、内部メモリ１４に記録された撮影対象画像のＲＡＷデータに対して被写界深度拡大処理を施す。撮影対象画像のＲＡＷデータは上述の原画像のＲＡＷデータに相当し、軸上色収差に由来して、原画像の被写界深度は非常に浅い。被写界深度拡大処理では、原画像の被写界深度を拡大することによって、被写界深度が比較的深い被写界深度拡大画像（以下、深度拡大画像という）を生成する。続くステップＳ１６において、主制御部１３は、原画像の各画素位置における被写体の被写体距離を推定し、原画像の各画素位置における推定被写体距離を二次元的に配列した被写体距離マップを生成する。深度拡大画像と被写体距離マップの生成手法については後述する。尚、ステップＳ１５における被写界深度拡大処理とステップＳ１６における被写体距離推定処理を並行して実行することも可能である。

ステップＳ１７において、主制御部１３は、深度拡大画像の画質を調整するための画質調整処理を実行する。画質調整処置は、例えば、ガンマ補正処理、ニー補正処理、ホワイトバランス調整処理、ブラックバランス調整処理、ノイズ除去処理若しくはエッジ強調処理又はそれらの組み合わせである。画質調整処理後の深度拡大画像は、表示部１５にて表示される。

ステップＳ１８において、主制御部１３は、画質調整処理後の深度拡大画像の画像データを、ＪＰＥＧ（Joint Photographic Experts Group）等の所定の圧縮方式を用いて圧縮する。この際、被写体距離マップを表すデータも圧縮するようにしてもよい。

その後、ステップＳ１９において、主制御部１３は、画質調整処理及び圧縮処理後の深度拡大画像の画像データと、被写体距離マップを表すデータとを、互いに関連付けて記録媒体１６に記録する。例えば、記録媒体１６に１つの画像ファイルを作成し、その画像ファイルの本体領域及びヘッダ領域に、夫々、前者の画像データと後者のデータを保存する。ヘッダ領域には、対応する画像に対する付加情報（撮影時の焦点距離、撮影日時など）が格納される。Ｅｘｉｆ（Exchangeable image file format）のファイルフォーマットに準拠する場合、ヘッダ領域はＥｘｉｆタグ又はＥｘｉｆ領域とも呼ばれる。画像ファイルのファイルフォーマットを任意の規格に準拠させることが可能である。また、画像ファイルの本体領域に、原画像の画像データを記録しておくことも可能である。この場合においても、原画像の画像データと被写体距離マップを表すデータとは関連付けられて記録媒体１６に記録されることとなる。

被写体距離マップの利用方法は、第４実施例などにおいて後述される。被写体距離マップの利用が予定されていない場合、被写体距離マップを生成するための処理を省略することも可能である。

尚、本露光前にオートフォーカス制御を実行しないと上述したが、従来の撮像装置（図３３参照）と同様のオートフォーカス制御を実行するようにしても構わない。この場合、シャッタボタン１７ａの半押し状態が確認された後、ＴＴＬ（Through The Lenz）のコントラスト検出方式や位相差検出方式によるオートフォーカス制御を実行することによって、主要被写体と思われる被写体にピントが合うようにフォーカスレンズ３１の位置を調整し、その後に本露光を行えばよい。

上述の被写界深度拡大処理では、撮影対象画像の撮影時におけるフォーカスレンズ位置にて定まる特定の被写体距離を基準として、被写界深度の拡大がなされる。故に、オートフォーカス制御が実行されず、結果、複数枚の撮影対象画像の撮影時におけるフォーカスレンズ位置が常に同じであったならば、それらの撮影対象画像から得られる深度拡大画像の被写界深度は常に一定となる。一方、撮影対象画像の撮影の度にオートフォーカス制御を実行するようにすれば、撮影対象画像の撮影時におけるフォーカスレンズ位置は撮影対象画像ごとに変化するため、撮影対象画像から得られる深度拡大画像の被写界深度の基準は撮影対象画像ごとに変化する。結果、撮像装置１が実現可能な被写界深度の深さは、オートフォーカス制御を実行しない場合と比べて更に拡大する。

被写界深度拡大処理等の説明の前に、それらにて参照される事項を説明する。図８に示す如く、任意の二次元画像６２０が配置される、空間領域（spatial domain）の二次元座標系ＸＹを定義する。画像６２０は、例えば、撮影対象画像、原画像、深度拡大画像又は後述の目標合焦画像である。Ｘ軸及びＹ軸は、二次元画像６２０の水平方向及び垂直方向に沿った軸である。二次元画像６２０は、水平方向及び垂直方向の夫々に複数の画素がマトリクス状に配列されて形成されており、二次元画像６２０上の何れかの画素である画素６２１の位置を（ｘ，ｙ）にて表す。本明細書では、画素の位置を、単に画素位置とも言う。ｘ及びｙは、夫々、画素６２１のＸ軸及びＹ軸方向の座標値である。二次元座標系ＸＹにおいて、或る画素の位置が右側に１画素分ずれると該画素のＸ軸方向における座標値は１だけ増大し、或る画素の位置が上側に１画素分ずれると該画素のＹ軸方向における座標値は１だけ増大する。従って、画素６２１の位置が（ｘ，ｙ）である場合、画素６２１の右側、左側、上側及び下側に隣接する画素の位置は、夫々、（ｘ＋１，ｙ）、（ｘ−１，ｙ）、（ｘ，ｙ＋１）及び（ｘ，ｙ―１）にて表される。

画像６２０を関数ｆ（ｘ，ｙ）にて表現することができる。関数ｆ（ｘ，ｙ）は位置（ｘ，ｙ）の関数であり、関数ｆ（ｘ，ｙ）の値は、画像６２０の位置（ｘ，ｙ）における画素信号（Ｒ、Ｇ又はＢ信号）の値である。空間領域における関数ｆ（ｘ，ｙ）をフーリエ変換すると、下記式（１）にて定義される、周波数領域における関数Ｆ（ｕ，ｖ）が得られる。関数Ｆ（ｕ，ｖ）は、画像６２０をフーリエ変換することによって得た、周波数領域における画像を表し、その周波数領域における画像を逆フーリエ変換すれば画像６２０が得られる。即ち、関数Ｆ（ｕ，ｖ）に対して、下記式（２）にて定義される逆フーリエ変換を施すことで、関数ｆ（ｘ，ｙ）が得られる。周波数領域の関数（又は画像）におけるｕ及びｖは、夫々、Ｘ軸方向及びＹ軸方向の空間周波数（spatial frequency）を表す（後述の式（５）等においても同様）。また、式（１）及び（２）におけるｊは虚数単位である。尚、ここでは、連続関数のフーリエ変換及び逆フーリエ変換を示したが、撮像装置１が実際に用いるフーリエ変換及び逆フーリエ変換は離散的フーリエ変換及び離散的逆フーリエ変換である。

――被写界深度拡大処理――
図７のステップＳ１５にて実行される被写界深度拡大処理を説明する。図９は、第１実施例に係る被写界深度拡大処理の詳細フローチャートである。図９に示すフローチャートでは、被写界深度拡大処理の中で被写体距離の推定が成される。従って、図９に示すフローチャートは、被写界深度拡大処理及び被写体距離推定処理のフローチャートでもあり、図７のステップＳ１５及びＳ１６の処理は、図９のステップＳ２０〜Ｓ３４の処理から形成される。ステップＳ２０の処理が実行された後、ステップＳ２１〜Ｓ３４から成るループ処理が必要回数分だけ繰り返し実行される。１回のループ処理では、ステップＳ２１〜Ｓ３４の処理がこの順番で順次実行される。

まず、ステップＳ２０において、原画像の有効領域における左上隅の画素位置に注目し、その画素位置を注目画素位置に設定する。その後、ステップＳ２１において、注目画素位置を中心とした小領域を設定する。小領域は、上記有効領域の一部領域である。有効領域は、例えば１２８０×７２０画素から形成され、小領域は、例えば１５×１５画素から形成される。設定された小領域内の画像を小領域画像と呼ぶ。小領域画像は、原画像の一部に相当する。次に、ステップＳ２２において、小領域画像のＲＡＷデータを内部メモリ１４から読み出し、小領域画像にデモザイキング処理を施すことによって小領域画像の画像信号をＲＧＢ信号に色分離する。即ち、小領域画像のＲＧＢ信号を生成する。

デモザイキング処理後、小領域画像を、Ｒ信号のみから形成される小領域色画像ＩｒとＧ信号のみから形成される小領域色画像ＩｇとＢ信号のみから形成される小領域色画像Ｉｂとに分離して考えることができる。ステップＳ２２では、ＲＡＷデータから、これらの小領域色画像（Ｉｒ、Ｉｇ及びＩｂ）が抽出及び生成される。尚、本例では、被写界深度拡大処理の段階においてデモザイキング処理を行っているが、デモザイキング処理によって原画像のＲＧＢ信号を生成してから被写界深度拡大処理を開始するようにしてもよい。この場合、ステップＳ２２の処理は省略され、ステップＳ２１にて小領域を設定すれば自動的に小領域色画像Ｉｒ、Ｉｇ及びＩｂが抽出される。

ステップＳ２３では、小領域色画像Ｉｒ、Ｉｇ及びＩｂの夫々に対してエッジ抽出処理を施すことにより、エッジ画像Ｅｒ、Ｅｇ及びＥｂを生成する。エッジ抽出処理は、空間フィルタを用いたフィルタリング（即ち、空間フィルタリング）によって実現される。エッジ抽出処理では、空間フィルタとしてエッジ抽出フィルタが用いられる。

空間フィルタは、空間フィルタに対する入力信号をフィルタリングすることにより得た信号を出力する。空間フィルタによるフィルタリングとは、注目画素位置（ｘ，ｙ）における入力信号と注目画素位置（ｘ，ｙ）の周辺位置における入力信号とを用いて空間フィルタの出力信号を得る操作を指す。注目画素位置（ｘ，ｙ）における入力信号の値をＩ_IN（ｘ，ｙ）にて表し、注目画素位置（ｘ，ｙ）に対する空間フィルタの出力信号をＩ_O（ｘ，ｙ）にて表した場合、両者は下記式（３）の関係を満たす。ｈ（ｉ，ｊ）は、空間フィルタの位置（ｉ，ｊ）におけるフィルタ係数を表す。式（３）に従う空間フィルタのフィルタサイズは（２ｗ＋１）×（２ｗ＋１）である。ｗは自然数である。

小領域色画像Ｉｒからエッジ画像Ｅｒを生成する際、空間フィルタの入力信号は小領域色画像Ｉｒの画素信号（即ち、Ｒ信号）であり、空間フィルタの出力信号はエッジ画像Ｅｒの画素信号である。小領域色画像Ｉｇ及びＩｂからエッジ画像Ｅｇ及びＥｂを生成する際も同様である。ステップＳ２３のエッジ抽出処理では、例えば、３×３のフィルタサイズを有するソーベルフィルタが用いられる。

或る注目画像に対するエッジ抽出処理によって、その注目画像に含まれる所定の高域周波数成分（所定の周波数以上の空間周波数成分）が抽出され、注目画像のエッジ画像における画素信号値の絶対値は、その高域周波数成分の大きさ（換言すればエッジ強度）が増大するにつれて増大する。よって、ステップＳ２３におけるエッジ抽出処理は、小領域画像のＲ、Ｇ及びＢ信号に含まれる所定の高域周波数成分を抽出する処理であると言え、その抽出の結果がエッジ画像Ｅｒ、Ｅｇ及びＥｂに反映される。

ステップＳ２４では、エッジ画像Ｅｒの各画素信号の絶対値の総和Ｓｒ、エッジ画像Ｅｇの各画素信号の絶対値の総和Ｓｇ、及び、エッジ画像Ｅｂの各画素信号の絶対値の総和Ｓｂを算出する。総和Ｓｒ、Ｓｇ及びＳｂは、夫々、小領域色画像Ｉｒ、Ｉｇ及びＩｂの鮮鋭度を表す鮮鋭度評価値として機能する。小領域画像内に存在している被写体の被写体距離が距離ＤＤ_Bである場合（図４参照）、Ｂ信号のぼけ半径はＧ及びＲ信号のそれらよりも小さくなり、その被写体距離が距離ＤＤ_Gである場合、Ｇ信号のぼけ半径はＢ及びＲ信号のそれらよりも小さくなる（被写体距離が距離ＤＤ_Rである場合も同様）。色信号のぼけ半径が減少すればするほど、その色信号についての小領域色画像の鮮鋭度が高くなって対応する鮮鋭度評価値は増大する。

これに鑑み、ステップＳ２５では、鮮鋭度評価値Ｓｒ、Ｓｇ及びＳｂの内、最大の鮮鋭度評価値に対応する色信号を合焦色として特定すると共に合焦色についての小領域色画像を合焦色画像Ｉｉｆに設定し、他の２つの鮮鋭度評価値に対応する色信号を非合焦色として特定すると共に２つの非合焦色についての２つの小領域色画像を非合焦色画像Ｉｏｆ１及びＩｏｆ１に設定する。合焦色は、赤、緑及び青の内、軸上色収差に由来して生じる画像のぼけが最も少ない色である。例えば、Ｓｒ＞Ｓｇ及びＳｒ＞Ｓｂが成立する場合は、赤が合焦色、緑及び青が非合焦色として特定されると共に、小領域色画像Ｉｒが合焦色画像Ｉｉｆ、小領域色画像Ｉｇ及びＩｂが非合焦色画像Ｉｏｆ１及びＩｏｆ２に設定される。

合焦色及び非合焦色を決定した後、ステップＳ２６〜Ｓ３１の処理によって、合焦色画像と非合焦色画像との対比から、軸上色収差に由来する非合焦色画像の画像劣化関数を求め、その画像劣化関数の逆関数である画像復元関数を用いて非合焦色画像をフィルタリングすることにより非合焦色画像のぼけを除去する。軸上色収差に由来する非合焦色画像のぼけは、軸上色収差に由来する非合焦色画像の劣化とみなすことができる。この劣化過程を表す関数は、点広がり関数（Point Spread Function;以下、ＰＳＦという）と呼ばれ、ＰＳＦが画像劣化関数として求められる。尚、この劣化過程を表す空間フィルタは、空間領域上で表現されたＰＳＦに相当する。

合焦色画像としての合焦画像と非合焦色画像としての非合焦画像から非合焦画像のＰＳＦを推定する方法を説明する。画像劣化モデルより、合焦画像と非合焦画像の関係は、下記式（４）にて表されることが知られている。式（４）におけるｆ、ｇ、ｈ及びｎは、夫々、空間領域における、合焦画像、非合焦画像、非合焦画像のＰＳＦ及び付加ノイズである。式（４）は、周波数領域上では式（５）のように表される。Ｆ（ｕ，ｖ）、Ｇ（ｕ，ｖ）、Ｈ（ｕ，ｖ）及びＮ（ｕ，ｖ）は、夫々、式（４）におけるｆ、ｇ、ｈ及びｎのフーリエ変換である。

式（５）を満たすＨ（ｕ，ｖ）は、下記式（６）にて定義される評価関数ｅを最小にするＨ'（ｕ，ｖ）を求めることによって推定される。即ち、評価関数ｅを最小にするＨ’（ｕ，ｖ）を、式（５）を満たすＨ（ｕ，ｖ）の推定値として求めることができる。そうすると、最小二乗推定により、Ｈ（ｕ，ｖ）の推定値Ｈ’（ｕ，ｖ）を、式（７）にて算出することができる。ここで、Ｆ^*（ｕ，ｖ）は、Ｆ（ｕ，ｖ）の共役転置行列を表す。

図１０に、図９に示されるステップＳ２６〜Ｓ３１の処理概念を表す。図１０を参照しつつ、ステップＳ２６〜Ｓ３１の各処理を説明する。

まず、ステップＳ２６において、合焦色画像Ｉｉｆに対してエッジ抽出処理を施すことによりエッジ画像Ｅｉｆを生成し、非合焦色画像Ｉｏｆ１及びＩｏｆ２に対してエッジ抽出処理を施すことによりエッジ画像Ｅｏｆ１及びＥｏｆ２を生成する。ステップＳ２６のエッジ抽出処理に用いるエッジ抽出用の空間フィルタは、ステップＳ２３におけるそれと同じであっても良いし異なっていても良い。それらの空間フィルタが同じである場合、ステップＳ２３の処理の結果をそのまま流用可能である。例えば、それらの空間フィルタが同じである場合であって且つ合焦色が赤である場合、ステップＳ２３にて生成されたエッジ画像Ｅｒ、Ｅｇ及びＥｂが、夫々、エッジ画像Ｅｉｆ、Ｅｏｆ１及びＥｏｆ２となる。

続くステップＳ２７では、エッジ画像Ｅｉｆ、Ｅｏｆ１及びＥｏｆ２の夫々をフーリエ変換することによりエッジフーリエ画像を生成する。エッジ画像Ｅｉｆ、Ｅｏｆ１及びＥｏｆ２のフーリエ変換を、夫々、Ｅｉｆ’、Ｅｏｆ１’及びＥｏｆ２’にて表す。エッジフーリエ画像Ｅｉｆ’、Ｅｏｆ１’及びＥｏｆ２’は周波数領域上の画像であるため、Ｅｉｆ’、Ｅｏｆ１’及びＥｏｆ２’を、ｕ及びｖの関数Ｅｉｆ’（ｕ，ｖ）、Ｅｏｆ１’ （ｕ，ｖ）及びＥｏｆ２’ （ｕ，ｖ）にて表現することができる。

ステップＳ２８では、Ｅｉｆ’（ｕ，ｖ）及びＥｏｆ１’ （ｕ，ｖ）を用いた線形演算より、非合焦色画像Ｉｏｆ１のＰＳＦを求め、Ｅｉｆ’（ｕ，ｖ）及びＥｏｆ２’ （ｕ，ｖ）を用いた線形演算より、非合焦色画像Ｉｏｆ２のＰＳＦを求める。ステップＳ２８において、非合焦色画像Ｉｏｆ１及びＩｏｆ２に対して求められるＰＳＦを、夫々、ＰＳＦｏｆ１’及びＰＳＦｏｆ２’にて表す。ＰＳＦｏｆ１’及びＰＳＦｏｆ２’は、軸上色収差に由来する、周波数領域上のＰＳＦである。

具体的には、上記式（７）のＦ（ｕ，ｖ）及びＧ（ｕ，ｖ）に対して夫々Ｅｉｆ’（ｕ，ｖ）及びＥｏｆ１’ （ｕ，ｖ）を代入することによって得られるＨ’（ｕ，ｖ）が、ＰＳＦｏｆ１’として求められ、上記式（７）のＦ（ｕ，ｖ）及びＧ（ｕ，ｖ）に対して夫々Ｅｉｆ’（ｕ，ｖ）及びＥｏｆ２’ （ｕ，ｖ）を代入することによって得られるＨ’（ｕ，ｖ）が、ＰＳＦｏｆ２’として求められる。

続くステップＳ２９において、関数としてのＰＳＦｏｆ１’及びＰＳＦｏｆ２’の逆関数Ｃｏｆ１’及びＣｏｆ２’を求める。Ｃｏｆ１’は、非合焦色画像Ｉｏｆ１の、周波数領域における画像復元関数を表し、Ｃｏｆ２’は、非合焦色画像Ｉｏｆ２の、周波数領域における画像復元関数を表す。更にステップＳ３０において、Ｃｏｆ１’及びＣｏｆ２’を逆フーリエ変換することにより空間領域における画像復元関数Ｃｏｆ１及びＣｏｆ２を求める。Ｃｏｆ１及びＣｏｆ２は、軸上色収差に由来する非合焦色画像Ｉｏｆ１及びＩｏｆ２の劣化（ぼけ）を除去するための画像復元関数である。

ステップＳ３１では、画像復元関数Ｃｏｆ１及びＣｏｆ２を用いて非合焦色画像Ｉｏｆ１及びＩｏｆ２に画像復元処理を施すことで、軸上色収差に由来する非合焦色画像Ｉｏｆ１及びＩｏｆ２の劣化（ぼけ）を除去する。但し、ここで劣化が除去されるのは、注目画素位置における画素信号のみである。

具体的には、空間領域上の画像復元関数Ｃｏｆ１の位置（ｉ，ｊ）における関数値を位置（ｉ，ｊ）におけるフィルタ係数として有する空間フィルタＦｏｆ１を形成し、空間フィルタＦｏｆ１を用いて非合焦色画像Ｉｏｆ１の画素信号をフィルタリングする。ここで、フィルタリングされるのは注目画素位置の画素信号のみである。従って、空間フィルタＦｏｆ１を用いて非合焦色画像Ｉｏｆ１の注目画素位置における画素信号がフィルタリングされる。そして、得られた空間フィルタＦｏｆ１の出力信号を、深度拡大画像の注目画素位置における第１の非合焦色（非合焦色画像Ｉｏｆ１に対応する色）の色信号とする。

同様にして、画像復元関数Ｃｏｆ２に対応する空間フィルタＦｏｆ２が形成され、空間フィルタＦｏｆ２を用いて非合焦色画像Ｉｏｆ２の注目画素位置における画素信号をフィルタリングすることにより、深度拡大画像の注目画素位置における第２の非合焦色（非合焦色画像Ｉｏｆ２に対応する色）の色信号が生成される。深度拡大画像の注目画素位置における合焦色の色信号は、合焦色画像Ｉｉｆの注目画素位置の色信号と同じとされる。

例えば、合焦色が赤であって第１及び第２の非合焦色が夫々緑及び青である場合、小領域色画像Ｉｒ、Ｉｇ及びＩｂがそれぞれ画像Ｉｉｆ、Ｉｏｆ１及びＩｏｆ２となり、空間フィルタＦｏｆ１及びＦｏｆ２の出力信号が、夫々、深度拡大画像の注目画素位置におけるＧ信号及びＢ信号として生成される一方で、小領域色画像Ｉｒの注目画素位置における画素信号（即ち、Ｒ信号）が、深度拡大画像の注目画素位置におけるＲ信号として生成される。

この後、ステップＳ３２において、注目画素位置における被写体の被写体距離を推定する。この推定手法については後述する。尚、本例では、ステップＳ３１の処理の後に被写体距離の推定を行っているが、被写体距離の推定は、非合焦色画像のＰＳＦの算出後であれば、どの段階で行っても良い。

ステップＳ３２に続くステップＳ３３では、原画像の全画素位置に対して画像復元処理（及びＳ３２の被写体距離推定処理）を実行したか否かを確認し、その実行が完了している場合は図９の処理を終える一方で、その実行が完了していない場合はステップＳ３４に移行して注目画素位置を現時点の注目画素位置から変更する。注目画素位置の変更後、ステップＳ２１に戻り、その位置変更後の注目画素位置に対して、上述のステップＳ２１〜Ｓ３２の処理が再度実行される。例えば、注目画素位置が原画像の有効領域における左上隅から右下隅に向かってラスタ走査されるように、注目画素位置を変更してゆき、原画像の有効領域内に存在する全画素位置を、順次、注目画素位置に設定する。そして、原画像の有効領域内の全画素位置に対してステップＳ２１〜Ｓ３２の処理が完了した時点で、図９の被写界深度拡大処理を終了する。

図１１において、破線にて示された曲線６３０は、深度拡大画像のＲ、Ｇ及びＲ信号におけるぼけ半径の被写体距離依存性を表している。深度拡大画像におけるぼけ半径と被写体距離との関係は、Ｒ、Ｇ及びＢ信号間で共通になる。図１１の曲線６０１Ｒ、６０１Ｇ及び６０１Ｂは、図４に示したそれらと同じ、原画像の合焦曲線である。曲線６３０は、曲線６０１Ｒ、６０１Ｇ及び６０１Ｂ上のぼけ半径の内の最小半径を、被写体距離を変化させながら順次繋ぎ合わせて得た曲線に相当する。上述したように、撮像装置１は、軸上色収差の特性から曲線６０１Ｒ、６０１Ｇ及び６０１Ｂの形状を予め認識している。従って、撮像装置１は、曲線６３０の形状をも予め認識している（即ち、撮像装置１とって曲線６３０は既知である）。曲線６３０を、以下、「深度拡大画像の合焦曲線」とも呼ぶ。

このように、軸上色収差を有する光学系１０を用いてＲ、Ｇ及びＢ信号が合焦状態となる被写体距離を広範囲に分散させ、その広範囲の被写体距離が全て被写界深度に含ませるような画像処理を撮影後に実行する。これによって得られる深度拡大画像の被写界深度は、通常の光学系にて得られるそれよりも深く、深度拡大画像では、広い被写体距離範囲で赤、緑及び青成分の全てが合焦している。尚、通常の光学系とは、軸上色収差が無視できる程度に小さくなるように設計された光学系を指す。このような深度拡大画像を生成可能なように撮像装置１を形成しておくことにより、従来の撮像装置（通常の光学系）にて問題視されていた、ピンぼけに関わる問題（上述の問題α）が解消される。

――被写体距離推定処理――
図９のステップＳ３２にて用いられる、被写体距離の推定方法を説明する。まず、被写体距離の推定に利用される「ＰＳＦ半径」について説明する。

点光源３００（図１参照）からの非合焦色の光は、撮像素子１１の撮像面上に円状に分布し、その分布はガウス分布に近似できることが知られている。非合焦色画像のＰＳＦは、この分布の状態を表すものである。ガウス分布を有するガウス関数Ｇａｕｓｓは、一般に、下記式（８）によって定義される。ガウス関数Ｇａｕｓｓは、ｒを変数とする関数であり、ガウス関数Ｇａｕｓｓにおける標準偏差はσである。ガウス関数Ｇａｕｓｓにおけるｒは、ガウス関数Ｇａｕｓｓの基準位置（即ちｒ＝０の位置）からの距離を表す。

図１２は、空間領域上のＰＳＦのイメージ図である。注目画素位置に対するＰＳＦを、ＰＳＦの関数値を画素信号値として有する画像（以下、ＰＳＦ画像という）と捉えることができる。図１２における矩形画像６５０は、空間領域におけるＰＳＦ画像の例を表している。ＰＳＦ画像６５０は、注目画素位置を中心とする画像である。ＰＳＦ画像６５０における信号値は、注目画素位置で最大値をとり、注目画素位置からの距離が増大するに従って減少していく。

図１２では、信号値が大きい領域ほど白く、信号値が小さい領域ほど黒く示している。ＰＳＦ画像６５０を、ＰＳＦ画像６５０の信号値がゼロ以上又はゼロ近傍の正の所定値以上となっている画像領域と、それ以外の画像領域とに分類することができ、前者の画像領域の外形を、ＰＳＦ画像６５０の中心を中心として有する円（図１２において、黒のべた塗り領域とハッチング領域の境界円）で近似することができる。この円の半径を、ＰＳＦ半径と呼ぶ。上述したぼけ半径ＹＲ、ＹＧ又はＹＢ（図３参照）は、夫々、小領域色画像Ｉｒ、Ｉｇ及びＩｂ（図９のステップＳ２２参照）についてＰＳＦ半径に相当する。

図１３は、被写体距離の推定手順の概略を表す概念図である。図９のステップＳ３２では、ステップＳ２８にて求められた周波数領域上のＰＳＦからＰＳＦ半径を求め、求めたＰＳＦ半径と既知情報である原画像の合焦曲線（図４又は図１１の曲線６０１Ｒ、６０１Ｇ及び６０１Ｂ）とを用いて被写体距離を推定する。

周波数領域上のＰＳＦからＰＳＦ半径を求める方法として、公知の方法を用いることができる。例えば、非特許文献「Shiqian Wu，他３名，"Blind Image Blur Identification in Cepstrum Domain"，Proceedings of the 16th International Conference on Computer Communications and Networks, IEEE ICCCN 2007, ２００７年８月，pp.1166−1171」に記載されているように、ケプストラム（cepstrum）変換を用いた方法に従ってＰＳＦ半径を求めることができる。

ケプストラム変換を用いたＰＳＦ半径の算出方法を簡単に説明する。この算出方法を、便宜上、「第１のＰＳＦ半径算出方法」と呼ぶ。

まず、図９のステップＳ２８にて得られたＰＳＦｏｆ１’及びＰＳＦｏｆ２’を、ケプストラム変換によって、ケプストラム領域（cepstrum domain）上の画像であるケプストラム画像Ｃｅｐ１及びＣｅｐ２に変換する（図１３参照）。周波数領域上のＰＳＦ画像Ｇ_PSF（ｕ，ｖ）と、それをケプストラム変換することによって得たケプストラム画像Ｃ_g（ｐ，ｑ）との関係は、下記式（９）によって表される。ケプストラム画像におけるｐ及びｑは、ケプストラム領域上における水平方向及び垂直方向の座標値を表し、式（９）における演算記号Ｆ^-1は逆フーリエ変換を表している。

ＰＳＦｏｆ１’及びＰＳＦｏｆ２’は周波数領域上のＰＳＦ画像を表すものである。従って、ＰＳＦｏｆ１’をＧ_PSF（ｕ，ｖ）と取り扱って式（９）を用いることにより得たＣ_g（ｐ，ｑ）がケプストラム画像Ｃｅｐ１であり、ＰＳＦｏｆ２’をＧ_PSF（ｕ，ｖ）と取り扱って式（９）を用いることにより得たＣ_g（ｐ，ｑ）がケプストラム画像Ｃｅｐ２である。

図１４は、ガウス分布状のぼけを有する画像についてのケプストラム画像６７０（例えば、Ｃｅｐ１又はＣｅｐ２）を示している。ケプストラム画像６７０の画素信号は、ｐ及びｑがゼロであるケプストラム画像上６７０の中心にて極大値をとり、その中心からの距離が増大するに従って対応する信号値は、減少、増大、減少、増大、・・・を交互に繰り返す。従って、図１４のようにケプストラム画像６７０を白と黒を用いた濃淡画像で表現した場合、ケプストラム画像６７０上の中心を中心として有する、半径の異なる複数の黒い環が観測される。ケプストラム画像６７０において、信号値が大きい領域ほど白く、信号値が小さい領域ほど黒く示されている。この複数の黒い環の内、最も半径の小さい環（以下、最小径環という）と、ケプストラム画像６７０上の中心との距離が、ケプストラム画像６７０に対応するＰＳＦ半径として推定される。

より具体的には、以下のようにしてケプストラム画像Ｃｅｐ１から非合焦色画像Ｉｏｆ１（及びＰＳＦｏｆ１’）についてのＰＳＦ半径ＲＤｏｆ１が推定される。ケプストラム画像Ｃｅｐ１の中心を起点として、ケプストラム画像Ｃｅｐ１の中心からの距離が増大する方向に、ケプストラム画像Ｃｅｐ１の画素信号値を走査し、その画素信号値に最初の極小値を与える極小点を検出する。そして、検出した極小点とケプストラム画像Ｃｅｐ１の中心との距離（単位は画素）を、ＰＳＦ半径ＲＤｏｆ１として推定する。同様にして、ケプストラム画像Ｃｅｐ２から非合焦色画像Ｉｏｆ２（及びＰＳＦｏｆ２’）についてのＰＳＦ半径ＲＤｏｆ２が推定される。

また、合焦色画像Ｉｉｆに存在するぼけは無視できる程度に小さいとみなし、合焦色画像ＩｉｆについてのＰＳＦ半径ＲＤｉｆは０．５画素であると推定する。

ＰＳＦ半径は、原画像の合焦曲線（図４又は図１１の６０１Ｒ、６０１Ｇ及び６０１Ｂ）におけるぼけ半径とみなすことができる。故に、各ＰＳＦ半径を求めた後、合焦色が何れの色であるのかを考慮しつつ、それらを原画像の合焦曲線に当てはめることで被写体距離を推定することができる。

例えば、赤が合焦色であって且つ緑及び青が第１及び第２の非合焦色である場合を考える。この場合、小領域色画像Ｉｒ、Ｉｇ及びＩｂが、夫々、画像Ｉｉｆ、Ｉｏｆ１及びＩｏｆ２に設定される（図９のステップＳ２２及びＳ２５、図１０参照）。故に、ＰＳＦ半径ＲＤｏｆ１は小領域色画像ＩｇについてのＰＳＦ半径となり、ＰＳＦ半径ＲＤｏｆ２は小領域色画像ＩｂについてのＰＳＦ半径となる。

また、赤が合焦色である故、推定されるべき被写体距離は、距離ＤＤ_Gと距離ＤＤ_Rとの間の所定距離以上であることが分かる（図１５参照）。理想的には、図１５に示す如く、曲線６０１Ｇに沿った、ＰＳＦ半径（ぼけ半径）ＲＤｏｆ１に対応する被写体距離と、曲線６０１Ｂに沿った、ＰＳＦ半径（ぼけ半径）ＲＤｏｆ２に対応する被写体距離は、一致するため、互いに一致するそれを推定被写体距離として求める。但し、実際には様々な誤差要因の影響により、前者の被写体距離と後者の被写体距離は若干ずれることが多い。故に、ＰＳＦ半径ＲＤｏｆ１及びＲＤｏｆ２になるだけ整合する１つの被写体距離を推定被写体距離として求める。例えば、図１６に示す如く、曲線６０１Ｇに沿った、ＰＳＦ半径（ぼけ半径）ＲＤｏｆ１に対応する被写体距離ＤＤｏｆ１と、曲線６０１Ｂに沿った、ＰＳＦ半径（ぼけ半径）ＲＤｏｆ２に対応する被写体距離ＤＤｏｆ２とを求め、それらの平均距離“（ＤＤｏｆ１＋ＤＤｏｆ２）／２”を推定被写体距離として求める。

１回のステップＳ３２の処理によって、１つの注目画素位置に対する推定被写体距離が求まる。上述したように注目画素位置は順次変更されてゆき（図９のステップＳ３４参照）、ステップＳ３２の処理は注目画素位置が変更されるたびに実行される。従って、図９の被写界深度拡大処理が終了する時点においては、原画像の各画素位置における推定被写体距離が求まっており、それらを二次元的に配列した被写体距離マップが生成されている（図７のステップＳ１６参照）。

尚、第１のＰＳＦ半径算出方法の如くケプストラム変換を用いるのではなく、以下のようにしてＰＳＦ半径を求めるようにしてもよい。ケプストラム変換を用いない、以下に示すＰＳＦ半径の算出方法を、便宜上、「第２のＰＳＦ半径算出方法」と呼ぶ。第２のＰＳＦ半径算出方法によって求められたＰＳＦ半径に基づいて、被写体距離の推定を行うこともできる。

周波数領域上のＰＳＦであるＰＳＦｏｆ１’及びＰＳＦｏｆ２’を逆フーリエ変換することによって空間領域上のＰＳＦを表すＰＳＦ画像ＰＳＦｏｆ１及びＰＳＦｏｆ２を求め、ＰＳＦ画像ＰＳＦｏｆ１及びＰＳＦｏｆ２における画素信号の分布がガウス分布であると近似することにより、それらのガウス分布の標準偏差を求める。一方で、ガウス分布の標準偏差とＰＳＦ半径との対応関係を予め定めておく。そうすると、標準偏差の導出によって、自動的に対応するＰＳＦ半径が求められる。

ＰＳＦ画像ＰＳＦｏｆ１を例にとり、この方法をより具体的に説明する。ＰＳＦｏｆ１は、空間領域上のＰＳＦ画像であるため、図１２のＰＳＦ画像６５０のような画素信号を有する。従って、ＰＳＦｏｆ１を、上記式（８）に対応する次式（１０）の関数ＰＳＦ_Vにて近似できる。式（１０）における関数ＰＳＦ_Vは、ｒを変数とするガウス関数であり、関数ＰＳＦ_Vにおける標準偏差はσである。関数ＰＳＦ_Vにおけるｒは、ＰＳＦ画像ＰＳＦｏｆ１の中心からの距離を表し、ＰＳＦ画像ＰＳＦｏｆ１の中心は、図９のステップＳ２０又はＳ３４にて設定された、ＰＳＦ画像ＰＳＦｏｆ１にとっての注目画素位置である。

ＰＳＦ画像ＰＳＦｏｆ１上の各画素位置を距離ｒに変換した上で、ＰＳＦ画像ＰＳＦｏｆ１の各画素信号値及び各画素位置を式（１０）のＰＳＦ_V及びｒに代入してゆけば、ＰＳＦ画像ＰＳＦｏｆ１の画素数分の、σに関する等式が得られる。これらの等式を近似的に満たすσを最小二乗法を用いて求め、求めたσをＰＳＦｏｆ１についての標準偏差σ₁とする。同様にして、ＰＳＦｏｆ２についての標準偏差σ₂も求められる。

一方で、ＰＳＦの標準偏差とＰＳＦ半径との対応関係を示す関係式又はテーブルデータを予め用意しておき、その関係式又はテーブルデータを用いて、上述の如く求めた標準偏差σ₁及びσ₂をＰＳＦ半径ＲＤｏｆ１及びＲＤｏｆ２（図１３参照）に変換する。例えば、「２×σ₁＝ＲＤｏｆ１」及び「２×σ₂＝ＲＤｏｆ２」に従って、ＰＳＦ半径ＲＤｏｆ１及びＲＤｏｆ２を求める。尚、合焦色画像ＩｉｆについてのＰＳＦ半径ＲＤｉｆは、第１のＰＳＦ半径算出方法と同様、０．５画素であると推定する。更に、合焦色画像ＩｉｆについてのＰＳＦの標準偏差σ₀は、「２×σ₀＝ＲＤｉｆ」に従って決定される。

［第２実施例］
次に、第２実施例を説明する。第１実施例の如く、原画像における全画素位置に対して直接的にＰＳＦを算出しようとすると、処理量が多くなって処理時間が相応に長くなる。そこで、第２実施例では、代表画素位置に対してのみＰＳＦの直接的算出を行い、非代表画素位置のＰＳＦを、近傍の代表画素位置におけるＰＳＦから補間する。この方法を説明する。

まず、図１７に示す如く、任意の二次元画像６２０が配置されるべき空間領域の二次元座標系ＸＹ上に、水平及び垂直方向に等間隔配置された代表点を設定する。図１７における複数の黒丸が、設定された代表点を示している。図８を参照して上述したように、水平方向はＸ軸方向に対応し、垂直方向はＹ軸方向に対応している。水平方向に隣接する代表点の間隔及び垂直方向に隣接する代表点の間隔は、二次元画像６２０の隣接画素間隔の整数倍（２倍以上の整数倍）である。例えば、水平方向に隣接する代表点の間隔及び垂直方向に隣接する代表点の間隔を、二次元画像６２０の隣接画素間隔の１６倍に設定する。この場合、水平及び垂直方向の夫々おいて、１６画素ごとに代表点が設定される。

代表点が位置する画素位置を代表画素位置と呼び、それ以外の画素位置（即ち、代表点が位置していない画素位置）を非代表画素位置と呼ぶ。

第２実施例に係る、静止画像撮影時の撮像装置１の動作手順は、図７に示す、第１実施例に係るそれと同様であり、第２実施例においても、上述のステップＳ１０〜Ｓ１９の処理が順次実行される。但し、第１及び第２実施例との間で、図７のステップＳ１５の被写界深度拡大処理の内容が異なる。

図１８は、第２実施例に係る被写界深度拡大処理の詳細フローチャートである。第２実施例において、ステップＳ１５の被写界深度拡大処理は、ステップＳ４０〜Ｓ５１及びＳ６０〜Ｓ６７の処理から形成される。ステップＳ４０の処理が実行された後、ステップＳ４１〜Ｓ５１から成る第１ループ処理が必要回数分だけ繰り返し実行される。１回の第１ループ処理では、ステップＳ４１〜Ｓ５１の処理がこの順番で順次実行される。第１ループ処理において所定条件を満たされると、ステップＳ６０の処理の後、ステップＳ６１〜Ｓ６７から成る第２ループ処理が必要回数分だけ繰り返し実行される。

まず、ステップＳ４０において、原画像の有効領域における左上隅の代表画素位置に注目し、その代表画素位置を注目代表画素位置に設定する。その後、ステップＳ４１において、注目代表画素位置を中心とした小領域を設定する。小領域の意義は、第１実施例で述べた通りである。主制御部１３は、設定した小領域内の画像を小領域画像として取り扱った上でステップＳ４２〜Ｓ４８の処理を順次実行する。ステップＳ４２〜Ｓ４８の処理は、夫々、図９のステップＳ２２〜Ｓ２８のそれと同じものである。但し、ステップＳ４２〜Ｓ４８では、ステップＳ４１において設定された小領域及び小領域画像に対して、必要な処理が行われる。ステップＳ４２〜Ｓ４８の処理を経て、非合焦色画像Ｉｏｆ１及びＩｏｆ２に対する、周波数領域上のＰＳＦ（ＰＳＦｏｆ１’及びＰＳＦｏｆ２’）が導出される。

ステップＳ４８に続くステップＳ４９において、主制御部１３は、非合焦色画像Ｉｏｆ１及びＩｏｆ２に対するＰＳＦをガウス関数に近似することにより、ＰＳＦとしてのガウス関数における標準偏差を、色信号ごとに求める。Ｒ、Ｇ及びＢ信号に対して求められた標準偏差を、夫々、σ_R、σ_G及びσ_Bにて表す。

第１実施例で述べた第１のＰＳＦ半径算出方法を流用することによって、ステップＳ４９における標準偏差σ_R、σ_G及びσ_Bを算出することができる。即ち、上述の第１のＰＳＦ半径算出方法に従い、ケプストラム変換を用いてステップＳ４８にて得られたＰＳＦｏｆ１’及びＰＳＦｏｆ２’から非合焦色画像Ｉｏｆ１及びＩｏｆ２についてのＰＳＦ半径ＲＤｏｆ１及びＲＤｏｆ２を推定する。また、合焦色画像ＩｉｆについてのＰＳＦ半径ＲＤｉｆは０．５画素であると推定する。一方で、ＰＳＦの標準偏差とＰＳＦ半径との対応関係を示す関係式又はテーブルデータを予め用意しておき、その関係式又はテーブルデータを用いて、ＰＳＦ半径ＲＤｏｆ１、ＲＤｏｆ２及びＲＤｉｆから標準偏差σ_R、σ_G及びσ_Bを求める。例えば、標準偏差の２倍が、その標準偏差に対応するＰＳＦのＰＳＦ半径であると予め規定しておく。そうすると、赤が合焦色であると共に緑及び青が非合焦色であり且つ緑に対応する非合焦色画像がＩｏｆ１である場合、「２×σ_R＝ＲＤｉｆ」、「２×σ_G＝ＲＤｏｆ１」及び「２×σ_B＝ＲＤｏｆ２」に従って標準偏差σ_R、σ_G及びσ_Bが求められる。

或るいは、第１実施例で述べた第２のＰＳＦ半径算出方法を流用することによって、ステップＳ４９における標準偏差σ_R、σ_G及びσ_Bを算出することもできる。この場合、第２のＰＳＦ半径算出方法を用いて求めた、非合焦色画像Ｉｏｆ１及びＩｏｆ２に対応する標準偏差σ₁及びσ₂と合焦色画像Ｉｉｆに対応する標準偏差σ₀から、標準偏差σ_R、σ_G及びσ_Bを決定すればよい。例えば、赤が合焦色であると共に緑及び青が非合焦色であり且つ緑に対応する非合焦色画像がＩｏｆ１である場合において、第２のＰＳＦ半径算出方法を用いたとすれば、σ_R＝σ₀、σ_G＝σ₁且つσ_B＝σ₂となる。

ステップＳ４９にて標準偏差を求めた後、ステップＳ５０において、原画像の全代表画素位置に対して標準偏差の算出を実行したか否かを確認し、その実行が完了している場合はステップＳ５０からステップＳ６０に移行する一方で、その実行が完了していない場合はステップＳ５１に移行して注目代表画素位置を現時点の注目代表画素位置から変更する。注目代表画素位置の変更後、ステップＳ４１に戻り、その位置変更後の注目代表画素位置に対して、上述のステップＳ４１〜Ｓ４９の処理が再度実行される。ステップＳ６０に至る時点では、原画像の全代表画素位置に対して標準偏差（σ_R、σ_G及びσ_B）が求められ、それらは内部メモリ１４に一時的に記録されている。

ステップＳ６０において、原画像の有効領域における左上隅の画素位置に注目し、その画素位置を注目画素位置に設定する。

ステップＳ６０に続くステップＳ６１において、注目画素位置が代表画素位置であるか否かが確認され、注目画素位置が代表画素位置である場合はステップＳ６１からステップＳ６２へ、注目画素位置が非代表画素位置である場合はステップＳ６１からステップＳ６３へ移行する。

ステップＳ６２では、注目画素位置と一致する代表画素位置に対して既に算出されている標準偏差σ_R、σ_G及びσ_Bを内部メモリ１４から読み出し、それらを注目画素位置に対する標準偏差σ_R、σ_G及びσ_Bに設定する。

一方、ステップＳ６３では、注目画素位置の近傍に位置する代表画素位置の標準偏差σ_R、σ_G及びσ_Bを用い、色信号ごとの補間によって、注目画素位置の標準偏差σ_R、σ_G及びσ_Bを算出する。補間として、線形補間を用いることができる。例えば、図１９に示す如く、注目画素位置が非代表画素位置７０５であって且つ位置７０５が代表画素位置７０１〜７０４によって形成される四角形に内包される場合、位置７０５と位置７０１〜７０４との各距離を求め、求めた各距離に応じて位置７０１〜７０４に対する標準偏差σ_Rを加重平均することにより位置７０５に対する標準偏差σ_Rを求める。位置７０５が上記四角形の中心に位置する場合、加重平均における重みは位置７０１〜７０４間で同じであるため、位置７０５に対する標準偏差σ_Rは、位置７０１〜７０４に対する標準偏差σ_Rの平均とされる。勿論、加重平均における重みは対応する距離が短いほど大きくなる。位置７０５に対する標準偏差σ_G及びσ_Bも同様にして算出される。尚、位置７０１及び７０２は水平方向に隣接する代表画素位置であり、位置７０３及び７０４は水平方向に隣接する代表画素位置であり、位置７０１及び７０３は垂直方向に隣接する代表画素位置であり、位置７０２及び７０４は垂直方向に隣接する代表画素位置である。

その後、ステップＳ６４では、ステップＳ６２又はＳ６３にて設定された、注目画素位置に対する標準偏差σ_R、σ_G及びσ_Bに基づき、注目画素位置に対する画像復元関数を決定する。ここで決定される画像復元関数は、注目画素位置を中心とする非合焦色画像Ｉｏｆ１及びＩｏｆ２の画像復元関数である。非合焦色画像Ｉｏｆ１の画像復元関数は、非合焦色画像Ｉｏｆ１に対応する標準偏差（σ_R、σ_G又はσ_B）をσに代入した上記式（１０）の関数ＰＳＦ_Vの逆関数に相当し、非合焦色画像Ｉｏｆ２の画像復元関数は、非合焦色画像Ｉｏｆ２に対応する標準偏差（σ_R、σ_G又はσ_B）をσに代入した上記式（１０）の関数ＰＳＦ_Vの逆関数に相当する。

続くステップＳ６５では、ステップＳ６４にて決定された画像復元関数を用いて非合焦色画像Ｉｏｆ１及びＩｏｆ２に画像復元処理を施すことで、軸上色収差に由来する非合焦色画像Ｉｏｆ１及びＩｏｆ２の劣化（ぼけ）を除去する。但し、ここで劣化が除去されるのは、注目画素位置における画素信号のみである。ステップＳ６５における画像復元処理は、図９のステップＳ３１のそれと同様のものであり、ステップＳ６５の画像復元処理によって、深度拡大画像の注目画素位置における第１の非合焦色（非合焦色画像Ｉｏｆ１に対応する色）の色信号及び第２の非合焦色（非合焦色画像Ｉｏｆ２に対応する色）の色信号が生成される。また、深度拡大画像の注目画素位置における合焦色の色信号は、原画像の注目画素位置における合焦色の色信号と同じとされる。これにより、深度拡大画像の注目画素位置におけるＲ、Ｇ及びＢ信号が生成される。

望ましくは、図２０に示す如く、軸上色収差に由来する画像のぼけを除去するための空間フィルタ４１と、標準偏差に応じて空間フィルタ４１のフィルタ係数を決定するＬＵＴ４２と、を主制御部１３に実装しておくとよい。ＬＵＴ４２は、標準偏差とフィルタ係数の関係を定めるルックアップテーブルであり、ルックアップテーブルのデータは、非合焦色画像のＰＳＦがガウス関数に近似されるという前提の下で予め決定される。ＬＵＴ４２から出力されるフィルタ係数を用いた空間フィルタ４１による空間フィルタリングによって、非合焦色画像Ｉｏｆ１及びＩｏｆ２に存在する、軸上色収差に由来するガウス分布状のぼけが除去される。

例えば、注目画素位置に関して赤が合焦色であると共に緑及び青が非合焦色であり且つ緑に対応する非合焦色画像がＩｏｆ１である場合、ステップＳ６２又はＳ６３にて設定された、注目画素位置に対する標準偏差σ_GがＬＵＴ４２に入力されて、標準偏差σ_Gに応じたフィルタ係数がＬＵＴ４２から空間フィルタ４１に与えられる。空間フィルタ４１は、ＬＵＴ４２から与えられたフィルタ係数を用いて原画像の注目画素位置におけるＧ信号をフィルタリングする。このフィルタリングによって得られた空間フィルタ４１の出力信号が、深度拡大画像の注目画素位置におけるＧ信号となる。深度拡大画像の注目画素位置におけるＢ信号も標準偏差σ_Bに応じて導出される。今の例では赤が合焦色であるので、深度拡大画像の注目画素位置におけるＲ信号は、原画像の注目画素位置におけるＲ信号と同じとされる。

尚、ステップＳ６４及びＳ６５の処理の説明において述べられる非合焦色画像Ｉｏｆ１及びＩｏｆ２とは、ステップＳ６０又は後述のステップＳ６７にて設定された注目画素位置を中心とする小領域についての非合焦色画像Ｉｏｆ１及びＩｏｆ２を指す。注目画素位置に対する標準偏差σ_R、σ_G及びσ_Bの内の最小の標準偏差に対応する小領域色画像（Ｉｒ，Ｉｇ又はＩｂ）がステップＳ６４及びＳ６５における合焦色画像Ｉｉｆであり、それ以外の２つの標準偏差に対応する小領域色画像がステップＳ６４及びＳ６５における非合焦色画像Ｉｏｆ１及びＩｏｆ２である。従って例えば、注目画素位置に対する標準偏差σ_R、σ_G及びσ_Bについて不等式「σ_R＜σ_G＜σ_B」が成立する場合、注目画素位置に関して赤が合焦色であると共に緑及び青が非合焦色であり、且つ、注目画素位置を中心とする小領域色画像Ｉｇ及びＩｂがステップＳ６４及びＳ６５における非合焦色画像Ｉｏｆ１及びＩｏｆ２である。

ステップＳ６５に続くステップＳ６６及びＳ６７では、図９のステップＳ３３及びＳ３４と同様の処理がなされる。即ち、ステップＳ６６では、原画像の全画素位置に対してＳ６５の画像復元処理を実行したか否かを確認し、その実行が完了している場合は図１８の処理を終える一方で、その実行が完了していない場合はステップＳ６７に移行して注目画素位置を現時点の注目画素位置から変更する。注目画素位置の変更後、ステップＳ６１に戻り、その位置変更後の注目画素位置に対して、上述のステップＳ６１〜Ｓ６５の処理が再度実行される。原画像の有効領域内の全画素位置に対してステップＳ６１〜Ｓ６５の処理が完了した時点で、図１８の被写界深度拡大処理は終了する。

上述のように処理することにより、第１実施例と比べて、代表画素位置以外の画素位置に対するＰＳＦの算出負荷を大幅に軽減できる。また、図２０に示す如く、標準偏差に対応する、画像復元処理用のフィルタ係数を予め参照テーブル化しておくことにより、更なる処理高速化が図られる。

尚、第２実施例においても図７のステップＳ１０〜Ｓ１９の処理が順次実行されると述べたが、ステップＳ１６における被写体距離の推定方法として、第１実施例で述べた方法を採用することができる。即ち、第１実施例の如く、原画像における全画素位置の夫々を注目画素位置と捉えて、注目画素位置ごとに、直接的にＰＳＦを算出して注目画素位置に対するＰＳＦ（ＰＳＦｏｆ１’及びＰＳＦｏｆ２’）から注目画素位置における被写体距離を推定するようにしてもよい。

但し、第２実施例では、被写界深度拡大処理の過程においてＰＳＦの直接的算出が代表画素位置に対してのみ実行されることを考慮し、ＰＳＦを用いた被写体距離の推定を代表画素位置に対してのみ実行するようにしてもよい。この場合、非代表画素位置における推定被写体距離は、近傍の代表画素位置における推定被写体距離から補間される。これにより、被写体距離の推定に関わる処理負荷が軽減される。尚、この補間を用いた被写体距離の推定方法は、第１実施例にも適用可能である。

例えば、ＰＳＦｏｆ１’及びＰＳＦｏｆ２’を用いて注目代表画素位置に対する被写体距離を推定する処理（この推定方法は、第１実施例で述べたものと同様である）を図１８のステップＳ４８の処理に含めることで、各注目代表画素位置における被写体距離を推定する。その後、各非代表画素位置を注目画素位置に設定し、注目画素位置ごとに、注目画素位置の近傍に位置する代表画素位置の推定被写体距離を用いた線形補間によって注目画素位置の被写体距離を推定する。被写体距離に対する補間の方法は、上述の、標準偏差に対するそれと同様である。

［第３実施例］
次に、第３実施例を説明する。第３実施例では、第２実施例におけるＰＳＦの算出方法の変形例などを説明する。ＰＳＦの算出方法の変形例として、第１及び第２変形ＰＳＦ算出方法を例示する。第１及び第２変形ＰＳＦ算出方法は、第２実施例と組み合わせて実施される。また、第１及び第２変形ＰＳＦ算出方法を組み合わせることも可能である。

代表画素位置を中心とする注目小領域のコントラストが低い場合、合焦色画像と非合焦色画像との間でエッジ強度（高域周波数成分）の差が小さくなり、非合焦色画像に対する正確なＰＳＦの算出が困難となる。その差が小さい時、非合焦色画像に劣化が殆ど含まれていない、と判断されることになるからである。仮に、非合焦色画像に劣化が殆ど含まれていないと判断され、その判断結果に応じたＰＳＦが求められたとしても、注目小領域が低コントラストであるが故に、そのＰＳＦに基づく、注目小領域に対する補正結果（画像復元処理の結果）には視覚的な影響が殆ど生じない。しかしながら、高コントラストの小領域が注目小領域に隣接する場合、第２実施例で述べた補間処理によって、隣接小領域に対する補正結果に悪影響が生じることがある。つまり、注目小領域についての代表画素位置と隣接小領域についての代表画素位置との間に位置する画像領域の鮮鋭度（深度拡大画像における鮮鋭度）が、前者の代表画素位置に対して求められた非正確なＰＳＦの影響を受けて低下することがある。

これを考慮し、第１変形ＰＳＦ算出方法では、注目代表画素位置を中心とする小領域のエッジ成分の大小を考慮し、それが少ない場合には、注目代表画素位置の近傍代表画素位置のＰＳＦを用いた補間によって、注目代表画素位置のＰＳＦを生成する。これにより、鮮鋭度の低下を抑制することができる。

具体的には例えば、第１変形ＰＳＦ算出方法において、以下のような処理を実行すればよい。図１８のステップＳ４１〜Ｓ５１の反復処理過程において、代表画素位置ごとに、エッジ画像Ｅｉｆの各画素信号の絶対値の総和をエッジ評価値として求め、求めた各エッジ評価値と予め設定された基準値を比較することにより、各代表画素位置を、エッジ評価値が基準値以上になる代表画素位置（以下、通常代表画素位置という）とエッジ評価値が基準値未満になる代表画素位置（以下、対象代表画素位置という）とに分類する。通常代表画素位置に対するＰＳＦの標準偏差σ_R、σ_G及びσ_Bの決定方法は、第２実施例で述べたものと同じであるが、対象代表画素位置に対するＰＳＦの標準偏差σ_R、σ_G及びσ_Bは、対象代表画素位置の近傍に位置する通常代表画素位置についての標準偏差から、補間（例えば線形補間）によって生成される。この補間は、標準偏差σ_R、σ_G及びσ_Bの夫々に対して個別に実行される。即ち、対象代表画素位置のσ_Rは、対象代表画素位置の近傍に位置する通常代表画素位置についてのσ_Rから、補間によって生成される。σ_G及びσ_Bについても同様である。

次に、第２変形ＰＳＦ算出方法を説明する。代表画素位置の隣接間隔を小さくすれば微小領域ごとに適切なＰＳＦが求められて深度拡大画像を理想的なものに近づけることができるが、直接的に算出すべきＰＳＦの個数が増加する分、処理時間が増加する。一方で、代表画素位置の隣接間隔を大きくすると、その逆の問題が発生する。但し、エッジ成分が少ない画像領域に対して、代表画素位置の隣接間隔を大きく設定しても弊害は少ない。これを考慮し、第２変形ＰＳＦ算出方法では、画像のエッジ情報に応じて代表画素位置の隣接間隔を変化させる。即ち、高解像力が必要となるような画像領域（エッジ成分が多く含まれる画像領域）に対しては、代表画素位置の隣接間隔を比較的小さく設定し、それ以外の画像領域に対しては、代表画素位置の隣接間隔を比較的大きく設定する。これにより、処理時間の増大を抑制しつつ、細部まで鮮鋭度の高い深度拡大画像を生成することが可能となる。

具体的には例えば、第２変形ＰＳＦ算出方法において、以下のような処理を実行すればよい。代表画素位置の隣接間隔として、第１隣接間隔又は第１隣接間隔よりも大きな第２隣接間隔を採用可能にしておく。まず、代表画素位置の隣接間隔に第１隣接間隔を採用した上で、代表画素位置ごとに、図１８のステップＳ４１〜Ｓ４６の処理を実行することにより合焦色を特定して合焦色画像Ｉｉｆのエッジ画像Ｅｉｆから上記エッジ評価値を求める。そして、求めた各エッジ評価値と所定の基準値とを比較することにより、原画像の有効領域を、基準値以上のエッジ評価値に対応する小領域が多く存在するブロックと、基準値未満のエッジ評価値に対応する小領域が多く存在するブロックとに切り分ける。その後、前者のブロックに対して第１隣接間隔を採用し且つ後者のブロックに対して第２隣接間隔を採用した上で、図１８の被写界深度拡大処理を実行すればよい。この具体例では、代表画素位置の隣接間隔を２段階で変化させているが、それを３段階以上で変化させても良い。

次に、第１又は第２実施例に述べた処理を担う部位の構成例を説明する。図２１は、その処理を担う部位のブロック図である。図２１の符号５１〜５６によって参照される各部位は、主制御部１３に設けられる。

小領域抽出部５１は、主として図９のステップＳ２１の処理又は図１８のステップＳ４１の処理を実行することにより、小領域を原画像から抽出する。
合焦色特定部５２は、主として図９のステップＳ２２〜Ｓ２５の処理又は図１８のステップＳ４２〜Ｓ４５の処理を実行することにより、合焦色及び非合焦色を特定する。
ＰＳＦ算出部５３は、主として図９のステップＳ２６〜Ｓ２８の処理又は図１８のステップＳ４６〜Ｓ４９、Ｓ６２及びＳ６３の処理を実行することにより、各画素位置に対するＰＳＦを算出する。
画像復元処理部５４は、主として図９のステップＳ２９〜Ｓ３１の処理又は図１８のステップＳ６４及びＳ６５の処理を実行することにより、画像復元処理によって深度拡大画像の各画素位置におけるＲＧＢ信号を生成する。
被写体距離推定部５５は、主として図７のステップＳ１６の処理を実行することにより、各画素位置における被写体距離を推定する。
記録制御部５６は、各画素位置の推定被写体距離から形成される被写体距離マップと深度拡大画像の画像データを関連付けて記録媒体１６に記録するための記録制御を行う。

被写体距離推定部５５によって被写体距離マップが生成されるが、被写体距離マップの利用方法は、第４実施例等において後述される。被写体距離マップの利用が予定されていない場合、被写体距離推定部５５は不要である。

［第４実施例］
次に、第４実施例を説明する。第４実施例では、深度拡大画像から所望の合焦状態を有する画像（以下、目標合焦画像という）を生成する方法を説明する。図２２は、深度拡大画像から目標合焦画像を生成する動作の手順を表すフローチャートである。図２２のステップＳ１０１〜Ｓ１１０の各処理は、図７のステップＳ１９における記録処理が行われた後に実行される。

ステップＳ１０１において、主制御部１３は、記録媒体１６の記録データを読み出すことにより、記録媒体１６に記録されている深度拡大画像を表示部１５の表示画面上に表示させる。以下の説明において、表示画面とは、表示部１５の表示画面を指す。尚、記録媒体１６に原画像の画像データが記録されている場合においては、深度拡大画像の代わりに原画像を表示画面に表示させてもよい。

ステップＳ１０１に続くステップＳ１０２において、主制御部１３は、目標合焦画像の生成を指示する操作（以下、生成指示操作という）が操作部１７に対して成されたか否かを確認する。ステップＳ１０２において、生成指示操作が成されていない場合はステップＳ１０１に戻る。一方、生成指示操作が成された場合は、ステップＳ１０３に移行して、表示画像（即ち表示画面に表示されている深度拡大画像又は原画像）に関連付けて記録されている被写体距離マップを記録媒体１６から読み出すことにより、被写体距離マップを取得する。その後、主制御部１３は、ステップＳ１０４において、目標合焦画像の合焦基準距離及び被写界深度の深さを指定するユーザ操作（以下、被写界深度指定操作という）を受け付け、続くステップＳ１０５において、被写界深度指定操作の内容に従って目標合焦画像の合焦曲線を導出する。

図２３の実線曲線７３０は、目標合焦画像の合焦曲線（以下、目標合焦曲線とも呼ぶ）を示している。図２３の破線曲線６３０は、図１１にも示されている深度拡大画像の合焦曲線である。目標合焦曲線７３０は、目標合焦画像におけるぼけ半径と被写体距離との関係を示している。目標合焦画像におけるぼけ半径は、被写体距離が距離ＤＤ_Oである時に最小となり、被写体距離が距離ＤＤ_Oを起点として減少又は増大するにつれて増大する。原画像におけるぼけ半径は、軸上色収差に由来してＲ、Ｇ及びＢ信号間で異なるが、目標合焦画像におけるぼけ半径は、Ｒ、Ｇ及びＢ信号間で共通である。距離ＤＤ_Oよりも小さな距離ＤＤ_O1及び距離ＤＤ_Oよりも大きな距離ＤＤ_O2において、目標合焦画像におけるぼけ半径は基準半径ｒ_REFと一致する。従って、距離ＤＤ_O1から距離ＤＤ_O2までの被写体距離範囲が目標合焦画像の被写界深度である。距離ＤＤ_Oは上記の合焦基準距離であり、距離ＤＤ_O1から距離ＤＤ_O2までの距離長さは、目標合焦画像の被写界深度の深さを表している。上記の被写界深度指定操作によって距離ＤＤ_O、ＤＤ_O1及びＤＤ_O2が定められる。

ステップＳ１０５における目標合焦曲線の導出後、ステップＳ１０６において、主制御部１３は、ステップＳ１０３にて取得した被写体距離マップと、既知情報である深度拡大画像の合焦曲線６３０と、ステップＳ１０５にて導出した目標合焦曲線７３０とを用いて深度拡大画像から目標合焦画像を生成する（詳細は後述）。

その後、ステップＳ１０７において、主制御部１３は、生成した目標合焦画像を表示画面上に表示させ、続くステップＳ１０８において、ユーザによる所定の確定操作が操作部１７に対して成されたか否かを確認する。確定操作が成された場合は、ステップＳ１０９による圧縮処理を介して、ステップＳ１１０にて目標合焦画像を記録媒体１６に記録する。即ち、ステップＳ１０６にて生成された最新の目標合焦画像の画像データをＪＰＥＧ（Joint Photographic Experts Group）等の所定の圧縮方式を用いて圧縮してから記録媒体１６に記録する。ステップＳ１０８において確定操作が成されておらず、目標合焦画像の合焦基準距離及び／又は被写界深度の深さを変更するユーザ操作が成された場合は、その変更内容に従って上述のステップＳ１０５〜Ｓ１０８の各処理を実行しなおす。

［Ｓ１０６：目標合焦画像の生成方法］
深度拡大画像から目標合焦画像を生成するための動作を説明する。図２４は、この動作の手順を表すフローチャートである。主制御部１３は、深度拡大画像の全画素位置の夫々を個別に注目画素位置として捉え、注目画素位置ごとに、ステップＳ１２１〜Ｓ１２５の処理を実行する。以下では、１つの注目画素位置に対するステップＳ１２１〜Ｓ１２５の処理を説明する。

まずステップＳ１２１において、被写体距離マップ（図２２のステップＳ１０３にて取得された被写体距離マップ）から注目画素位置における被写体距離ｄｄを取得する。

次に、ステップＳ１２２において、深度拡大画像の合焦曲線６３０と被写体距離ｄｄとに基づき、深度拡大画像の注目画素位置におけるＰＳＦを導出する。ここで導出されるＰＳＦをＰＳＦ_ENにて表す。図２５に示す如く、合焦曲線６３０に沿った、被写体距離ｄｄに対応するぼけ半径ＲＤ_ENが求められ、そのぼけ半径ＲＤ_ENに対応するＰＳＦがＰＳＦ_ENとして求められる。より具体的には例えば、σ＝ＲＤ_EN／２を上記式（１０）に代入して得たＰＳＦ_VがＰＳＦ_ENとして求められる。

次に、ステップＳ１２３において、目標合焦画像の合焦曲線（目標合焦曲線）７３０と被写体距離ｄｄとに基づき、目標合焦画像の注目画素位置におけるＰＳＦを導出する。ここで導出されるＰＳＦをＰＳＦ_TGにて表す。目標合焦画像は、全ての被写体距離において完全にピントがあっている理想画像に対して、ぼけによる劣化を加えた画像に相当する。ＰＳＦ_TGは、この劣化の状態を表す関数である。図２５に示す如く、目標合焦曲線７３０に沿った、被写体距離ｄｄに対応するぼけ半径ＲＤ_TGが求められ、そのぼけ半径ＲＤ_TGに対応するＰＳＦがＰＳＦ_TGとして求められる。より具体的には例えば、σ＝ＲＤ_TG／２を上記式（１０）に代入して得た関数ＰＳＦ_VがＰＳＦ_TGとして求められる。

続くステップＳ１２４では、ステップＳ１２２及びＳ１２３にて求められたＰＳＦ_EN及びＰＳＦ_TGを線形演算することにより、深度拡大画像を目標合焦画像に変換するための補正関数ＦＣを導出する。この補正関数ＦＣは「ＦＣ＝ＰＳＦ_TG／ＰＳＦ_EN」によって表される。尚、注目画素位置における被写体距離ｄｄが深度拡大画像の被写界深度内の被写体距離である場合は、ＰＳＦ_ENを１とおくことで、導出されるべき補正関数ＦＣをＰＳＦ_TGそのものとしてもよい。補正関数ＦＣの導出後、ステップＳ１２５において、補正関数ＦＣに基づき深度拡大画像を空間フィルタリングすることにより、目標合焦画像の注目画素位置におけるＲＧＢ信号を生成する。

実際には、ステップＳ１２４及びＳ１２５において、補正関数ＦＣに応じたフィルタ係数が導出され、そのフィルタ係数を有する空間フィルタを用いて深度拡大画像の注目画素位置におけるＲＧＢ信号をフィルタリングする。これによって得られた空間フィルタの出力信号が、目標合焦画像の注目画素位置におけるＲＧＢ信号として生成される。尚、ステップＳ１２５においてフィルタリングの対象となる信号は、ＹＵＶ形式の信号（即ち、輝度信号Ｙ並びに色差信号Ｕ及びＶ）であっても良い。

上述のステップＳ１２１〜Ｓ１２５の処理を深度拡大画像の全画素位置に対して実行することにより、ユーザ所望の被写界深度を有する目標合焦画像を生成することができる。このような目標合焦画像を生成可能なように撮像装置１を形成しておくことにより、従来の撮像装置にて問題視されていた、被写界深度の調整に関わる問題（上述の問題β）が解消される。

［被写界深度指定操作について］
図２２のステップＳ１０４にて受け付けられる被写界深度指定操作の操作方法例を説明する。この操作の受け付けがなされる際、表示画面上には、被写界深度が調整されるべき深度拡大画像（又は原画像）が表示されている。

撮像装置１において、いわゆるタッチパネル操作が可能となっている。ユーザは、表示画面に触れることによって撮像装置１に対する操作（即ち、タッチパネル操作）を行うことができる。表示部１５に付随するタッチパネル制御部（不図示）が、表示画面上に加えられた圧力を検出することなどによって、タッチパネル操作を受け付ける。

図２６（ａ）の画像７５０は、表示画面上に表示される画像の第１例を示している。表示画像７５０は、被写界深度が調整されるべき深度拡大画像（又は原画像）である。表示画像７５０が表示されている状態において、ユーザが表示画像７５０上の特定被写体を指定することにより合焦基準距離ＤＤ_O（図２３参照）を決定することができる。特定被写体が、表示画像７５０上における人物ＳＵＢである場合を考える。この場合、ユーザは、表示画面上の、人物ＳＵＢが表示されている特定位置をタッチパネル操作にて指定する。これにより、特定位置における被写体距離が被写体距離マップから抽出され、抽出された被写体距離が合焦基準距離ＤＤ_Oに設定される。また、タッチパネル操作を用いずに、操作部１７に対する所定操作よって上記特定位置を指定することもできる。

図２６（ｂ）の画像７６０は、表示画面上に表示される画像の第２例を示している。表示画像７６０は、被写界深度が調整されるべき深度拡大画像（又は原画像）にスライダーバー７６１を重畳又は組み合わせたものである。表示画像７６０が表示されている状態において、ユーザは、スライダーバー７６１上のマーカ７６２の位置をタッチパネル操作によって又は操作部１７への操作によって移動させることができ、マーカ７６２の移動によって、生成されるべき目標合焦画像の合焦基準距離も変化する。主制御部１３は、マーカ７６２が移動するたびに、マーカ７６２の位置に応じた目標合焦曲線の導出を介してマーカ７６２の位置に応じた目標合焦画像をリアルタイムに生成及び表示する。ユーザが指定した最終的なマーカ７６２の位置から、目標合焦画像の合焦基準距離ＤＤ_Oが最終的に決定される。

尚、距離差（ＤＤ_O−ＤＤ_O1）及び（ＤＤ_O2−ＤＤ_O）に対して、予め初期値を設けておくと良い。距離差（ＤＤ_O−ＤＤ_O1）及び（ＤＤ_O2−ＤＤ_O）がユーザによって指定されていない状態においては、それらの初期値を実際の距離差（ＤＤ_O−ＤＤ_O1）及び（ＤＤ_O2−ＤＤ_O）に代入した上で目標合焦曲線が決定される。

撮像装置１は、上述の如く指定された合焦基準距離ＤＤ_Oと距離差（ＤＤ_O−ＤＤ_O1）及び（ＤＤ_O2−ＤＤ_O）の初期値とに従って暫定的に生成された目標合焦画像を表示することができる。この表示がなされている状態において、ユーザは、合焦基準距離ＤＤ_Oから見た前方被写界深度の深さ及び後方被写界深度の深さを指定する。前方被写界深度の深さ及び後方被写界深度の深さは、夫々、距離差（ＤＤ_O−ＤＤ_O1）及び（ＤＤ_O2−ＤＤ_O）に相当する。

図２６（ｃ）の画像７７０は、表示画面上に表示される画像の第３例を示している。表示画像７７０は、上記の暫定的に生成された目標合焦画像に、スライダーバー７７１及び７７３を重畳又は組み合わせたものである。表示画像７７０が表示されている状態において、ユーザは、スライダーバー７７１上のマーカ７７２の位置及びスライダーバー７７３上のマーカ７７４の位置をタッチパネル操作によって又は操作部１７への操作によって移動させることができ、マーカ７７２及び７７４の移動によって、夫々、目標合焦画像における前方被写界深度の深さ及び後方被写界深度の深さが変化する。主制御部１３は、マーカ７７２及び／又は７７４が移動するたびに、マーカ７７２及び７７４の位置に応じた目標合焦曲線の導出を介してマーカ７７２及び７７４の位置に応じた目標合焦画像をリアルタイムに生成及び表示する。ユーザが指定した最終的なマーカ７７２及び７７４の位置から、目標合焦画像の被写界深度を規定する距離ＤＤ_O1及びＤＤ_O2が最終的に決定される。

尚、スライダーバー７７１及び７７３を１つにまとめ、１つのスライダーバー上のマーカの位置を調整することによって、目標合焦画像における前方被写界深度及び後方被写界深度の深さを同時に調整するようにしても良い。この場合、前方被写界深度の深さと後方被写界深度の深さとの比は、固定値（例えば１）とされる。

上述した距離ＤＤ_O、ＤＤ_O1及びＤＤ_O2の指定方法は例示であり、ユーザ所望の距離ＤＤ_O、ＤＤ_O1及びＤＤ_O2を指定することができるのであれば、どのような指定方法を採用しても良い。例えば、距離ＤＤ_O、ＤＤ_O1及びＤＤ_O2を表す数値をユーザが直接入力することによって、距離ＤＤ_O、ＤＤ_O1及びＤＤ_O2を指定することも可能である。

［目標合焦曲線について］
図２２のステップＳ１０５にて採用可能な目標合焦曲線の導出方法について説明する。一般に、通常の光学系によって得られる画像のぼけの大きさＢは、式（１１）にて表されることが知られている。通常の光学系におけるレンズ及び撮像素子等の関係を図２７に示す。

式（１１）において、
Ｌは、合焦基準距離ＤＤ_Oに対応する、完全に合焦している被写体の被写体距離であり、
Ｔは、被写体距離Ｌと注目被写体の被写体距離との差であり、
Ｂは、許容錯乱円の直径の倍数であって、被写体距離（Ｌ＋Ｔ）又は（Ｌ−Ｔ）における注目被写体の画像上のぼけ半径の２倍の値を有し、
ｍは、許容錯乱円の直径に対する撮像素子の対角線長の比であり、
Ｄは、レンズの有効口径であって、レンズの焦点距離をレンズのＦ値で割ったものであり、
Ｗは、被写体距離Ｌにおける撮影範囲（実空間上の撮影範囲）の対角線長である。

通常の光学系において被写体距離Ｌを決定すれば、式（１１）に基づき、任意の被写体距離における被写体の画像上のぼけの大きさを計算することができる。このような特性を踏まえ、撮像装置１では、目標合焦曲線を生成するための計算式として式（１２）を用いることができる。

式（１２）において、
Ｒは、注目被写体の、目標合焦画像上におけるぼけ半径を表す。ここにおける注目被写体の被写体距離は、（ＤＤ_O＋ΔＤＤ）又は（ＤＤ_O−ΔＤＤ）にて表される。
ＤＤ_Oは、上述の如く設定された合焦基準距離であり、
ΔＤＤは、合焦基準距離と注目被写体の被写体距離との差である。

また、式（１２）において、
ｍは、許容錯乱円の直径に対する撮像素子１１の対角線長の比であり、
Ｄは、レンズ１０Ｌ（図１参照）の有効口径であって、レンズ１０Ｌの焦点距離をレンズ１０ＬのＦ値で割ったものであり、
Ｗは、合焦基準距離における、撮像装置１の撮影範囲（実空間上の撮影範囲）の対角線長であり、
ｋ_DPは、被写界深度調整用の係数である。

式（１２）におけるｍは、光学系１０及び撮像素子１１の特性に応じて予め定まる固定値であり、３５ｍｍフィルム換算における許容錯乱円の直径が１／３０ｍｍであるとすると、例えば約１３００である。また、撮像装置１は、式（１２）におけるＤの値を当然に認識可能であると共に、合焦基準距離ＤＤ_Oから対角線長Ｗを導出可能である。

上記式（１２）に従って目標合焦曲線を生成するようにすれば、係数ｋ_DPの調整により、目標合焦画像の被写界深度を調整可能である。また、通常の光学系にて得た画像の合焦特性（合焦曲線形状）と同様の合焦特性を目標合焦画像に持たせることができるようになるため、目標合焦画像は、通常の光学系で撮影したような自然な画像となる。

具体的には、上述の如く決定された距離ＤＤ_O、ＤＤ_O1及びＤＤ_O2に基づき（図２３参照）、被写体距離ＤＤ_O1及びＤＤ_O2における被写体の、目標合焦画像上におけるボケ半径を基準半径ｒ_REFと一致させるための係数ｋ_DPを求め、求めた係数ｋ_DPに従って目標合焦曲線を導出する。

即ち、下記式（１３ａ）及び式（１３ｂ）を満たす係数ｋ_DP1及びｋ_DP2を求める。そして、距離ＤＤ_O未満の被写体距離とぼけ半径Ｒとの関係が下記式（１４ａ）を満たし且つ距離ＤＤ_O以上の被写体距離とぼけ半径Ｒとの関係が下記式（１４ｂ）を満たす曲線を、目標合焦曲線として導出する。これによって得られた目標合焦曲線は、概ね折れ線となる。

尚、式（１４ａ）及び（１４ｂ）に従わないような目標合焦曲線を導出することも可能である。但し、目標合焦画像におけるぼけ半径が、被写体距離が距離ＤＤ_Oである時に最小となるという条件、目標合焦画像におけるぼけ半径が、被写体距離が距離ＤＤ_Oを起点として減少又は増大するにつれて増大するという条件、及び、目標合焦画像におけるぼけ半径が、被写体距離が距離ＤＤ_O1及び距離ＤＤ_O2である時に基準半径ｒ_REFと一致するという条件を全て満たすように、目標合焦曲線は導出される。

［第５実施例］
次に、第５実施例を説明する。第４実施例では、深度拡大画像から目標合焦画像が生成されるが、第５実施例では、深度拡大画像の生成を介することなく原画像から目標合焦画像を直接生成する。

図２８は、原画像から目標合焦画像を生成する動作の手順を表すフローチャートである。この動作は、原画像の撮影後の任意時点にて実行される。目標合焦画像の元なる原画像の画像データが記録媒体１６に記録されているか否かは任意であるが、第５実施例における以下の説明では、原画像の画像データが記録媒体１６に記録されていることを想定する。また、被写体距離マップが記録媒体１６に記録されているか否かは任意であるが、第５実施例における以下の説明では、被写体距離マップが記録媒体１６に記録されていることを想定する。

第５実施例では、ステップＳ１０１ａ、Ｓ１０２〜Ｓ１０５、Ｓ１０６ａ及びＳ１０７〜Ｓ１１０の各処理が順次実行される。これらの処理の内、Ｓ１０２〜Ｓ１０５及びＳ１０７〜Ｓ１１０の処理は第４実施例で述べたそれらと同じものであり（図２２参照）、第４実施例にて述べた、それらの処理に関する説明が第５実施例にも適用される。尚、第４実施例の記載事項を第５実施例に適用する際、適宜、ステップの記号Ｓ１０１及びＳ１０６はＳ１０１ａ及びＳ１０６ａに読み替えられる。以下、Ｓ１０２〜Ｓ１０５及びＳ１０７〜Ｓ１１０の処理に対する重複する説明を割愛し、ステップＳ１０１ａ及びＳ１０６ａの処理について説明する。

ステップＳ１０１ａにおいて、主制御部１３は、記録媒体１６の記録データを読み出すことにより、記録媒体１６に記録されている原画像を表示部１５の表示画面上に表示させる。その後、ステップＳ１０２〜Ｓ１０５の処理を経てステップＳ１０６ａの処理が実行される。

ステップＳ１０６ａにおいて、主制御部１３は、ステップＳ１０３にて読み出した被写体距離マップとステップＳ１０５にて導出した目標合焦曲線７３０（図２３参照）とを用いて、原画像から目標合焦画像を生成する。詳細は後述されるが、この生成に際して、既知情報である原画像の合焦曲線（６０１Ｒ、６０１Ｇ及び６０１Ｂ：図４参照）も参照されうる。

ステップＳ１０６ａにて目標合焦画像を生成した後、ステップＳ１０７〜Ｓ１１０の処理が実行される。この際、第４実施例で述べたように、ステップＳ１０８からステップＳ１０４に戻ってステップＳ１０４以降の処理が再度実行されうる。

［Ｓ１０６ａ：目標合焦画像の生成方法］
原画像から目標合焦画像を生成するための動作を説明する。図２９は、この動作の手順を表すフローチャートである。主制御部１３は、原画像の全画素位置の夫々を個別に注目画素位置として捉え、注目画素位置ごとに、ステップＳ１５１〜Ｓ１５５の処理を実行する。以下では、１つの注目画素位置に対するステップＳ１５１〜Ｓ１５５の処理を説明する。

まずステップＳ１５１において、被写体距離マップ（図２８のステップＳ１０３にて取得された被写体距離マップ）から注目画素位置における被写体距離ｄｄを取得する。

続くステップＳ１５２では、原画像の注目画素位置におけるＰＳＦが導出される。原画像の注目画素位置におけるＰＳＦは、色信号ごとに導出される。Ｒ、Ｇ及びＢ信号に対して導出された、原画像の注目画素位置におけるＰＳＦを、夫々、ＰＳＦ_ORG:R、ＰＳＦ_ORG:G及びＰＳＦ_ORG:Bにて表す。

ＰＳＦ_ORG:R、ＰＳＦ_ORG:G及びＰＳＦ_ORG:Bの導出方法として、以下の第１又は第２の導出方法を採用可能である。第１の導出方法は、第４実施例におけるステップＳ１２２（図２４参照）のそれと類似している。

第１の導出方法では、原画像の合焦曲線６０１Ｒ、６０１Ｇ及び６０１Ｂと被写体距離ｄｄに基づいて、ＰＳＦ_ORG:R、ＰＳＦ_ORG:G及びＰＳＦ_ORG:Bを導出する。第１の導出方法では、図３０に示す如く、合焦曲線６０１Ｒに沿った、被写体距離ｄｄに対応するぼけ半径ＲＤ_ORG:Rと、合焦曲線６０１Ｇに沿った、被写体距離ｄｄに対応するぼけ半径ＲＤ_ORG:Gと、合焦曲線６０１Ｂに沿った、被写体距離ｄｄに対応するぼけ半径ＲＤ_ORG:Bとが求められ、ぼけ半径ＲＤ_ORG:R、ＲＤ_ORG:G及びＲＤ_ORG:Bに対応するＰＳＦが、夫々、ＰＳＦ_ORG:R、ＰＳＦ_ORG:G及びＰＳＦ_ORG:Bとして求められる。より具体的には例えば、σ＝ＲＤ_ORG:R／２、σ＝ＲＤ_ORG:G／２、σ＝ＲＤ_ORG:B／２を上記式（１０）に代入して得た関数ＰＳＦ_Vが、夫々、ＰＳＦ_ORG:R、ＰＳＦ_ORG:G、ＰＳＦ_ORG:Bとして求められる。

第２の導出方法では、第１実施例にて述べた合焦色及び非合焦色の特定処理を介したＰＳＦ演算を用いて、ＰＳＦ_ORG:R、ＰＳＦ_ORG:G及びＰＳＦ_ORG:Bを導出する。つまり、注目画素位置に対して図９のステップＳ２１〜Ｓ２８の処理を実行し、得られたＰＳＦｏｆ１’及びＰＳＦｏｆ２’よりＰＳＦ_ORG:R、ＰＳＦ_ORG:G及びＰＳＦ_ORG:Bを導出する。例えば、赤が合焦色であると共に緑及び青が非合焦色であり且つ緑に対応する非合焦色画像がＩｏｆ１である場合、ＰＳＦｏｆ１’ 及びＰＳＦｏｆ２’を逆フーリエ変換することで得られた空間領域上のＰＳＦｏｆ１及びＰＳＦｏｆ２が、夫々、ＰＳＦ_ORG:G及びＰＳＦ_ORG:Bとして求められ、且つ、合焦色に対応するＰＳＦ_ORG:Rは１とされる。

第２の導出方法に対して第２又は第３実施例にて述べた方法を適用することもできる。即ち、図１８のステップＳ４１〜Ｓ４９及びＳ６３の処理によって、各画素位置におけるＲ信号のＰＳＦ、Ｇ信号のＰＳＦ及びＢ信号のＰＳＦをガウス関数として近似的に求め、近似的に求められたガウス関数としてのＰＳＦの内の、注目画素位置におけるＲ、Ｇ及びＢ信号のＰＳＦを、夫々、ＰＳＦ_ORG:R、ＰＳＦ_ORG:G及びＰＳＦ_ORG:Bとして求めるようにしてもよい。

ステップＳ１５３の処理は図２４のステップＳ１２３のそれと同じであり、ステップＳ１５３において、目標合焦画像の注目画素位置におけるＰＳＦがＰＳＦ_TGとして導出される。

続くステップＳ１５４では、ステップＳ１５２にて求められた原画像のＰＳＦ（ＰＳＦ_ORG:R、ＰＳＦ_ORG:G及びＰＳＦ_ORG:B）とステップＳ１５３にて求められた目標合焦画像のＰＳＦ（ＰＳＦ_TG）とを線形演算することによって、原画像を目標合焦画像に変換するための補正関数を導出する。ステップＳ１５４にて導出される補正関数は、Ｒ信号についての補正関数ＦＣ_R、Ｇ信号についての補正関数ＦＣ_G及びＢ信号についての補正関数ＦＣ_Bから成り、それらは「ＦＣ_R＝ＰＳＦ_TG／ＰＳＦ_ORG:R」、「ＦＣ_G＝ＰＳＦ_TG／ＰＳＦ_ORG:G」及び「ＦＣ_B＝ＰＳＦ_TG／ＰＳＦ_ORG:B」によって表される。

その後、ステップＳ１５５において、補正関数ＦＣ_R、ＦＣ_G及びＦＣ_Bに基づき原画像を空間フィルタリングすることにより、目標合焦画像の注目画素位置におけるＲＧＢ信号を生成する。

実際には、ステップＳ１５４及びＳ１５５において、補正関数ＦＣ_Rに応じたフィルタ係数が導出され、そのフィルタ係数を有する空間フィルタを用いて原画像の注目画素位置におけるＲ信号をフィルタリングする。これによって得られた空間フィルタの出力信号が、目標合焦画像の注目画素位置におけるＲ信号として生成される。同様にして、補正関数ＦＣ_G及びＦＣ_Bに基づくフィルタリングにより、目標合焦画像の注目画素位置におけるＧ及びＢ信号が生成される。

第５実施例の如く処理しても、第４実施例と同様の効果が得られる。

［第６実施例］
次に、第６実施例を説明する。第６実施例では、第４又は第５実施例にて述べた方法に対する変形方法などを説明する。第６実施例にて述べた事項は、第４又は第５実施例と組み合わせて実施される。

――縮小画像の利用――
第４又は第５実施例では、被写界深度指定操作に従って深度拡大画像又は原画像から目標合焦画像が生成及び表示され、その操作によって指定される合焦基準距離及び／又は被写界深度の深さが変更される度に、リアルタイムに目標合焦画像が再生成されて表示画像が更新される（図２２又は図２８参照）。このような表示画像の更新により被写界深度の調整が容易となるが、ここで表示のために生成される目標合焦画像は、最終的にステップＳ１１０にて記録されるべき目標合焦画像の縮小画像であってもよい。撮像装置１に搭載される表示部１５の表示画面は、通常比較的小さいため、被写界深度の調整用のために生成及び表示される画像の解像度は低くても支障がないからである。

つまり、以下のように第４実施例を変形しても良い。図２２のステップＳ１０６において深度拡大画像から目標合焦画像を生成する際、深度拡大画像として深度拡大画像の縮小画像を用いることによって目標合焦画像の縮小画像を生成し、ステップＳ１０７においては、その目標合焦画像の縮小画像を表示する。その後、ユーザによる確定操作がなされた場合、確定操作がなされた時点における目標合焦曲線に従い、通常サイズの深度拡大画像を用いてステップＳ１０６の処理を再度実行することで通常サイズの目標合焦画像を生成する。その後、得られた通常サイズの目標合焦画像を圧縮処理を介して記録媒体１６に記録する（ステップＳ１０９及びＳ１１０）。

同様に、以下のように第５実施例を変形しても良い。図２８のステップＳ１０６ａにおいて原画像から目標合焦画像を生成する際、原画像として原画像の縮小画像を用いることによって目標合焦画像の縮小画像を生成し、ステップＳ１０７においては、その目標合焦画像の縮小画像を表示する。その後、ユーザによる確定操作がなされた場合、確定操作がなされた時点における目標合焦曲線に従い、通常サイズの原画像を用いてステップＳ１０６ａの処理を再度実行することで通常サイズの目標合焦画像を生成する。その後、得られた通常サイズの目標合焦画像を圧縮処理を介して記録媒体１６に記録する（ステップＳ１０９及びＳ１１０）。

尚、通常サイズの原画像、深度拡大画像及び目標合焦画像とは、画像サイズの縮小がなされていない原画像、深度拡大画像及び目標合焦画像を指し、原画像、深度拡大画像及び目標合焦画像の縮小画像とは、画像サイズの縮小がなされた原画像、深度拡大画像及び目標合焦画像を指す。通常サイズの原画像の画素数は、原画像の縮小画像のそれよりも大きい。深度拡大画像及び目標合焦画像についても同様である。画像サイズの縮小は、画素の間引きなどを用いた解像度変換によって実現される。

――目標合焦画像の被写界深度の自動設定――
第４及び第５実施例では、目標合焦画像における被写界深度がユーザの指示に従って設定されているが、それを主制御部１３が自動的に設定するようにしてもよい。

例えば、深度拡大画像又は原画像の画像データに基づき深度拡大画像又は原画像の画像領域の中から人物を検出する人物検出部、又は、深度拡大画像又は原画像の画像データに基づき深度拡大画像又は原画像の画像領域の中から人物の顔を検出する顔検出部を主制御部１３に設けておき、人物検出部又は顔検出部の検出結果に応じて、主制御部１３が自動的に暫定的な距離ＤＤ_O、ＤＤ_O1及びＤＤ_O2の値又は最終的な距離ＤＤ_O、ＤＤ_O1及びＤＤ_O2の値を決定するようにしても良い。画像データに基づく人物検出方法及び画像データに基づく顔検出方法として、公知の任意の方法を用いることができる。

具体的には、人物検出部又は顔検出部によって人物又は顔が検出された場合、その人物又は顔の画像データが存在する画像上の位置を検出し、検出した位置における被写体距離（平均的な被写体距離）を被写体距離マップから抽出して、抽出した被写体距離を暫定的な合焦基準距離ＤＤ_Oに設定する。換言すれば、抽出した被写体距離を距離ＤＤ_Oの初期値に設定する。一方で、予め定めておいた所定の距離差を暫定的に距離差（ＤＤ_O−ＤＤ_O1）及び（ＤＤ_O2−ＤＤ_O）に設定する。換言すれば、所定の距離差を距離差（ＤＤ_O−ＤＤ_O1）及び（ＤＤ_O2−ＤＤ_O）の初期値に設定する。これにより、距離ＤＤ_O、ＤＤ_O1及びＤＤ_O2の初期値が決定される。

この後、主制御部１３は、距離ＤＤ_O、ＤＤ_O1及びＤＤ_O2の初期値に従った目標合焦曲線を求めて該目標合焦曲線に従った目標合焦画像を生成及び表示する。ユーザが満足した場合はユーザの確定操作によって、この目標合焦画像が圧縮処理を介して記録媒体１６に記録される（図２２のステップＳ１０８〜Ｓ１１０を参照）。この場合、距離ＤＤ_O、ＤＤ_O1及びＤＤ_O2の初期値は、結果的に、最終的な距離ＤＤ_O、ＤＤ_O1及びＤＤ_O2の値と一致する。

ユーザは、第４実施例で示したようなタッチパネル操作又は操作部１７への操作によって、距離ＤＤ_O、ＤＤ_O1及びＤＤ_O2の値をそれらの初期値から変更することができる。その変更が成された場合、変更後の距離ＤＤ_O、ＤＤ_O1及びＤＤ_O2の値に従って、目標合焦曲線の導出を介して目標合焦画像が生成及び表示される。

人物又は顔を被写体に含めた撮影は、通常、人物又は顔に注目した撮影であるため、人物又は顔にピントが合い且つ背景がぼけたような、被写界深度の浅い画像の取得が望まれることが多い。従って、人物検出部又は顔検出部によって人物又は顔が検出された場合において距離差（ＤＤ_O−ＤＤ_O1）及び（ＤＤ_O2−ＤＤ_O）に設定される初期値は、比較的小さな値に設定される。

目標合焦画像の被写界深度を自動的に設定する方法は、上記方法に限定されない。例えば、被写体距離マップに含まれる各画素位置における推定被写体距離の内、最小の推定被写体距離を距離ＤＤ_Oの初期値に設定すると共に、所定の距離差を距離差（ＤＤ_O−ＤＤ_O1）及び（ＤＤ_O2−ＤＤ_O）の初期値に設定することにより、目標合焦画像の被写界深度の自動設定を実現してもよい。この場合も、距離ＤＤ_O、ＤＤ_O1及びＤＤ_O2の初期値に従った目標合焦画像が生成及び表示されるが、ユーザの指示によって距離ＤＤ_O、ＤＤ_O1及びＤＤ_O2の値はそれらの初期値から変更されうる。

――目標合焦画像の生成に関わるブロック図――
次に、第４又は第５実施例に述べた処理を担う部位の構成例を説明する。図３１は、その処理を担う部位のブロック図である。図３１の符号６１〜６２によって参照される各部位は、主制御部１３に設けられる。尚、第４及び第５実施例における主制御部１３には、図２１に示した部位（符号５１〜５６によって参照される部位）の全部又は一部も更に備えられている。

目標被写界深度設定部６１は、上述の被写界深度指定操作に基づき、或いは、第６実施例で上述した自動設定方法に従い、目標合焦画像の合焦基準距離（ＤＤ_O）並びに前方被写界深度の深さ（ＤＤ_O−ＤＤ_O1）及び後方被写界深度の深さ（ＤＤ_O2−ＤＤ_O）を設定する。この設定内容に従い、目標合焦画像の被写界深度（目標被写界深度）を表す目標合焦曲線が生成される。

画像補正部６２は、図２２のステップＳ１０６の処理又は図２８のステップＳ１０６ａの処理を実行する。即ち、目標合焦曲線に従い、被写体距離マップを用いて深度拡大画像又は原画像から目標合焦画像を生成する。

本実施形態の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。

撮像装置１は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、主制御部１３内で実行される処理の全部又は一部は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。

本発明の実施形態に係り、レンズが有する軸上色収差の特性を説明するための図である。 本発明の実施形態に係り、点光源、軸上色収差を有するレンズ、各色光の結像点及び撮像素子の位置関係を示す図であって、（ａ）は点光源及びレンズ間距離が比較的小さい場合のそれを、（ａ）は点光源及びレンズ間距離が中程度である場合のそれを、（ｃ）は点光源及びレンズ間距離が比較的大きい場合のそれを表す。 本発明の実施形態に係り、点光源、軸上色収差を有するレンズ及び撮像素子の位置関係と、撮像素子上における各色光の像の広がりを示す図である。 被写体距離と原画像のＢ、Ｇ及びＲ信号のぼけ半径との関係を示すグラフである。 本発明の実施形態に係る撮像装置の概略全体ブロック図である。 図５の光学系の内部構成図である。 本発明の第１実施例に係る、静止画像撮影時の撮像装置の動作フローチャートである。 空間領域の二次元座標系ＸＹ上に定義される二次元画像を示す図である。 図７の動作の一部である、被写界深度拡大処理の動作フローチャートである。 図９の被写界深度拡大処理の概念図である。 被写体距離と、原画像のＢ、Ｇ及びＲ信号のぼけ半径並びに深度拡大画像のぼけ半径と、の関係を示すグラフである。 非合焦色画像に対する、空間領域上のＰＳＦのイメージ図である。 被写体距離の推定手順の概略を表す概念図である。 ガウス分布状のぼけを有する画像についてのケプストラム画像を示す図である。 図４のグラフを基礎とした、被写体距離の推定方法を説明するための図である。 図４のグラフを基礎とした、被写体距離の推定方法を説明するための図である。 二次元画像上に代表点が格子状に配置される様子を示した図である。 本発明の第２実施例に係る被写界深度拡大処理の動作フローチャートである。 ４つの代表画素位置と１つの非代表画素位置との位置関係を示す図である。 本発明の第２実施例に係り、原画像の色信号から深度拡大画像の色信号を生成する部位のブロック図である。 本発明の第３実施例に係る主制御部の内部構成を表すブロック図である。 本発明の第４実施例に係り、深度拡大画像から目標合焦画像を生成する動作フローチャートである。 深度拡大画像の合焦曲線及び目標合焦画像の合焦曲線を示す図である。 図２２の動作の一部の詳細フローチャートである。 深度拡大画像の合焦曲線及び目標合焦画像の合焦曲線を示す図であって、図２４における処理の説明の補助に用いられる図である。 目標合焦画像の合焦基準距離及び被写界深度の深さを調整する際に表示される画像の例を示す図である。 レンズと撮像素子と撮影範囲との関係を示す図である。 本発明の第５実施例に係り、原画像から目標合焦画像を生成する動作フローチャートである。 図２８の動作の一部の詳細フローチャートである。 原画像の合焦曲線及び目標合焦画像の合焦曲線を示す図であって、図２９における処理の説明の補助に用いられる図である。 本発明の第６実施例に係る主制御部の一部ブロック図である。 従来技術に係り、軸上色収差を有さないレンズと撮像素子と撮像素子への入射光との関係を示す図である。 従来の撮像装置における、静止画像撮影時の動作フローチャートである。

符号の説明

１ 撮像装置
１０ 光学系
１０Ｌ レンズ
１１ 撮像素子
１２ ＡＦＥ
１３ 主制御部
５１ 小領域抽出部
５２ 合焦色特定部
５３ ＰＳＦ算出部
５４ 画像復元処理部
５５ 被写体距離推定部
５６ 記録制御部
６１ 目標被写界深度設定部
６２ 画像補正部

Claims (6)

1. 軸上色収差を有する光学系を介して被写体を撮影し、複数色の色信号から成る撮影画像を取得する撮像装置において、
   前記撮影画像の一部画像領域である小領域を、複数個、前記撮影画像から抽出する小領域抽出手段と、
   前記小領域ごとに、前記小領域内の各色信号に含まれる所定の高域周波数成分を異なる色信号間で比較することで、前記複数色の内、前記軸上色収差に基づく画像ぼけが最も少ない色信号の色を合焦色として、それ以外の色信号の色を非合焦色として特定する合焦色特定手段と、
   前記小領域ごとに、当該小領域内の前記合焦色の色信号から成る合焦色画像及び当該小領域内の前記非合焦色の色信号から成る非合焦色画像に基づいて前記非合焦色画像の前記画像ぼけの状態を表す画像劣化関数を導出する導出手段と、
   導出された各画像劣化関数に基づいて各非合焦色画像の前記画像ぼけを補正するぼけ補正手段と、を備えた
   ことを特徴とする撮像装置。
2. 前記小領域ごとに、前記小領域内の各色信号の前記高域周波数成分に基づいて前記小領域における被写体距離を推定する被写体距離推定手段と、
   目標被写界深度を設定する目標被写界深度設定手段と、
   各非合焦色画像のぼけが補正された後の撮影画像に対して、前記被写体距離推定手段による各推定被写体距離と前記目標被写界深度に応じた画像処理を施すことにより、前記目標被写界深度を有する目標合焦画像を生成する目標合焦画像生成手段と、を更に備えた
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記小領域ごとに、前記小領域内の各色信号の前記高域周波数成分に基づいて前記小領域における被写体距離を推定する被写体距離推定手段と、
   各非合焦色画像のぼけが補正された後の撮影画像の画像データと各推定被写体距離とを互いに関連付けて記録媒体に記録させる記録制御手段と、を更に備えた
   ことを特徴とする請求項１に記載の撮像装置。
4. 軸上色収差を有する光学系を介して被写体を撮影し、複数色の色信号から成る撮影画像を取得する撮像装置において、
   前記撮影画像の一部画像領域である小領域を、複数個、前記撮影画像から抽出する小領域抽出手段と、
   前記小領域ごとに、前記小領域内の各色信号に含まれる所定の高域周波数成分に基づいて前記小領域における被写体距離を推定する被写体距離推定手段と、
   目標被写界深度を設定する目標被写界深度設定手段と、
   前記被写体距離推定手段による各推定被写体距離に基づき前記目標被写界深度に従って前記撮影画像の被写界深度を変更することにより、前記目標被写界深度を有する目標合焦画像を生成する補正手段と、を備え、
   前記補正手段は、前記撮影画像中の各画素位置における色信号ごとの、前記軸上色収差に基づく画像劣化関数と、前記目標合焦画像中の各画素位置における、前記目標被写界深度に応じた画像劣化関数とを、前記被写体距離推定手段による各推定被写体距離を用いて求め、前者の画像劣化関数と後者の画像劣化関数とに基づく補正関数を用いて前記撮影画像から前記目標合焦画像を生成する
   ことを特徴とする撮像装置。
5. 前記目標被写界深度によって、前記目標合焦画像の被写界深度内に位置すべき被写体距離範囲が指定され、
   前記目標被写界深度設定手段は、前記撮影画像又は前記撮影画像に基づく画像を表示手段に表示させている状態において外部から受けた操作内容に基づき、前記被写体距離範囲を指定する
   ことを特徴とする請求項２または請求項４に記載の撮像装置。
6. 前記撮影画像から人物又は人物の顔を検出する検出手段を更に備え、
   前記目標被写界深度設定手段は、前記検出手段の検出結果に基づいて前記目標被写界深度を設定する
   ことを特徴とする請求項２または請求項４に記載の撮像装置。

Images