JP6042031B2 - 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム - Google Patents

Description

本発明は、点拡がり関数に基づく復元処理に係る画像処理装置、撮影装置、画像処理方法及び画像処理プログラムに関する。

光学系を介して撮影される被写体像には、光学系に起因する回折や収差等の影響により、点被写体が微小な広がりを持つ点拡がり現象が見られることがある。光学系の点光源に対する応答を表す関数は点拡がり関数(ＰＳＦ:Point Spread Function)と呼ばれ、撮影画像の解像度劣化（ボケ）を左右する特性として知られている。

点拡がり現象のために画質劣化した撮影画像は、ＰＳＦに基づく点像復元処理を受けることにより画質を回復可能である。この点像復元処理は、レンズ（光学系）の収差等に起因する劣化特性（点像特性）を予め求めておき、その点像特性に応じた復元フィルタ（回復フィルタ）を用いた画像処理によって撮影画像の点拡がりをキャンセル又は軽減させる処理である。

点像復元の処理は、周波数回復（補正）処理と、位相回復（補正）処理とに大別することができる。周波数回復処理は、光学系によって劣化した変調伝達関数（ＭＴＦ：Modulation Transfer Function）特性を等化(equalize)するもの、すなわち回復するものであり、位相回復処理は、光学系によって劣化した位相伝達関数（ＰＴＦ：Phase Transfer Function)特性を等化するもの、すなわち回復するものである。

直感的には、位相回復処理は非点対称なＰＳＦ形状をなるべく点対称な形状に戻すように、周波数依存により像を移動させるものである。

周波数回復処理と位相回復処理は、信号処理としては同時に適用することができるが、フィルタ係数の設計方法を変えることによって、どちらか片方のみの補正とすることも可能である。

この種の点像復元処理については様々な手法が提案されている。

特許文献１は、画像回復処理によるノイズの増幅等を抑制するために、入力画像の振幅成分及び位相成分を回復処理することにより第１の画像を生成し、一方、入力画像の位相成分のみを回復処理することにより第２の画像を生成し、生成した第１及び第２の画像の差分情報を取得し、第２の画像に対して、差分情報を適宜の回復強度調整係数に応じて合成することにより、回復調整画像を生成する画像処理装置を開示する。

また、特許文献２は、非線形補正が行われた画像に対してブラインドデコンボリューションを用いて画像回復を行う画像処理装置を開示する。この画像処理装置は、非線形な階調補正が施された撮影画像に対して非線形な階調補正を低減する補正を行う補正部と、階調補正が低減された撮影画像に対してブラインドデコンボリューションを適用して画像回復を行う画像回復部とを備える。

特許文献３は、画像回復処理による画像データの過回復を低減させる画像処理装置を開示する。この画像処理装置では、ガンマ処理前にＲＧＢ形式のカラー画像データに対する画像回復処理が行われ、ガンマ補正による画素信号値の増幅及び減衰の違いが吸収され、画素信号値の変化量の最大値がガンマ補正後でも一定になるように変化量の制限値が算出される。これにより、「飽和画素によって、実際に得られる画像データの劣化状態と、画像回復フィルタが回復対象として想定している画像データの劣化状態とが、一致しない事態が発生する」、「エッジ部分においてアンダーシュートやオーバーシュートといった画質劣化が発生し、特に低輝度部でのアンダーシュートが画像回復処理後のガンマ処理によって増幅される」といった技術上の課題の解決が図られている。

また、光学系の点拡がり関数は焦点深度が拡大された画像の復元技術でも使われており、特許文献４は、画像復元を短時間かつ精度良く実行する撮像モジュールを開示する。この撮影モジュールでは、同時化処理（デモザイク処理）後の輝度信号に復元処理をかけることにより、復元処理のパラメータをＲＧＢ別々に持つ必要がなくなり、復元処理が高速化する。また、近接する画素同士を所定の単位にまとめ、その単位には共通の復元処理パラメータを適用してデコンボリューション処理することにより、復元処理精度の向上が図られている。

特開２０１１−１２４６９２号公報 特開２０１１−０５９８１３号公報 特開２０１３−０２０６１０号公報 特開２０１２−０４９７５９号公報

上述の点像復元処理は、光学系による点拡がり現象（光学特性）のためにボケた画像を本来のシャープな画像に復元する処理であり、画質劣化した原画像データに対して点拡がり関数に基づく復元フィルタを適用することにより画質劣化が除去又は改善された回復画像を取得する技術である。

従って、被写体像を忠実に再現した回復画像を得るためには、点像復元処理に使用する「復元フィルタの想定する画質劣化特性」と「原画像データの受ける実際の画質劣化特性」とが適切にマッチングしていることが必要とされる。

即ち、光学系によってもたらされる画質劣化が正確に把握され、そのような画質劣化を厳密に除去可能な復元フィルタが設計され、光学系による画質劣化（点拡がり現象）が原画像データに的確に反映されていれば、原理的には、「画質劣化した撮影画像」から「被写体像が忠実に再現された高画質な画像」を得ることが可能である。

しかしながら、被写体像や撮影機器類の特性によっては、「復元フィルタの特性」と「原画像データの画質劣化」とが適切にマッチングしないことがある。

例えば、原画像データは撮像素子の撮像能力によって画質が変動し、被写体像が非常に明るい場合には撮像素子において画素飽和現象が生じることがある。画素飽和が生じた場合、その飽和部分において画像波形プロファイルがクリッピング等されるため、得られる原画像データは必ずしもレンズ光学系の持つ画質劣化特性を忠実に受けたものではない。

このように、復元処理の対象となる原画像データは、光学系に由来する劣化特性の影響だけではなく撮像素子や前段の非線形な信号処理に由来する非線形な劣化特性の影響も受け、特に被写体像のコントラストが大きい場合には想定外の画質劣化を生じることがある。

従って、光学系の特性を十分に解析して点拡がり現象の影響を抑制可能な復元フィルタが設計されていても、被写体像によっては、「復元フィルタの特性」と「原画像データの画質劣化」とが適切にマッチングしないことがある。

「復元フィルタの特性」と「原画像データの画質劣化」とが適切にマッチングしていない条件下において復元処理が行われると、画質劣化が十分には取り除かれず良質の回復画像が得られず、場合によっては画質劣化を助長してしまいリンギング等が回復画像において目立ってしまうこともある。

回復画像において生じる画質劣化（リンギング等）の程度は、様々な因子に左右される。例えば、復元処理において使用する復元フィルタ特性、復元処理が適用される原画像データのデータ特性、復元処理の前後で行われる他の画像処理等の影響によって、点像復元処理後の回復画像の画質は変動する。従って、回復画像における画質劣化をより効果的に防止或いは低減するため、各種の特性を総合的に勘案した復元処理手法が望まれている。特に、様々な被写体像が撮影される場合には復元処理対象の画像データ特性は一定せず、全体的に或いは局所的にコントラストの大きな画像、色が偏った画像、一部の画素値が飽和状態にある画像等、様々な特性を持つ画像が復元処理の対象となりうる。従って、様々な特性を持つ処理対象画像に柔軟に対応可能な画像タフネス性に優れた復元処理手法が切望されている。

ところで、周波数回復（補正）処理は、位相回復（補正）処理と比較すると、画像のエッジ部分に対する補正の度合いが大きく、エッジ付近に僅かながらもオーバーシュート及び／又はアンダーシュートを発生してしまう場合が多い。これの原因としては、以下で挙げるものが考えられる。

（１）レンズ製造バラツキや被写体距離などの撮影条件の想定とのずれによる周波数特性の乖離。

（２）撮像素子のリニアリティーや、（デモザイキング処理後に回復フィルタ処理を行う回路構成の場合には）デモザイキング処理などの非線形な処理が入ることによって、回復処理の前段にて周波数特性が変化してしまう。

（３）回復フィルタのタップ数が不十分であり、回復フィルタの周波数特性が所望のものから乖離している。

上述した周波数回復処理によりエッジ付近に発生するオーバーシュート／アンダーシュートは、単体では目立たない場合も多いが、その後段にてガンマ補正を行った場合、ガンマ補正が一般に低輝度側の振幅を大きく強調するために、目立ったアーティファクトとなってしまう問題があった。

一方、位相回復処理をガンマ補正後に行うと、ガンマ補正による画像の周波数特性の変化によって、補正効果が弱くなってしまうことが生じうる。

特許文献１〜４に記載の発明は、上記の問題を解決することができず、また、特許文献１〜４には、「点拡がり関数を利用した復元処理において、復元処理自体だけではなく復元処理の前後の処理における様々な要因を総合的に勘案し、様々な特性を持つ原画像に対して柔軟に対応することが可能な画像タフネス性に優れた画像処理方法」に関する提案等はなされていない。

本発明はこのような事情に鑑みてなされ、光学系の点拡がり関数に起因する劣化画像を回復させる際に、位相回復を効果的に行うことができ、かつ周波数回復処理に起因するアーティファクトの発生を抑制することができる画像処理装置、撮影装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

上記目的を達成するために本発明の一の態様に係る画像処理装置は、光学系を用いた被写体像の撮影により撮像素子から取得される画像データに対し、光学系の点拡がり関数に基づく位相回復フィルタを用いた位相回復処理を行う位相回復処理部と、位相回復処理された画像データに対して、非線形な階調補正を行う階調補正処理部と、階調補正された画像データに対し、光学系の点拡がり関数に基づく周波数回復フィルタを用いた周波数回復処理を行う周波数回復処理部と、を備える。

本発明の一の態様によれば、撮像素子から取得される画像データに対し、光学系の点拡がり関数に基づく位相回復フィルタを用いた位相回復処理と、光学系の点拡がり関数に基づく周波数回復フィルタを用いた周波数回復処理との２種類の回復処理を２回に分けて実行し、特に画像データを非線形に階調補正する階調補正前に位相回復処理を行い、位相回復処理及び階調補正後に周波数回復処理を行うようにしている。

理想的には、周波数回復処理と位相回復処理は、非線形な階調補正前に行う方が望ましい。理由は、非線形な階調補正によって画像の周波数特性が非線形に変化してしまうため、理論上は階調補正以前に復元処理を行わないと、正確な補正が実行できないからである。

本発明では、周波数回復処理及び位相回復処理のうち、位相回復処理は階調補正前に行い、周波数回復処理は階調補正後に行うようにしている。階調補正前（画像の周波数特性の変化前）に位相回復処理を行うようにしたため、位相回復を効果的に行うことができ、また、階調補正後に周波数回復処理を行うため、周波数回復処理により僅かに発生するオーバーシュート／アンダーシュートが階調補正により増幅（強調）されることがなく、アーティファクトが強く発生するのを防止することができる。

本発明の他の態様に係る画像処理装置において、位相回復フィルタ及び周波数回復フィルタを記憶する記憶部を備え、位相回復処理部は、記憶部から位相回復フィルタを読み出して位相回復処理に使用し、周波数回復処理部は、記憶部から周波数回復フィルタを読み出して周波数回復処理に使用することが好ましい。位相回復フィルタ及び周波数回復フィルタを記憶部に記憶させることにより、回復処理時に位相回復フィルタ及び周波数回復フィルタを生成する計算コストを低減することができる。

本発明の更に他の態様に係る画像処理装置において、光学系の点拡がり関数、点拡がり関数をフーリエ変換した光学伝達関数、又は光学伝達関数の振幅成分を示す変調伝達関数及び位相成分を示す位相伝達関数を記憶する記憶部を備え、位相回復処理部は、記憶部から点拡がり関数、光学伝達関数、又は位相伝達関数を読み出して位相回復フィルタを生成し、生成した位相回復フィルタを位相回復処理に使用し、周波数回復処理部は、記憶部から点拡がり関数、光学伝達関数、又は変調伝達関数を読み出して周波数回復フィルタを生成し、生成した周波数回復フィルタを周波数回復処理に使用することができる。

本発明の更に他の態様に係る画像処理装置において、位相回復処理部は、撮像素子から取得される画像データであって、色チャンネル毎の画像データに対して、それぞれ位相回復フィルタを用いた位相回復処理を行い、周波数回復処理部は、階調補正された画像データであって、色チャンネル毎の画像データに対して、それぞれ周波数回復フィルタを用いた周波数回復処理を行うことが好ましい。

本発明の更に他の態様によれば、色チャンネル毎の位相伝達関数（ＰＴＦ）を反映させた位相回復処理を行うことができ、これにより倍率色収差、軸上色収差等の各種色収差を補正することができ、また、色チャンネル毎の変調伝達関数（ＭＴＦ）を反映させた周波数回復処理を行うことができる。

本発明の更に他の態様に係る画像処理装置において、位相回復処理部は、撮像素子から取得される画像データであって、色チャンネル毎の画像データに対して、それぞれ位相回復フィルタを用いた位相回復処理を行い、周波数回復処理部は、階調補正処理部により階調補正された画像データであって、色チャンネル毎の画像データから生成される輝度成分を示す画像データに対して、周波数回復フィルタを用いた周波数回復処理を行うことが好ましい。

本発明の更に他の態様によれば、色チャンネル毎のＰＴＦを反映させた位相回復処理を行うことができ、また、輝度成分を示す画像データ（１チャンネルの画像データ）に対して周波数回復処理を行うことにより、チャンネル数の減少による計算コスト（回路規模）を低減することができる。

本発明の更に他の態様に係る画像処理装置において、位相回復処理部は、撮像素子から取得される画像データであって、色チャンネル毎の画像データから生成される輝度成分を示す画像データに対して、位相回復フィルタを用いた位相回復処理を行い、周波数回復処理部は、階調補正された画像データであって、色チャンネル毎の画像データから生成される輝度成分を示す画像データに対して、周波数回復フィルタを用いた周波数回復処理を行うことが好ましい。１チャンネルの輝度成分を示す画像データに対して、それぞれ位相回復処理及び周波数回復処理を行うため、計算コスト（回路規模）を最小にすることができる。

本発明の更に他の態様に係る画像処理装置において、撮像素子から取得される色チャンネル毎の画像データから輝度成分を示す輝度データを生成する輝度データ生成部を備え、位相回復処理部は、輝度データ生成部により生成された輝度データに対して、位相回復フィルタを用いた位相回復処理を行い、階調補正処理部は、位相回復処理された輝度データに対し、非線形な階調補正を行い、周波数回復処理部は、階調補正された輝度データに対して、周波数回復フィルタを用いた周波数回復処理を行うことが好ましい。

本発明の更に他の態様に係る画像処理装置において、階調補正処理部は、画像データに対して、対数化処理による階調補正を行うガンマ補正処理部である。ここでいう「対数化処理」は、真数により表現されるデータを対数により表現されるデータに変換する処理であり、加えて、本出願においては例えば画像データに対して行われるガンマ補正処理も含まれる。即ち、「対数化処理」は対数により表現される画像データに変換し、当該画像データへ、階調処理の一つであるガンマ補正処理を行うことも指す。

本発明の更に他の態様に係る画像処理装置において、位相回復処理部により位相回復処理される画像データのビット長は、周波数回復処理部により周波数回復処理される画像データのビット長よりも大きいことが好ましい。画像データのビット長が大きい方が、より精度の高い画像処理を行うことができ、特に非線形な階調補正前の画像データのビット長が大きいと、階調補正時により円滑な階調補正を行うことができる。

本発明の更に他の態様に係る画像処理装置において、光学系は、位相を変調して被写界深度を拡大させるレンズ部を有する。本態様によれば、いわゆるＥＤｏＦ（Extended Depth of Field(Focus)）光学系を介して得られる画像データに関しても、点拡がり関数に基づく復元処理を精度良く行うことができる。尚、レンズ部における位相を変調させる手法（光学的位相変調手段）は特に限定されず、レンズ間に位相変調部を設けたり、レンズ自体（例えばレンズの入射面及び／又は出力面）に位相変調機能を持たせたりすることも可能である。

本発明の更に他の態様に係る撮影装置は、光学系を用いた被写体像の撮影により画像データを出力する撮像素子と、上記の画像処理装置と、を備える。

本発明の更に他の態様に係る画像処理方法は、光学系を用いた被写体像の撮影により撮像素子から取得される画像データに対し、光学系の点拡がり関数に基づく位相回復フィルタを用いた位相回復処理を行うステップと、位相回復処理された画像データに対して、非線形な階調補正を行うステップと、階調補正された画像データに対し、光学系の点拡がり関数に基づく周波数回復フィルタを用いた周波数回復処理を行うステップと、を含む。

本発明の更に他の態様に係る画像処理プログラムは、光学系を用いた被写体像の撮影により撮像素子から取得される画像データに対し、光学系の点拡がり関数に基づく位相回復フィルタを用いた位相回復処理を行うステップと、位相回復処理された画像データに対して、非線形な階調補正を行うステップと、階調補正された画像データに対し、光学系の点拡がり関数に基づく周波数回復フィルタを用いた周波数回復処理を行うステップと、をコンピュータに実行させる。

本発明によれば、撮像素子から取得される画像データに対し、光学系の点拡がり関数に基づく位相回復フィルタを用いた位相回復処理と、光学系の点拡がり関数に基づく周波数回復フィルタを用いた周波数回復処理とを分けて実行し、特に画像データを非線形に階調補正する階調補正前（画像の周波数特性の変化前）に位相回復処理を行うようにしたため、位相回復を効果的に行うことができ、また、階調補正後に周波数回復処理を行うようにしたため、周波数回復処理により僅かに発生するオーバーシュート及び／又はアンダーシュートが階調補正により増幅（強調）されることがなく、アーティファクトが強く発生するのを防止することができる。

コンピュータに接続されるデジタルカメラを示すブロック図である。 カメラ本体コントローラの機能構成例を示すブロック図である。 画像撮影から点像復元処理までの概略を示す図である。 被写体像中のエッジ部分（画像境界部分）の画質変化の一例を示す図であり、理想的な点像復元処理（画素値の飽和無し、クリッピング無し）が行われる場合を示す。 「実際の画像劣化特性（画像ボケ特性）」と「使用する復元フィルタの基礎となる点拡がり関数」とが完全にはマッチングしない場合の、原画像データ、回復画像データ、及び階調補正処理後の画像データの一例を示す図である。 実際の点像復元処理（画素値の飽和有り、クリッピング有り）における、被写体像中のエッジ部分のコントラスト変化の一例を示す図であり、図６（ａ）は被写体像が本来有するコントラストを示し、図６（ｂ）は点像復元処理前の原画像データにおけるコントラストを示し、図６（ｃ）は点像復元処理後の回復画像データにおけるコントラストを示す。 ガンマ処理（対数化処理における階調処理）による処理前データと処理後データとの間の関係の一例を示す図である。 本発明に係る画像処理装置としての画像処理部の第１実施形態を示すブロック図である。 画像処理部における位相回復処理部の一実施形態を示すブロック図である。 画像処理部における階調補正処理部により階調補正される入出力特性（ガンマ特性）の一例を示すグラフである。 画像処理部における周波数回復処理部の一実施形態を示すブロック図である。 本発明に係る画像処理装置としての画像処理部の第２実施形態を示すブロック図である。 画像処理部における周波数回復処理部の他の実施形態を示すブロック図である。 本発明に係る画像処理装置としての画像処理部の第３実施形態を示すブロック図である。 画像処理部における位相回復処理部の他の実施形態を示すブロック図である。 ＥＤｏＦ光学系を備える撮像モジュールの一形態を示すブロック図である。 ＥＤｏＦ光学系の一例を示す図である。 ＥＤｏＦ光学系を介して取得された画像の復元例を示す図である。 本発明の撮影装置の一実施形態であるスマートフォンの外観を示す。 図１９に示すスマートフォンの構成を示すブロック図である。

添付図面を参照して本発明の実施形態について説明する。以下の実施形態では、一例として、コンピュータ（ＰＣ：パーソナルコンピュータ）に接続可能なデジタルカメラ（撮影装置）に本発明を適用する場合について説明する。

図１は、コンピュータに接続されるデジタルカメラを示すブロック図である。

デジタルカメラ１０は、交換可能なレンズユニット１２と、撮像素子２６を具備するカメラ本体１４とを備え、レンズユニット１２のレンズユニット入出力部２２とカメラ本体１４のカメラ本体入出力部３０とを介し、レンズユニット１２とカメラ本体１４とは電気的に接続される。

レンズユニット１２は、レンズ１６や絞り１７等の光学系と、この光学系を制御する光学系操作部１８とを具備する。光学系操作部１８は、レンズユニット入出力部２２に接続されるレンズユニットコントローラ２０と、光学系を操作するアクチュエータ（図示省略）とを含む。レンズユニットコントローラ２０は、レンズユニット入出力部２２を介してカメラ本体１４から送られてくる制御信号に基づき、アクチュエータを介して光学系を制御し、例えば、レンズ移動によるフォーカス制御やズーム制御、絞り１７の絞り量制御、等を行う。

カメラ本体１４の撮像素子２６は、集光用マイクロレンズ、Ｒ（赤）Ｇ（緑）Ｂ（青）等のカラーフィルタ、及びイメージセンサ（フォトダイオード；ＣＭＯＳ（Complementary Metal Oxide Semiconductor）、ＣＣＤ（Charge-Coupled Device）等）を有する。この撮像素子２６は、レンズユニット１２の光学系（レンズ１６、絞り１７等）を介して照射される被写体像の光を電気信号に変換し、画像信号（原画像データ）をカメラ本体コントローラ２８に送る。

本例の撮像素子２６は、光学系を用いた被写体像の撮影により原画像データを出力し、この原画像データはカメラ本体コントローラ２８の画像処理部に送信される。

カメラ本体コントローラ２８は、図２に示すようにデバイス制御部３４と画像処理部（画像処理装置）３５とを有し、カメラ本体１４を統括的に制御する。デバイス制御部３４は、例えば、撮像素子２６からの画像信号（画像データ）の出力を制御し、レンズユニット１２を制御するための制御信号を生成してカメラ本体入出力部３０を介してレンズユニット１２（レンズユニットコントローラ２０）に送信し、入出力インターフェース３２を介して接続される外部機器類（コンピュータ６０等）に画像処理前後の画像データ（ＲＡＷデータ、ＪＰＥＧデータ等）を送信する。また、デバイス制御部３４は、図示しない表示部（ＥＶＦ：Electronic View Finder、背面液晶表示部）等、デジタルカメラ１０が具備する各種デバイス類を適宜制御する。

一方、画像処理部３５は、撮像素子２６からの画像信号に対し、必要に応じた任意の画像処理を行うことができる。例えば、センサ補正処理、デモザイク（同時化）処理、画素補間処理、色補正処理（オフセット補正処理、ホワイトバランス処理、カラーマトリック処理、階調補正処理（階調補正処理部３３）等）、ＲＧＢ画像処理（シャープネス処理、トーン補正処理、露出補正処理、輪郭補正処理等）、ＲＧＢ／ＹＣｒＣｂ変換処理及び画像圧縮処理等の各種の画像処理が、画像処理部３５において適宜行われる。特に本例の画像処理部３５は、光学系の点拡がり関数に基づく復元処理（点像復元処理）を画像信号（原画像データ）に対して行う点像復元制御処理部３６を含む。点像復元処理の詳細は後述する。

尚、図１に示すデジタルカメラ１０は、撮影等に必要なその他の機器類（シャッター等）を具備し、ユーザは、カメラ本体１４に設けられるユーザインターフェース２９を介して撮影等のための各種設定（ＥＶ値（Exposure Value）等）を適宜決定及び変更することができる。ユーザインターフェース２９は、カメラ本体コントローラ２８（デバイス制御部３４及び画像処理部３５）に接続され、ユーザによって決定及び変更された各種設定がカメラ本体コントローラ２８における各種処理に反映される。

カメラ本体コントローラ２８において画像処理された画像データは、入出力インターフェース３２を介してコンピュータ６０等に送られる。デジタルカメラ１０（カメラ本体コントローラ２８）からコンピュータ６０等に送られる画像データのフォーマットは特に限定されず、ＲＡＷ、ＪＰＥＧ、ＴＩＦＦ等の任意のフォーマットとしうる。従って、カメラ本体コントローラ２８は、いわゆるＥｘｉｆ（Exchangeable Image File Format）のように、ヘッダ情報（撮影情報（撮影日時、機種、画素数、絞り値等）等）、主画像データ及びサムネイル画像データ等の複数の関連データを相互に対応づけて１つの画像ファイルとして構成し、この画像ファイルをコンピュータ６０に送信してもよい。

コンピュータ６０は、カメラ本体１４の入出力インターフェース３２及びコンピュータ入出力部６２を介してデジタルカメラ１０に接続され、カメラ本体１４から送られてくる画像データ等のデータ類を受信する。コンピュータコントローラ６４は、コンピュータ６０を統括的に制御し、デジタルカメラ１０からの画像データを画像処理し、インターネット７０等のネットワーク回線を介してコンピュータ入出力部６２に接続されるサーバ８０等との通信を制御する。コンピュータ６０はディスプレイ６６を有し、コンピュータコントローラ６４における処理内容等が必要に応じてディスプレイ６６に表示される。ユーザは、ディスプレイ６６の表示を確認しながらキーボード等の入力手段（図示省略）を操作することにより、コンピュータコントローラ６４に対してデータやコマンドを入力することができる。これによりユーザは、コンピュータ６０や、コンピュータ６０に接続される機器類（デジタルカメラ１０、サーバ８０）を制御することができる。

サーバ８０は、サーバ入出力部８２及びサーバコントローラ８４を有する。サーバ入出力部８２は、コンピュータ６０等の外部機器類との送受信接続部を構成し、インターネット７０等のネットワーク回線を介してコンピュータ６０のコンピュータ入出力部６２に接続される。サーバコントローラ８４は、コンピュータ６０からの制御指示信号に応じ、コンピュータコントローラ６４と協働し、コンピュータコントローラ６４との間において必要に応じてデータ類の送受信を行い、データ類をコンピュータ６０にダウンロードし、演算処理を行ってその演算結果をコンピュータ６０に送信する。

各コントローラ（レンズユニットコントローラ２０、カメラ本体コントローラ２８、コンピュータコントローラ６４、サーバコントローラ８４）は、制御処理に必要な回路類を有し、例えば演算処理回路（ＣＰＵ等）やメモリ等を具備する。また、デジタルカメラ１０、コンピュータ６０及びサーバ８０間の通信は有線であってもよいし無線であってもよい。また、コンピュータ６０及びサーバ８０を一体的に構成してもよく、またコンピュータ６０及び／又はサーバ８０が省略されてもよい。また、デジタルカメラ１０にサーバ８０との通信機能を持たせ、デジタルカメラ１０とサーバ８０との間において直接的にデータ類の送受信が行われるようにしてもよい。

＜点像復元処理＞
次に、撮像素子２６を介して得られる被写体像の撮影データ（画像データ）の点像復元処理について説明する。

以下の例では、カメラ本体１４（カメラ本体コントローラ２８）において点像復元処理が実施される例について説明するが、点像復元処理の全部又は一部を他のコントローラ（レンズユニットコントローラ２０、コンピュータコントローラ６４、サーバコントローラ８４等）において実施することも可能である。

本例の点像復元処理は、光学系（レンズ１６、絞り１７等）を用いた被写体像の撮影により撮像素子２６から取得される原画像データに対し、光学系の点拡がり関数に基づく位相回復フィルタを用いた位相回復処理を行って回復画像データを取得する処理と、光学系の点拡がり関数に基づく周波数回復フィルタを用いた周波数（振幅）回復処理を行って回復画像データを取得する処理とを含む。

図３は、画像撮影から点像復元処理までの概略を示す図である。

図３に示すように点像を被写体として撮影を行う場合、被写体像は光学系（レンズ１６、絞り１７等）を介して撮像素子２６（イメージセンサ）により受光され、撮像素子２６から原画像データＤｏが出力される。この原画像データＤｏは、光学系の特性に由来する点拡がり現象によって振幅成分と位相成分とが劣化し、本来の被写体像（点像）は、非点対称なボケ画像となる。なお図３において、符号αは撮影条件に応じた点像情報（点拡がり関数）（絞り、焦点距離、像高ごと）を表している。

このボケ画像の点像復元処理は、光学系の収差等による劣化（点拡がり関数（ＰＳＦ）／光学伝達関数(ＯＴＦ：Optical Transfer Function)）の特性を求めておき、撮影された画像（劣化している画像）を、ＰＳＦ／ＯＴＦに基づいて生成した復元（回復）フィルタを使用して復元処理することにより解像度の高い画像に復元する処理である。

ＰＳＦとＯＴＦとはフーリエ変換の関係にあり、ＰＳＦは実関数、ＯＴＦは複素関数である。これらと等価な情報を持つものとして、変調伝達関数又は振幅伝達関数（ＭＴＦ）と位相伝達関数（ＰＴＦ）があり、それぞれＯＴＦの振幅成分と位相成分を示す。ＭＴＦとＰＴＦとを合わせてＯＴＦやＰＳＦと等価な情報量を持つ。

一般に、ＰＳＦによるボケ画像の復元には、コンボリュージョン型のウィナー(Wiener)フィルタを利用することができる。ＰＳＦ(x,y)をフーリエ変換したＯＴＦと信号対雑音比（ＳＮＲ）の情報を参照して、以下の式によって復元フィルタの周波数特性ｄ（ω_ｘ，ω_ｙ）を算出することができる。

ここでＨ（ω_ｘ，ω_ｙ）はＯＴＦを表し、Ｈ^＊（ω_ｘ，ω_ｙ）はその複素共役を表す。また、ＳＮＲ（ω_ｘ，ω_ｙ）はＳＮ比を表す。

復元フィルタのフィルタ係数の設計は、フィルタの周波数特性が、所望のWiener周波数特性に最も近くなるように係数値を選択する最適化問題であり、任意の公知の手法によってフィルタ係数が適宜算出される。

本例では、上記［数１］式のＯＴＦの代わりに、ＯＴＦの位相成分を示すＰＴＦを使用し、フィルタの周波数特性を算出し、算出したフィルタの周波数特性が、所望のWiener周波数特性に最も近くなるように係数値を選択することにより、位相特性の劣化を回復させる位相回復フィルタＦ１を算出する。同様に、上記［数１］式のＯＴＦの代わりに、ＯＴＦの振幅成分を示すＭＴＦを使用し、フィルタの周波数特性を算出し、算出したフィルタの周波数特性が、所望のWiener周波数特性に最も近くなるように係数値を選択することにより、周波数特性の劣化を回復させる周波数回復フィルタＦ２を算出する。

図３に示すように、ボケ画像の原画像データＤｏから本来の被写体像（点像）を復元するため、原画像データＤｏに対して、位相回復フィルタＦ１を用いた位相回復処理Ｐ１０を行う。この位相回復処理Ｐ１０により非点対称の像は、周波数依存により移動し、点対称の像に回復する。

続いて、位相回復処理後の画像データに対して、非線形な階調補正処理Ｐ１２（対数化処理によるガンマ補正処理）が行われる。階調（ガンマ）補正処理は、ディスプレイ装置により画像が自然に再現されるように画像データを非線形に補正する処理である。

次に、階調補正処理後の画像データに対して、周波数回復フィルタＦ２を用いた周波数回復処理Ｐ１４を行う。この周波数回復処理Ｐ１４により点対称のボケ像は、周波数回復され、小さくなる。これにより、本来の被写体像（点像）により近い像（回復画像）を表す回復画像データＤｒが得られる。

位相回復処理Ｐ１０において用いられる位相回復フィルタＦ１は、原画像データＤｏ取得時の撮影条件に応じた光学系の点像情報（ＰＳＦ、ＯＴＦ、又はＰＴＦ）から、所定の位相回復フィルタ算出アルゴリズムＰ２０によって得られ、周波数回復処理Ｐ１４において用いられる周波数回復フィルタＦ２は、原画像データＤｏ取得時の撮影条件に応じた光学系の点像情報（ＰＳＦ、ＯＴＦ、又はＭＴＦ）から、所定の周波数回復フィルタ算出アルゴリズムＰ２２によって得られる。

光学系の点像情報は、レンズ１６の種類だけではなく、絞り量、焦点距離、ズーム量、像高、記録画素数、画素ピッチ等の各種の撮影条件によって変動しうるため、位相回復フィルタＦ１、周波数回復フィルタＦ２を算出する際には、これらの撮影条件が取得される。

位相回復フィルタＦ１及び周波数回復フィルタＦ２は、それぞれ例えばＮ×Ｍ（Ｎ及びＭは２以上の整数）のタップによって構成される実空間上のフィルタであり、処理対象の画像データに適用される。これにより、各タップに割り当てられるフィルタ係数と対応の画素データ（画像データの処理対象画素データ及び隣接画素データ）とを加重平均演算（デコンボリューション演算）することにより、回復処理後の画素データを算出することができる。位相回復フィルタＦ１及び周波数回復フィルタＦ２を用いた加重平均処理を、対象画素を順番に代えながら、画像データを構成する全画素データに適用することで、点像復元処理を行うことができる。

Ｎ×Ｍのタップによって構成される実空間上の位相回復フィルタＦ１、又は周波数回復フィルタＦ２は、周波数空間上の回復フィルタの位相特性、又は回復フィルタの周波数振幅特性を逆フーリエ変換することによって導出可能である。従って、実空間上の位相回復フィルタＦ１、又は周波数回復フィルタＦ２は、基礎となる周波数空間上の位相回復フィルタ、又は周波数回復フィルタを特定し、実空間上の位相回復フィルタＦ１、又は周波数回復フィルタＦ２の構成タップ数を指定することによって、適宜算出可能である。尚、位相回復フィルタＦ１のＮ×Ｍのタップ数は、位相補正を精度良く行うために、周波数回復フィルタＦ２のタップ数よりも大きくすることが好ましい。

次に、点像復元処理によって生じうる画質上の弊害について説明する。

図４は、被写体像中のエッジ部分（画像境界部分）の画質変化の一例を示す図であり、非線形な階調補正前の原画像データＤｏに対し、位相回復及び周波数回復させる理想的な点像復元処理（画素値の飽和無し、及びクリッピング無し）が行われる場合を示す。図４の符号１０５１は被写体像が本来有するコントラストを示し、符号１０５２は点像復元処理前の原画像データＤｏにおけるコントラストを示し、符号１０５３は理想的な点像復元処理後の回復画像データＤｒにおけるコントラストを示す。尚、図４の横方向（Ｘ方向）は被写体像中における位置（１次元位置）を示し、縦方向（Ｙ方向）はコントラストの強弱を示す。

被写体像中における「コントラストの段差を持つエッジ部分」（図４の符号１０５１参照）は、上述したように撮影時の光学系の点拡がり現象によって撮影画像（原画像データＤｏ）では画像ボケが生じ（図４の符号１０５２参照）、点像復元処理によって回復画像データＤｒが得られる（図４の符号１０５３参照）。

点像復元処理において、「実際の画像劣化特性（画像ボケ特性）」と「使用する回復フィルタの基礎となる点拡がり関数（ＰＳＦ等）」とがマッチングしている場合、画像が適切に復元され、エッジ部分等が適切に復元された回復画像データＤｒを得ることができる（図４参照）。

しかしながら、実際の点像復元処理では、「実際の画像劣化特性（画像ボケ特性）」と「使用する回復フィルタが想定している点拡がり関数」とが完全にマッチングしない場合もある。

図５は、「実際の画像劣化特性（画像ボケ特性）」と「使用する回復フィルタが想定している点拡がり関数」とが完全にはマッチングしない場合の、原画像データ、復元フィルタを用いて点像復元処理した回復画像データ、及び階調補正処理後の画像データの一例を示す図である。

図５において、横方向（Ｘ方向）は画像中の位置（１次元位置）を示し、縦方向（Ｙ方向）は画素値を示す。「実際の画像劣化特性（画像ボケ特性）」と「使用する回復フィルタが想定している点拡がり関数」とが完全にはマッチングしない場合、コントラスト差が比較的大きなエッジ部分では、オーバーシュート又はアンダーシュートが生じることがある（図５の符号１０６１及び符号１０６２参照）。このオーバーシュート又はアンダーシュート等の画質劣化が生じるケースであっても、画像再現性及び画像タフネス性（画像非破綻性）に優れた点像復元処理であれば、そのような画質劣化が視認できない（目立たない）程度に画質が回復された回復画像データＤｒを取得することが可能である。

しかしながら、画質劣化が目立たない程度まで回復された回復画像データが点像復元処理によって得られたとしても、点像復元処理後に行われる他の処理（階調補正処理（ガンマ補正処理等））によって、回復画像データ中の画質劣化が強調され、目立たせてしまうことがある。

例えば図５に示すように、点像復元処理によって生じるオーバーシュート又はアンダーシュート自体は小さく、その影響が視覚上特に目立たない場合であっても、その後に階調補正処理（ガンマ補正処理）が行われると、オーバーシュート又はアンダーシュートが不必要に強調されることがある（図５の符号１０６３の「Ｅ１」及び「Ｅ２」参照）。特にシャドウ側のオーバーシュート又はアンダーシュート部分は、その後のガンマ補正処理によって大きなゲイン（増幅率）が適用され、画像エッジ部において黒側に大きく偏った部分を構成する（図５の符号１０６３の「Ｅ２」参照）。この現象は、点像復元処理に限ったものではなく、線形な真数空間の画像データに対する輪郭補正処理を行った結果、エッジ部分にオーバーシュートが発生する場合にも共通する。

また、図６は、実際の点像復元処理（画素値の飽和有り、クリッピング有り）の一例を示す。

被写体像中における「コントラストの段差を持つエッジ部分」（図６（ａ）参照）は、上述したように、撮影時の光学系の点拡がり現象によって撮影画像（原画像データＤｏ）では画像ぼけが生じ（図６（ｂ）参照）、点像復元処理によって回復画像データＤｒが得られる（図６（ｃ）参照）。

この点像復元処理において、「実際の画像劣化特性（画像ぼけ特性）」と「使用する復元フィルタが想定している点拡がり関数（ＰＳＦ等）」とがマッチングしている場合、画像が適切に復元され、エッジ部分等が適切に復元された回復画像データＤｒを得ることができる（図４参照）。

しかしながら、画素値が飽和した画素（飽和画素）を含む原画像データでは、飽和画素部分で画像波形がクリップされたような状態となる（図６参照）。とりわけ飽和画素を含むエッジ部分の原画像データは、ステップ信号に近い波形を有するため（図６（ｂ）参照）、コントラスト変化、想定する点広がり関数ではあり得ないほど大きくなってしまい、結果的には劣化（画像ぼけ）が小さすぎるデータとなる。このように、飽和画素を含む原画像データでは、画素データのクリッピングにより、本来の画像データ（被写体像）からのズレが生じてしまう。このようなデータズレが生じている原画像データに対して、復元フィルタを用いた復元処理を行うと、過度な強調によるリンギングが生じやすく、発生するリンギングも複雑化しやすい（図６（ｃ）参照）。また、高周波成分が増え、折り返しノイズが強調されやすい。

従って、点像復元処理を画像処理フローの一部として実際に設計する場合、点像復元処理自体だけではなく、点像復元処理前後の処理との関連を加味した総合的な画像処理フローの設計を行うことが好ましい。

また、対数化処理（ガンマ補正処理）による階調補正を行う場合、周波数回復フィルタ自体は、対数化処理前の画像データに対応したフィルタ係数から成っていてもよいし、対数化処理後の画像データに対応したフィルタ係数から成っていてもよい。

「階調補正後（対数化処理後）の画像データの画素値（対数の画素データ）」に対し、敢えて、「階調補正前（対数化処理前）の画素値（真数の画素データ）に対応したフィルタ係数から成る周波数回復フィルタ」を適用して回復処理（周波数回復処理）を行う場合、回復画像（復元画像）で生じた画質劣化（リンギング等）に対するタフネス性が向上し、回復画像上においてリンギングを目立たせないようにできる。これは、対数化処理後の画素データ（画像データ）では、低輝度部の階調が強調され（エンハンスされ）、高輝度部の階調が非強調とされるからである。

図７は、ガンマ処理（対数化処理における階調処理）による処理前データと処理後データとの間の関係の一例を示す図（グラフ）である。図１０の横軸は処理前データ（ガンマ処理入力データ「ＩＮ」）を示し、縦軸は処理後データ（ガンマ処理出力データ「ＯＵＴ」）を示し、グラフ中の実線がガンマ処理階調カーブを示す。

一般的な画像データに対する点像復元処理において、点像復元処理による効果が視覚的に認識され易いのは、コントラストの低い領域であり、ガンマ処理階調カーブにおいて直線によって近似できる「画素値のレベル差の比較的小さい領域」である（図７の「Ａ」参照）。一方、コントラストの高い領域、つまりガンマ処理階調カーブにおいて曲線部を構成する「画素値のレベル差が比較的大きい領域」では、元々のコントラストが高くぼけも認識されにくい（図７の「Ｂ」参照）。

さらに、コントラストの高い領域のうち飽和画素を含む領域で、画素値が真数である画素データ（階調補正前の画素データ）に対して点像復元処理（周波数回復処理）を行い、その後に階調補正（ガンマ補正処理、すなわち対数化処理における階調処理）を行うと、アンダーシュート／オーバーシュート（リンギング）が目立ちやすい。これに対し、対数化処理後の画素データに対して周波数回復処理を行う場合、対数化処理により高いコントラストが圧縮され、周波数回復処理によるリンギングの強度が低減される。

つまり、対数化処理後の画素データに対し、画素値が真数の画素データに対応したフィルタ係数から成る周波数回復フィルタを使って回復処理（周波数回復処理）を行うことで、一般的に視認されやすい低コントラスト領域に対しては遜色なく周波数回復処理を施すことができる一方で、周波数回復処理によってリンギングが生じ易い高コントラスト領域ではリンギングの強調度合いを低減することが可能である。

特に、画像処理装置（撮影装置等）が複数種類の階調補正（ガンマ補正処理）を実行可能であり複数種類のガンマ処理階調カーブのデータを保持する場合、従来技術（特許文献３参照）では複数種類の階調補正毎に画素信号値の変化量の制限値を算出する必要がある。しかしながら、本方式によれば、階調補正後の画素データに周波数回復処理をかけるため、階調補正の種類に応じた処理の切り替えも不要になる。

また、一般的にＰＳＦ（点拡がり関数）は入力が線形であることが前提とされており、この前提に基づく復元フィルタは、「線形の係数」つまり「真数の画素データに対応したフィルタ係数」から成る方が生成も容易である。

このように、本方式は実用上非常に有益且つ効果的である。

一方、階調補正後（対数化処理後）の画素値（対数の画素データ）に対し、対数化処理後の画素値（対数の画素データ）に対応したフィルタ係数から成る周波数回復フィルタを使って回復処理（周波数回復処理）を行うことにより、周波数回復処理において発生するリンギングによる画質劣化に対してタフネス性を向上でき、発生するリンギングを画像上において目立たせないようにできる。

すなわち、画素データが階調補正（対数化処理）後の画素値（対数の画素データ）である場合、対数化処理後の画素値（対数の画素データ）に対応したフィルタ係数から成る周波数回復フィルタを使って周波数回復処理を行うことにより、周波数回復処理自体を正確に行うことが可能である。この場合、周波数回復処理の対象画像データを「階調補正後の原画像データ」とすることにより、階調補正（対数化処理）により高いコントラストが圧縮され、周波数回復処理により発生するリンギングの強度を低減することができる。

なお、周波数回復処理において使用する周波数回復フィルタは、予め生成されていてもよいし、周波数回復処理の実行に合わせて逐次算出生成されてもよい。周波数回復処理時の演算量を低減化する観点からは、周波数回復フィルタを予め生成しておくことが好ましい。また、適応性に優れた周波数回復フィルタを使用する観点からは、周波数回復復元処理の実行時に周波数回復フィルタを逐次算出することが好ましい。

周波数回復フィルタを予め生成しておく場合、入力画素値（入力画像データ）に対する対数化処理（ガンマ補正処理）によって求められる画素値に基づいて演算を行うことにより、周波数回復フィルタのフィルタ係数を求めるようにするとよい。周波数回復フィルタの生成に用いられる画素値は、輝度値であってもよいし、ＲＧＢ色データのうちの代表的に選択された１つのチャネルに関する画素値（例えばＧの画素値）でもよい。また、周波数回復フィルタの生成に用いられる画素値は、主要被写体の画素値であってもよいし、画面全体の平均値から求められる画素値であってもよい。

＜第１実施形態＞
図８は、本発明に係る画像処理装置としての画像処理部３５（カメラ本体コントローラ２８）の第１実施形態を示すブロック図である。

第１実施形態の画像処理部３５は、オフセット補正処理部４１、ホワイトバランス（ＷＢ）を調整するＷＢ補正処理部４２、デモザイク処理部４３、位相回復処理部４４、ガンマ補正処理部を含む階調補正処理部４５、周波数回復処理部４６、及び輝度データ生成部の一形態に相当する輝度・色差変換処理部４７を備えている。尚、位相回復処理部４４と周波数回復処理部４６とは、図２に示した画像処理部３５内の点像復元制御処理部３６に対応する。

図８において、オフセット補正処理部４１は、撮像素子２６から取得される画像処理前のモザイクデータ（ＲＡＷデータ；赤（Ｒ）、緑（Ｇ）、青（Ｂ）のモザイク状の色データ（ＲＧＢデータ））を、点順次により入力する。尚、モザイクデータは、例えば、ＲＧＢ毎に１２ビット（０〜４０９５）のビット長を有するデータ（１画素当たり２バイトのデータ）である。

オフセット補正処理部４１は、入力するモザイクデータに含まれる暗電流成分を補正する処理部であり、撮像素子２６上の遮光画素から得られるオプティカルブラック（ＯＢ）の信号値を、モザイクデータから減算することによりモザイクデータのオフセット補正を行う。

オフセット補正されたモザイクデータ（ＲＧＢデータ）は、ＷＢ補正処理部４２に加えられる。ＷＢ補正処理部４２は、ＲＧＢの色毎に設定されたＷＢゲインを、それぞれＲＧＢデータに乗算し、ＲＧＢデータのホワイトバランス補正を行う。ＷＢゲインは、例えば、ＲＧＢデータに基づいて光源種が自動的に判定され、あるいは手動による光源種が選択されるとし、判定又は選択された光源種に適したＷＢゲインが設定されるが、ＷＢゲインの設定方法は、これに限らず、他の公知の方法により設定することができる。

デモザイク処理部４３は、単板式の撮像素子２６のカラーフィルタ配列に対応したモザイク画像から画素毎に全ての色情報を算出するデモザイク処理（「同時化処理」ともいう）を行う部分であり、例えば、ＲＧＢ３色のカラーフィルタからなる撮像素子の場合、ＲＧＢからなるモザイク画像から画素毎にＲＧＢ全ての色情報を算出する。即ち、デモザイク処理部４３は、モザイクデータ（点順次のＲＧＢデータ）から同時化されたＲＧＢ３面の画像データを生成する。

デモザイク処理されたＲＧＢデータは、位相回復処理部４４に加えられ、ここで、ＲＧＢデータの位相回復処理が行われる。

図９は、位相回復処理部４４の一実施形態を示すブロック図である。

位相回復処理部４４は、位相回復演算処理部４４ａ、フィルタ選択部４４ｂ、光学系データ取得部４４ｃ、及び記憶部４４ｄから構成されている。

光学系データ取得部４４ｃは、光学系（レンズ１６、絞り１７等）の点拡がり関数を示す光学系データを取得する。この光学系データは、フィルタ選択部４４ｂにおける位相回復フィルタの選択基準となるデータであり、処理対象の原画像データの撮影取得時に使用された光学系の点拡がり関数を直接的又は間接的に示す情報であればよい。従って、例えば光学系の点拡がり関数に関する伝達関数（ＰＳＦ、ＯＴＦ（ＭＴＦ、ＰＴＦ））自体を光学系データとしてもよいし、光学系の点拡がり関数に関する伝達関数を間接的に示す光学系の種類（例えば、撮影時に使用したレンズユニット１２（レンズ１６）の型番等）等を光学系データとしてもよい。

記憶部４４ｄは、複数種類の光学系の光点拡がり関数に関する伝達関数（ＰＳＦ、ＯＴＦ、又はＰＴＦ）に基づいて生成された、ＲＧＢ毎の位相回復フィルタ（Ｆ_Ｒ１，Ｆ_Ｇ１，Ｆ_Ｂ１）が記憶されている。ＲＧＢ毎に位相回復フィルタ（Ｆ_Ｒ１，Ｆ_Ｇ１，Ｆ_Ｂ１）が記憶されているのは、光学系の収差がＲＧＢの各色の波長によって異なるためである（ＰＳＦ形状が異なるためである）。また、記憶部４４ｄは、絞り値（Ｆ値）、焦点距離、像高等に対応する位相回復フィルタ（Ｆ_Ｒ１，Ｆ_Ｇ１，Ｆ_Ｂ１）を記憶することが好ましい。これらの条件によりＰＳＦ形状が異なるからである。

フィルタ選択部４４ｂは、光学系データ取得部４４ｃが取得した光学系データに基づき、記憶部４４ｄに記憶されている位相回復フィルタのうち、原画像データの撮影取得に用いられた光学系の光学系データに対応する位相回復フィルタを選択する。フィルタ選択部４４ｂによって選択された、ＲＧＢ毎の位相回復フィルタ（Ｆ_Ｒ１，Ｆ_Ｇ１，Ｆ_Ｂ１）は、位相回復演算処理部４４ａに送られる。

尚、フィルタ選択部４４ｂは、記憶部４４ｄが記憶する位相回復フィルタの種類情報（位相回復フィルタ記憶情報）を把握しているが、フィルタ選択部４４ｂによる位相回復フィルタ記憶情報の把握手法は特に限定されない。例えば、フィルタ選択部４４ｂは、位相回復フィルタ記憶情報を記憶する記憶部（図示省略）を有していてもよく、記憶部４４ｄに記憶される位相回復フィルタの種類情報が変更される場合、フィルタ選択部４４ｂの記憶部に記憶される位相回復フィルタ記憶情報も変更されるようにしてもよい。また、フィルタ選択部４４ｂは、記憶部４４ｄに接続されて直接的に「記憶部４４ｄが記憶する位相回復フィルタの情報」を把握するようにしてもよいし、位相回復フィルタ記憶情報を把握する他の処理部（メモリ等）から位相回復フィルタ記憶情報を把握するようにしてもよい。

また、フィルタ選択部４４ｂは、原画像データの撮影取得に用いられた光学系のＰＳＦに対応する位相回復フィルタを選択すればよく、その選択手法は特に限定されない。例えば、光学系データ取得部４４ｃからの光学系データがＰＳＦを直接的に示す場合、フィルタ選択部４４ｂは、その光学系データが示すＰＳＦに対応する位相回復フィルタを選択する。また光学系データ取得部４４ｃからの光学系データがＰＳＦを間接的に示す場合、フィルタ選択部４４ｂは、「ＰＳＦを間接的に光学系データ」から、処理対象の原画像データの撮影取得に用いられた光学系のＰＳＦに対応する位相回復フィルタを選択する。

位相回復演算処理部４４ａには、デモザイク処理された原画像データ（ＲＧＢデータ）が入力されており、位相回復演算処理部４４ａは、ＲＧＢデータに対して、フィルタ選択部４４ｂにより選択された位相回復フィルタ（Ｆ_Ｒ１，Ｆ_Ｇ１，Ｆ_Ｂ１）を用いた位相回復処理を行い、位相回復画像データを算出する。即ち、位相回復演算処理部４４ａは、位相回復フィルタ（Ｆ_Ｒ１，Ｆ_Ｇ１，Ｆ_Ｂ１）と、これに対応するＲＧＢ毎の画素データ（処理対象画素データ及び隣接画素データ）とのデコンボリューション演算を行い、位相回復処理したＲＧＢデータを算出する。

上記構成の位相回復処理部４４は、ＲＧＢの色チャンネル毎の位相伝達関数（ＰＴＦ）を反映させた位相回復処理を行うことができ、倍率色収差、軸上色収差等の各種色収差を補正することができる。また、位相回復処理部４４は、非線形な階調補正前のＲＧＢデータ（即ち、撮像素子２６への入射光の照度に応じた線形のＲＧＢデータ）に対して、線形のデータに対応した位相回復フィルタを用いた位相回復処理を行うため、正確な位相回復を行うことができる。

図８に戻って、位相回復処理部４４により位相回復処理されたＲＧＢデータは、階調補正処理部４５に加えられる。

階調補正処理部４５は、位相回復処理されＲＧＢデータに対して、非線形な階調補正を行う部分であり、例えば、入力するＲＧＢデータを対数化処理によるガンマ補正処理を行い、ディスプレイ装置により画像が自然に再現されるようにＲＧＢデータに対して非線な処理を行う。

図１０は、階調補正処理部４５により階調補正される入出力特性（ガンマ特性）の一例を示すグラフである。本例では、階調補正処理部４５は、１２ビット（０〜４０９５）のＲＧＢデータに対し、ガンマ特性に対応するガンマ補正を行い、８ビット（０〜２５５）のＲＧＢの色データ（１バイトのデータ）を生成する。階調補正処理部４５は、例えば、ＲＧＢ毎のルックアップテーブル（ＬＵＴ）により構成することができ、ＲＧＢデータの色毎にそれぞれ対応するガンマ補正を行うことが好ましい。尚、階調補正処理部４５は、入力データに対して、トーンカーブに沿った非線形な階調補正を行うものを含む。

階調補正処理部４５により階調補正されたＲ’Ｇ’Ｂ’データは、周波数回復処理部４６に加えられ、ここで、Ｒ’Ｇ’Ｂ’データの周波数回復処理が行われる。

図１１は、周波数回復処理部４６の一実施形態を示すブロック図である。

周波数回復処理部４６は、周波数回復演算処理部４６ａ、フィルタ選択部４６ｂ、光学系データ取得部４６ｃ、及び記憶部４６ｄから構成されている。

フィルタ選択部４６ｂ，及び光学系データ取得部４６ｃは、それぞれ図９に示したフィルタ選択部４４ｂ，及び光学系データ取得部４４ｃに対応するものであるため、その詳細な説明は省略する。

記憶部４６ｄは、複数種類の光学系のＰＳＦ、ＯＴＦ、又はＭＴＦに基づいて生成された、ＲＧＢ毎の周波数回復フィルタ（Ｆ_Ｒ２，Ｆ_Ｇ２，Ｆ_Ｂ２）が記憶されている。ＲＧＢ毎の周波数回復フィルタ（Ｆ_Ｒ２，Ｆ_Ｇ２，Ｆ_Ｂ２）が記憶されているのは、光学系の収差がＲＧＢの各色の波長によって異なるためである（ＰＳＦ形状が異なるためである）。また、記憶部４６ｄは、絞り値（Ｆ値）、焦点距離、像高等に対応する周波数回復フィルタ（Ｆ_Ｒ２，Ｆ_Ｇ２，Ｆ_Ｂ２）を記憶することが好ましい。これらの条件によりＰＳＦ形状が異なるからである。

フィルタ選択部４６ｂは、光学系データ取得部４６ｃが取得した光学系データに基づき、記憶部４６ｄに記憶されている周波数回復フィルタのうち、原画像データの撮影取得に用いられた光学系の光学系データに対応する周波数回復フィルタを選択する。フィルタ選択部４６ｂによって選択された、ＲＧＢ毎の周波数回復フィルタ（Ｆ_Ｒ２，Ｆ_Ｇ２，Ｆ_Ｂ２）は、周波数回復演算処理部４６ａに送られる。

周波数回復演算処理部４６ａには、階調補正（ガンマ補正）されたＲ’Ｇ’Ｂ’データが入力されており、周波数回復演算処理部４６ａは、Ｒ’Ｇ’Ｂ’データに対して、フィルタ選択部４６ｂにより選択された周波数回復フィルタ（Ｆ_Ｒ２，Ｆ_Ｇ２，Ｆ_Ｂ２）を用いた周波数回復処理を行い、周波数回復画像データを算出する。即ち、周波数回復演算処理部４６ａは、周波数回復フィルタ（Ｆ_Ｒ２，Ｆ_Ｇ２，Ｆ_Ｂ２）と、これに対応するＲＧＢ毎の画素データ（処理対象画素データ及び隣接画素データ）とのデコンボリューション演算を行い、周波数回復処理したＲ’Ｇ’Ｂ’データを算出する。

上記構成の周波数回復処理部４６は、ＲＧＢの色チャンネル毎の周波数伝達関数（ＭＴＦ）を反映させた周波数回復処理を行うことができる。また、この周波数回復処理は、階調補正後の処理であるため、周波数回復処理によりエッジ付近に僅かなオーバーシュート／アンダーシュートが発生しても、これが階調補正により強調されることがなく、目立ったアーティファクトになることがない（周波数回復処理に起因するアーティファクトの発生を抑制することできる）。

周波数回復処理部４６により周波数回復処理されたＲ’Ｇ’Ｂ’データは、輝度・色差変換処理部４７に加えられる。輝度・色差変換処理部４７は、Ｒ’Ｇ’Ｂ’データを輝度成分を示す輝度データＹ’、色差データＣｒ’、Ｃｂ’に変換する処理部であり、次式により算出することができる。

［数２］
Ｙ’＝０.２９９Ｒ’＋０.５８７Ｇ’＋０.１１４Ｂ’
Ｃｂ’＝−０.１６８７３６Ｒ’−０.３３１２６４Ｇ’＋０.５Ｂ’
Ｃｒ’＝−０.５Ｒ’−０.４１８６８８Ｇ’−０.０８１３１２Ｂ’
尚、Ｒ’Ｇ’Ｂ’データは、階調補正及び周波数回復処理後の８ビットのデータであり、これらのＲ’Ｇ’Ｂ’データから変換される輝度データＹ’、色差データＣｒ’、Ｃｂ’も８ビットのデータである。また、Ｒ’Ｇ’Ｂ’データから輝度データＹ’、色差データＣｒ’、Ｃｂ’への変換式は、上記［数２］式に限定されない。

このようにして変換された８ビットの輝度データＹ’、色差データＣｒ’、Ｃｂ’は、例えばＪＰＥＧ(Joint Photographic coding Experts Group)などの圧縮処理が実行されたのち、ヘッダ情報、圧縮された主画像データ及びサムネイル画像データ等の複数の関連データを相互に対応づけて１つの画像ファイルとして構成される。

尚、位相回復フィルタを記憶する記憶部４４ｄ（図８）、及び周波数回復フィルタを記憶する記憶部４６ｄ（図１１）は、別々に設けられたものでもよいし、物理的には同一であって、記憶領域のみが異なるものでもよい。

また、本例では、記憶部４４ｄ、及び４６ｄに、それぞれ位相回復フィルタ、及び周波数回復フィルタを記憶させておき、回復処理に使用する位相回復フィルタ、周波数回復フィルタを適宜読み出すようにしたが、これに限らず、光学系の伝達関数（ＰＳＦ，ＯＴＦ，ＰＴＦ，及びＭＴＦ等）を記憶部に記憶させて、回復処理時に記憶部から回復処理に使用する伝達関数を読み出し、位相回復フィルタ、及び周波数回復フィルタを逐次算出するようにしてもよい。

＜第２実施形態＞
図１２は、本発明に係る画像処理装置としての画像処理部３５（カメラ本体コントローラ２８）の第２実施形態を示すブロック図である。尚、図１２において、図８に示した画像処理部３５の第１実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

第２実施形態は、主として周波数回復処理部４６−２が、第１実施形態の周波数回復処理部４６と相違する。

即ち、第１実施形態の周波数回復処理部４６は、階調補正処理部４５の後段に設けられ、階調補正後のＲ’Ｇ’Ｂ’データに対し、周波数回復処理を行っているのに対し、第２実施形態の周波数回復処理部４６−２は、輝度・色差変換処理部４７の後段に設けられ、輝度・色差変換処理部４７により変換された輝度データＹ’（階調補正後）に対し、周波数回復処理を行う点で相違する。

図１３は、周波数回復処理部の他の実施形態を示すブロック図である。

図１３に示す周波数回復処理部４６−２は、周波数回復演算処理部４６−２ａ、フィルタ選択部４６−２ｂ、光学系データ取得部４６−２ｃ、及び記憶部４６−２ｄから構成されている。

フィルタ選択部４６−２ｂ，及び光学系データ取得部４６−２ｃは、それぞれ図９に示したフィルタ選択部４４ｂ，及び光学系データ取得部４４ｃに対応するものであるため、その詳細な説明は省略する。

記憶部４６−２ｄは、複数種類の光学系のＰＳＦ、ＯＴＦ、又はＰＴＦに基づいて生成された、輝度データに対応する周波数回復フィルタＦ_Ｙ２が記憶されている。

ここで、輝度データに対応する周波数回復フィルタＦ_Ｙ２ は、例えば、ＲＧＢの色チャンネル毎の周波数伝達関数（ＭＴＦ_Ｒ，ＭＴＦ_Ｇ，ＭＴＦ_Ｂ）を混合し、輝度データに対応する変調伝達関数（ＭＴＦ_Ｙ）を算出し、算出したＭＴＦ_Ｙに基づいて生成することができる。尚、ＭＴＦ_Ｙを算出する際に、ＭＴＦ_Ｒ，ＭＴＦ_Ｇ，ＭＴＦ_Ｂを重み付け線形和として算出することが好ましい。また、重み付け係数としては、［数２］式に示したＲ’Ｇ’Ｂ’データから輝度データＹ’を生成する際の係数と同じ係数を使用することができるが、これに限定されるものではない。

また、輝度データに対応する周波数回復フィルタＦ_Ｙ２の他の例としては、［数２］式に示したように輝度データＹ’の生成に最も寄与する、Ｇ’データに対応する周波数回復フィルタＦ_Ｇ２を、そのまま周波数回復フィルタＦ_Ｙ２として使用してもよい。尚、記憶部４６−２ｄは、絞り値（Ｆ値）、焦点距離、像高等に対応する周波数回復フィルタＦ_Ｙ２をそれぞれ記憶することが好ましい。

フィルタ選択部４６−２ｂは、光学系データ取得部４６−２ｃが取得した光学系データに基づき、記憶部４６−２ｄに記憶されている周波数回復フィルタのうち、原画像データの撮影取得に用いられた光学系の光学系データに対応する周波数回復フィルタを選択する。フィルタ選択部４６−２ｂによって選択された、輝度データに対応する周波数回復フィルタＦ_Ｙ２は、周波数回復演算処理部４６−２ａに送られる。

周波数回復演算処理部４６−２ａには、階調補正（ガンマ補正）後の輝度データＹ’が入力されており、周波数回復演算処理部４６−２ａは、輝度データＹ’に対して、フィルタ選択部４６−２ｂにより選択された周波数回復フィルタＦ_Ｙ２を用いた周波数回復処理を行う。即ち、周波数回復演算処理部４６−２ａは、周波数回復フィルタＦ_Ｙ２と、これに対応する輝度データＹ’（処理対象画素及び隣接画素の輝度データＹ’）とのデコンボリューション演算を行い、周波数回復処理後の輝度データＹ’を算出する。

上記構成の周波数回復処理部４６−２は、輝度データＹ’に対し、輝度データＹ’の変調伝達関数（ＭＴＦ）を反映させた周波数回復処理を行うことができる。

また、第１実施形態の周波数回復処理部４６によるＲＧＢデータに対する周波数回復処理では３チャンネル（３ｃｈ）分の処理系が必要とされるが、輝度データＹ’に対する周波数回復処理では１チャンネル（１ｃｈ）分の処理系で済むため、輝度データに対する周波数回復処理の方が、回路規模、計算コストを低減することができ、また記憶部４６−２ｄに記憶させる周波数回復フィルタの数を減少させることできる。

更に、ＲＧＢデータに対する周波数回復処理は、想定通り（光学系の点拡がり関数情報通り）にＲＧＢ各色の色データが取得されれば、効果的なＲＧＢデータの周波数回復処理が可能であるが、実際の入力信号の挙動が想定通りではない場合、ＲＧＢデータに対する周波数回復処理では、不要な色付きを生じる箇所が増えて不自然な色合いが目立つなどの副作用が起きることがある。

これに対し、第２実施形態の周波数回復処理部４６−２は、輝度データのみを周波数回復処理するため、上記のような副作用が起こりにくいという効果（色付き程度、滲み程度等における色系タフネス性）がある。

尚、周波数回復処理部４６−２による周波数復元処理は、階調補正（ガンマ補正）後の輝度データＹ’対して行われるため、発生したアーティファクトを階調補正により強調するのを防ぐことができる点では、第１実施形態の周波数回復処理部４６と同様である。

＜第３実施形態＞
図１４は、本発明に係る画像処理装置としての画像処理部３５（カメラ本体コントローラ２８）の第３実施形態を示すブロック図である。尚、図１４において、図８及び図１２に示した画像処理部３５の第１、第２実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

第３実施形態は、主として位相回復処理部４４−２が、第１、２実施形態の位相回復処理部４４と相違する。

即ち、第１、２実施形態の位相回復処理部４４は、デモザイク処理部４３の後段に設けられ、Ｒ、Ｇ、Ｂのデモザイクデータに対し、位相回復処理を行っているのに対し、第３実施形態の位相回復処理部４４−２は、輝度・色差変換処理部４７の後段に設けられ、輝度・色差変換処理部４７により変換された輝度データＹ（階調補正前）に対し、位相回復処理を行う点で相違する。

図１５は、位相回復処理部の他の一実施形態を示すブロック図である。

図１５に示す位相回復処理部４４−２は、位相回復演算処理部４４−２ａ、フィルタ選択部４４−２ｂ、光学系データ取得部４４−２ｃ、及び記憶部４４−２ｄから構成されている。

フィルタ選択部４４−２ｂ，及び光学系データ取得部４４−２ｃは、それぞれ図９に示したフィルタ選択部４４ｂ，及び光学系データ取得部４４ｃに対応するものであるため、その詳細な説明は省略する。

記憶部４４−２ｄは、複数種類の光学系のＰＳＦ、ＯＴＦ、又はＰＴＦに基づいて生成された、輝度成分を示す画像データ（以下、「輝度データＹ」という）に対応する位相回復フィルタＦ_Ｙ１が記憶されている。

ここで、輝度データＹに対応する位相回復フィルタＦ_Ｙ１は、例えば、ＲＧＢの色チャンネル毎の位相伝達関数（ＰＴＦ_Ｒ，ＰＴＦ_Ｇ，ＰＴＦ_Ｂ）を混合し、輝度データＹに対応する位相伝達関数（ＰＴＦ_Ｙ）を算出し、算出したＰＴＦ_Ｙに基づいて生成することができる。尚、ＰＴＦ_Ｙを算出する際に、ＰＴＦ_Ｒ，ＰＴＦ_Ｇ，ＰＴＦ_Ｂを重み付け線形和として算出することが好ましい。また、重み付け係数としては、［数２］式に示したＲ’Ｇ’Ｂ’データから輝度データＹ’を生成する際の係数と同じ係数を使用することができるが、これに限定されるものではない。

また、輝度データＹに対応する位相回復フィルタＦ_Ｙ１の他の例としては、［数２］式に示したように輝度データの生成に最も寄与する、Ｇの色データに対応する位相回復フィルタＦ_Ｇ１を、そのまま位相回復フィルタＦ_Ｙ１として使用してもよい。尚、記憶部４４−２ｄは、絞り値（Ｆ値）、焦点距離、像高等に対応する位相回復フィルタＦ_Ｙ１をそれぞれ記憶することが好ましい。

フィルタ選択部４４−２ｂは、光学系データ取得部４４−２ｃが取得した光学系データに基づき、記憶部４４−２ｄに記憶されている位相回復フィルタのうち、原画像データの撮影取得に用いられた光学系の光学系データに対応する位相回復フィルタを選択する。フィルタ選択部４４−２ｂによって選択された、輝度データＹに対応する位相回復フィルタＦ_Ｙ１は、位相回復演算処理部４４−２ａに送られる。

位相回復演算処理部４４−２ａには、輝度・色差変換処理部４７から階調補正（ガンマ補正）前の輝度データＹが入力されており、位相回復演算処理部４４−２ａは、輝度データＹに対して、フィルタ選択部４４−２ｂにより選択された位相回復フィルタＦ_Ｙ１を用いた位相回復処理を行う。即ち、位相回復演算処理部４４−２ａは、位相回復フィルタＦ_Ｙ１と、これに対応する輝度データＹ（処理対象画素及び隣接画素の輝度データＹ）とのデコンボリューション演算を行い、位相回復処理した輝度データＹを算出する。

上記構成の位相回復処理部４４−２は、輝度データＹに対し、輝度データＹの位相伝達関数（ＰＴＦ）を反映させた位相回復処理を行うことができる。

また、第１、第２実施形態の位相回復処理部４４によるＲＧＢデータに対する位相回復処理では３チャンネル（３ｃｈ）分の処理系が必要とされるが、輝度データＹに対する位相回復処理では１チャンネル（１ｃｈ）分の処理系で済むため、輝度データに対する位相回復処理の方が、回路規模、計算コストを低減することができ、また記憶部４４−２ｄに記憶させる位相回復フィルタの数を減少させることできる。

更に、ＲＧＢデータに対する位相回復処理は、想定通り（光学系の点拡がり関数情報通り）にＲＧＢデータが取得されれば、効果的なＲＧＢデータの位相回復処理が可能であり、輝度データに対する位相回復処理と比較して色収差などを効果的に軽減することができるが、実際の入力信号の挙動が想定通りではない場合、ＲＧＢデータに対する位相回復処理では、不要な色付きを生じる箇所が増えて不自然な色合いが目立つなどの副作用が起きることがある。

これに対し、第３実施形態の位相回復処理部４４−２は、輝度データのみを位相回復処理するため、上記のような副作用が起こりにくいという効果（色付き程度、滲み程度等における色系タフネス性）がある。

一方、周波数回復処理部４６−２による周波数回復処理は、第２実施形態と同様に階調補正（ガンマ補正）後の輝度データＹ’に対して行われるため、第２実施形態と同様の効果がある。

また、第３実施形態の画像処理部３５（点像復元制御処理部３６）は、階調補正前の輝度データＹに対して位相回復処理を行い、階調補正後の輝度データＹ’に対して周波数回復処理を行うため、第１から第３実施形態の中で最も回路規模、計算コストを低減することができる。

尚、図１４に示す第３実施形態において、輝度・色差変換処理部４７は、階調補正前の各色データ（ＲＧＢ）を、輝度データＹ、色差データＣｒ、Ｃｂに変換しており、階調補正後のＲ’Ｇ’Ｂ’データを、輝度データＹ’、色差データＣｒ’、Ｃｂ’に変換する第１、第２実施形態のものと相違するが、処理内容は同様である。

また、第１、第２実施形態の階調補正処理部４５は、ＲＧＢデータをそれぞれ階調補正（ガンマ補正）するのに対し、第３実施形態の階調補正処理部４５−２は、位相回復処理部４４−２により位相回復処理された輝度データＹ、及び輝度・色差変換処理部４７により変換された色差データＣｒ，Ｃｂに対して、非線形な階調補正（ガンマ補正）を行う点で、第１、第２実施形態の階調補正処理部４５と相違する。尚、階調補正処理部４５−２に入力する輝度データＹ、色差データＣｒ，Ｃｂは、それぞれ１２ビットのデータ（２バイト分のデータ）であるが、階調補正後の輝度データＹ’、色差データＣｒ’，Ｃｂ’は、それぞれ８ビットのデータ（１バイトのデータ）に変換される。

＜変形例＞
上述のデジタルカメラ１０は例示に過ぎず、他の構成に対しても本発明を適用することが可能である。各機能構成は、任意のハードウェア、ソフトウェア、或いは両者の組合せによって適宜実現可能である。例えば、上述の各装置及び処理部（カメラ本体コントローラ２８、画像処理部３５、階調補正処理部３３、点像復元制御処理部３６等）における画像処理方法（ステップ、処理手順）をコンピュータに実行させる画像処理プログラム、そのような画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的記録媒体）、或いはそのような画像処理プログラムをインストール可能な各種のコンピュータに対しても、本発明を適用することが可能である。

＜ＥＤｏＦシステムへの適用例＞
上述の実施形態における点像復元処理（位相回復処理及び周波数回復処理）は、特定の撮影条件（例えば、絞り値、Ｆ値、焦点距離、レンズ種類等）に応じて点拡がり（点像ボケ）を、位相回復処理及び周波数回復処理することで本来の被写体像を復元する画像処理であるが、本発明を適用可能な画像処理は、上述の実施形態における復元処理に限定されるものではない。例えば、拡大された被写界（焦点）深度（ＥＤｏＦ：Extended Depth of Field(Focus)）を有する光学系（撮影レンズ等）によって撮影取得された画像データに対する復元処理に対しても、本発明に係る復元処理を適用することが可能である。ＥＤｏＦ光学系によって被写界深度（焦点深度）が拡大された状態で撮影取得されるボケ画像の画像データに対して復元処理を行うことで、広範囲でピントが合った状態の高解像度の画像データを復元生成することができる。この場合、ＥＤｏＦ光学系の伝達関数（ＰＳＦ、ＯＴＦ、ＭＴＦ、ＰＴＦ等）に基づく位相回復フィルタ、周波数回復フィルタであって、拡大された被写界深度（焦点深度）の範囲内において良好な画像復元が可能となるように設定されたフィルタ係数を有する位相回復フィルタ、周波数回復フィルタを用いた復元処理が行われる。

図１６は、ＥＤｏＦ光学系を備える撮像モジュール１０１の一形態を示すブロック図である。本例の撮像モジュール（デジタルカメラ等に搭載されるカメラヘッド）１０１は、ＥＤｏＦ光学系（レンズユニット）１１０と、撮像素子１１２と、ＡＤ変換部１１４と、を含む。

図１７は、ＥＤｏＦ光学系１１０の一例を示す図である。本例のＥＤｏＦ光学系１１０は、単焦点の固定された撮影レンズ１１０Ａと、瞳位置に配置される光学フィルタ１１１とを有する。光学フィルタ１１１は、位相を変調させるもので、拡大された被写界深度（焦点深度）（ＥＤｏＦ）が得られるようにＥＤｏＦ光学系１１０（撮影レンズ１１０Ａ）をＥＤｏＦ化する。このように、撮影レンズ１１０Ａ及び光学フィルタ１１１は、位相を変調して被写界深度を拡大させるレンズ部を構成する。

尚、ＥＤｏＦ光学系１１０は必要に応じて他の構成要素を含み、例えば光学フィルタ１１１の近傍には絞り（図示省略）が配設されている。また、光学フィルタ１１１は、１枚でもよいし、複数枚を組合せたものでもよい。また、光学フィルタ１１１は、光学的位相変調手段の一例に過ぎず、ＥＤｏＦ光学系１１０（撮影レンズ１１０Ａ）のＥＤｏＦ化は他の手段によって実現されてもよい。例えば、光学フィルタ１１１を設ける代わりに、本例の光学フィルタ１１１と同等の機能を有するようにレンズ設計された撮影レンズ１１０ＡによってＥＤｏＦ光学系１１０のＥＤｏＦ化を実現してもよい。

即ち、撮像素子１１２の受光面への結像の波面を変化させる各種の手段によって、ＥＤｏＦ光学系１１０のＥＤｏＦ化を実現することが可能である。例えば、「厚みが変化する光学素子」、「屈折率が変化する光学素子（屈折率分布型波面変調レンズ等）」、「レンズ表面へのコーディング等により厚みや屈折率が変化する光学素子（波面変調ハイブリッドレンズ、レンズ面上に位相面として形成される光学素子、等）」、「光の位相分布を変調可能な液晶素子（液晶空間位相変調素子等）」を、ＥＤｏＦ光学系１１０のＥＤｏＦ化手段として採用しうる。このように、光波面変調素子（光学フィルタ１１１（位相板））によって規則的に分散した画像形成が可能なケースだけではなく、光波面変調素子を用いた場合と同様の分散画像を、光波面変調素子を用いずに撮影レンズ１１０Ａ自体によって形成可能なケースに対しても、本発明は応用可能である。

図１６及び図１７に示すＥＤｏＦ光学系１１０は、メカ的に焦点調節を行う焦点調節機構を省略することができるため小型化が可能であり、カメラ付き携帯電話機や携帯情報端末に好適に搭載可能である。

ＥＤｏＦ化されたＥＤｏＦ光学系１１０を通過後の光学像は、図１６に示す撮像素子１
１２に結像され、ここで電気信号に変換される。

撮像素子１１２は、所定のパターン配列（ベイヤー配列、ＧストライプＲ／Ｇ完全市松、Ｘ−Ｔｒａｎｓ（登録商標）配列、ハニカム配列等）でマトリクス状に配置された複数画素によって構成され、各画素はマイクロレンズ、カラーフィルタ（本例ではＲＧＢカラーフィルタ）及びフォトダイオードを含む。ＥＤｏＦ光学系１１０を介して撮像素子１１２の受光面に入射した光学像は、その受光面に配列された各フォトダイオードにより入射光量に応じた量の信号電荷に変換される。そして、各フォトダイオードに蓄積されたＲ・Ｇ・Ｂの信号電荷は、画素毎の電圧信号（画像信号）として順次出力される。

アナログ・デジタル変換部（ＡＤ変換部）１１４は、撮像素子１１２から画素毎に出力されるアナログのＲ・Ｇ・Ｂ画像信号をデジタルのＲＧＢ画像信号に変換する。ＡＤ変換部１１４によりデジタルの画像信号に変換されたデジタル画像信号は、モザイクデータ（ＲＡＷ画像データ）として出力される。

撮像モジュール１０１から出力されるモザイクデータに対し、前述した第１から第３実施形態で示した画像処理部（画像処理装置）３５を適用することにより、広範囲でピントが合った状態の高解像度の回復画像データを生成することができる。

即ち、図１８の符号１３１１に示すように、ＥＤｏＦ光学系１１０を通過後の点像（光学像）は、大きな点像（ボケ画像）として撮像素子１１２に結像されるが、画像処理部（画像処理装置）３５による点像復元処理（位相回復処理及び周波数回復処理）により、図１８の符号１３１２に示すように小さな点像（高解像度の画像）に復元される。

尚、上述の各実施形態では、画像処理部（画像処理装置）３５が、デジタルカメラ１０のカメラ本体１４（カメラ本体コントローラ２８）に設けられる態様について説明したが、コンピュータ６０やサーバ８０等の他の装置に画像処理部（画像処理装置）３５が設けられてもよい。

例えば、コンピュータ６０において画像データを加工する際に、コンピュータ６０に設けられる画像処理部（画像処理装置）３５によってこの画像データの点像復元処理が行われてもよい。また、サーバ８０が画像処理部（画像処理装置）３５を備える場合、例えば、デジタルカメラ１０やコンピュータ６０からサーバ８０に画像データが送信され、サーバ８０の画像処理部（画像処理装置）３５においてこの画像データに対して点像復元処理が行われ、点像復元処理後の画像データ（回復画像データ）が送信元に送信・提供されるようにしてもよい。

また、本発明を適用可能な態様はデジタルカメラ１０、コンピュータ６０及びサーバ８０には限定されず、撮影を主たる機能とするカメラ類の他に、撮影機能に加えて撮影以外の他の機能（通話機能、通信機能、その他のコンピュータ機能）を備えるモバイル機器類に対しても適用可能である。本発明を適用可能な他の態様としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、ＰＤＡ（Personal Digital Assistants）、携帯型ゲーム機が挙げられる。以下、本発明を適用可能なスマートフォンの一例について説明する。

＜スマートフォンの構成＞
図１９は、本発明の撮影装置の一実施形態であるスマートフォン２０１の外観を示すものである。図１９に示すスマートフォン２０１は、平板状の筐体２０２を有し、筐体２０２の一方の面に表示部としての表示パネル２２１と、入力部としての操作パネル２２２とが一体となった表示入力部２２０を備えている。また、係る筐体２０２は、スピーカ２３
１と、マイクロホン２３２、操作部２４０と、カメラ部２４１とを備えている。尚、筐体２０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。

図２０は、図１９に示すスマートフォン２０１の構成を示すブロック図である。図２０に示すように、スマートフォンの主たる構成要素として、無線通信部２１０と、表示入力部２２０と、通話部２３０と、操作部２４０と、カメラ部２４１と、記憶部２５０と、外部入出力部２６０と、ＧＰＳ（Global Positioning System）受信部２７０と、モーションセンサ部２８０と、電源部２９０と、主制御部２００とを備える。また、スマートフォン２０１の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部２１０は、主制御部２００の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。係る無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部２２０は、主制御部２００の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザに情報を伝達し、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル２２１と、操作パネル２２２とを備える。

表示パネル２２１は、ＬＣＤ（Liquid Crystal Display）、ＯＥＬＤ（Organic Electro-Luminescence Display）などを表示デバイスとして用いたものである。操作パネル２２２は、表示パネル２２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。係るデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部２００に出力する。次いで、主制御部２００は、受信した検出信号に基づいて、表示パネル２２１上の操作位置（座標）を検出する。

図１９に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン２０１の表示パネル２２１と操作パネル２２２とは一体となって表示入力部２２０を構成しているが、操作パネル２２２が表示パネル２２１を完全に覆うような配置となっている。係る配置を採用した場合、操作パネル２２２は、表示パネル２２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル２２２は、表示パネル２２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル２２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

尚、表示領域の大きさと表示パネル２２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル２２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。さらに、外縁部分の幅は、筐体２０２の大きさなどに応じて適宜設計されるものである。また、操作パネル２２２において採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部２３０は、スピーカ２３１やマイクロホン２３２を備え、マイクロホン２３２を通じて入力されたユーザの音声を主制御部２００にて処理可能な音声データに変換して主制御部２００に出力したり、無線通信部２１０あるいは外部入出力部２６０により受信された音声データを復号してスピーカ２３１から出力するものである。また、図１９に示すように、例えば、スピーカ２３１、マイクロホン２３２を表示入力部２２０が設けられた面と同じ面に搭載することができる。

操作部２４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図１９に示すように、操作部２４０は、スマートフォン２０１の筐体２０２の側面に搭載され、指などにより押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部２５０は、主制御部２００の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部２５０は、スマートフォン内蔵の内部記憶部２５１と着脱自在な外部メモリスロットを有する外部記憶部２５２により構成される。尚、記憶部２５０を構成するそれぞれの内部記憶部２５１と外部記憶部２５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、Micro SD（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。

外部入出力部２６０は、スマートフォン２０１に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Bluetooth（登録商標）)、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ultra Wideband）（登録商標）、ジグビー（ZigBee）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン２０１に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ（Subscriber Identity Module Card）／ＵＩＭ（User Identity Module Card）カード、オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン２０１の内部の各構成要素に伝達することや、スマートフォン２０１の内部のデータを外部機器に伝送することが可能である。

ＧＰＳ受信部２７０は、主制御部２００の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン２０１の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部２７０は、無線通信部２１０や外部入出力部２６０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部２８０は、例えば、３軸の加速度センサなどを備え、主制御部２００の指示にしたがって、スマートフォン２０１の物理的な動きを検出する。スマートフォン２０１の物理的な動きを検出することにより、スマートフォン２０１の動く方向や加速度が検出される。係る検出結果は、主制御部２００に出力されるものである。

電源部２９０は、主制御部２００の指示にしたがって、スマートフォン２０１の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部２００は、マイクロプロセッサを備え、記憶部２５０が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン２０１の各部を統括して制御するものである。また、主制御部２００は、無線通信部２１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部２５０が記憶するアプリケーションソフトウェアにしたがって主制御部２００が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部２６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。

また、主制御部２００は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部２２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部２００が、上記画像データを復号し、係る復号結果に画像処理を施して、画像を表示入力部２２０に表示する機能のことをいう。

更に、主制御部２００は、表示パネル２２１に対する表示制御と、操作部２４０、操作パネル２２２を通じたユーザ操作を検出する操作検出制御を実行する。

表示制御の実行により、主制御部２００は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、或いは電子メールを作成するためのウィンドウを表示する。尚、スクロールバーとは、表示パネル２２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部２００は、操作部２４０を通じたユーザ操作を検出したり、操作パネル２２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、或いは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に、操作検出制御の実行により主制御部２００は、操作パネル２２２に対する操作位置が、表示パネル２２１に重なる重畳部分（表示領域）か、それ以外の表示パネル２２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル２２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部２００は、操作パネル２２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、或いはこれらを組合せて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部２４１は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ
（Charge-Coupled Device）などの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部２４１は、主制御部２００の制御により、撮影によって得た画像データを例えばＪＰＥＧ（Joint Photographic coding Experts Group）などの圧縮した画像データに変換し、記憶部２５０に記録したり、外部入出力部２６０や無線通信部２１０を通じて出力することができる。図１９に示すにスマートフォン２０１において、カメラ部２４１は表示入力部２２０と同じ面に搭載されているが、カメラ部２４１の搭載位置はこれに限らず、表示入力部２２０の背面に搭載されてもよいし、或いは、複数のカメラ部２４１が搭載されてもよい。尚、複数のカメラ部２４１が搭載されている場合、撮影に供するカメラ部２４１を切り替えて単独にて撮影したり、或いは、複数のカメラ部２４１を同時に使用して撮影することもできる。

また、カメラ部２４１はスマートフォン２０１の各種機能に利用することができる。例えば、表示パネル２２１にカメラ部２４１により取得した画像を表示することや、操作パネル２２２の操作入力のひとつとして、カメラ部２４１の画像を利用することができる。また、ＧＰＳ受信部２７０が位置を検出する際に、カメラ部２４１からの画像を参照して位置を検出することもできる。さらには、カメラ部２４１からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン２０１のカメラ部２４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部２４１からの画像をアプリケーションソフトウェア内において利用することもできる。

その他、静止画又は動画の画像データにＧＰＳ受信部２７０により取得した位置情報、マイクロホン２３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部２８０により取得した姿勢情報等などを付加して記憶部２５０に記録したり、外部入出力部２６０や無線通信部２１０を通じて出力することもできる。

上述のスマートフォン２０１において、点像復元処理に関連する上述の各処理部は、例えば主制御部２００、記憶部２５０等によって適宜実現可能である。

本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０…デジタルカメラ、１２…レンズユニット、１４…カメラ本体、１６…レンズ、１７…絞り、１８…光学系操作部、２０…レンズユニットコントローラ、２２…レンズユニット入出力部、２６…撮像素子、２８…本体コントローラ、２９…ユーザインターフェース、３０…カメラ本体入出力部、３２…入出力インターフェース、３３…階調補正処理部、３４…デバイス制御部、３５…画像処理部、３６…点像復元制御処理部、４１…オフセット補正処理部、４２…ＷＢ補正処理部、４３…デモザイク処理部、４４、４４−２…位相回復処理部、４４ａ、４４−２ａ…位相回復演算処理部、４４ｂ、４４−２ｂ、４６ｂ、４６−２ｂ…フィルタ選択部、４４ｃ、４４−２ｃ、４６ｃ、４６−２ｃ…光学系データ取得部、４４ｄ、４４−２ｄ、４６ｄ、４６−２ｄ、２５０…記憶部、４５、４５−２…階調補正処理部、４６、４６−２…周波数回復処理部、４６ａ、４６−２ａ…周波数回復演算処理部、４７…輝度・色差変換処理部、１０１…撮像モジュール、１１０…ＥＤｏＦ光学系、１１０Ａ…撮影レンズ、１１１…光学フィルタ、１１２…撮像素子、１１４…ＡＤ変換部、２００…主制御部、２０１…スマートフォン、２０２…筐体、２１０…無線通信部、２２０…表示入力部、２２１…表示パネル、２２２…操作パネル、２３０…通話部、２３１…スピーカ、２３２…マイクロホン、２４０…操作部、２４１…カメラ部、２５１…内部記憶部、２５２…外部記憶部、２６０…外部入出力部、２７０…受信部、２８０…モーションセンサ部、２９０…電源部

Claims (13)

1. 光学系を用いた被写体像の撮影により撮像素子から取得される画像データに対し、前記光学系の点拡がり関数に基づく位相回復フィルタを用いた位相回復処理を行う位相回復処理部と、
   前記位相回復処理された画像データに対して、非線形な階調補正を行う階調補正処理部と、
   前記階調補正された画像データに対し、前記光学系の点拡がり関数に基づく周波数回復フィルタを用いた周波数回復処理を行う周波数回復処理部と、
   を備えた画像処理装置。
2. 前記位相回復フィルタ及び前記周波数回復フィルタを記憶する記憶部を備え、
   前記位相回復処理部は、前記記憶部から前記位相回復フィルタを読み出して前記位相回復処理に使用し、
   前記周波数回復処理部は、前記記憶部から前記周波数回復フィルタを読み出し、前記周波数回復処理に使用する請求項１に記載の画像処理装置。
3. 前記光学系の点拡がり関数、前記点拡がり関数をフーリエ変換した光学伝達関数、又は前記光学伝達関数の振幅成分を示す変調伝達関数及び位相成分を示す位相伝達関数を記憶する記憶部を備え、
   前記位相回復処理部は、前記記憶部から前記点拡がり関数、前記光学伝達関数、又は前記位相伝達関数を読み出し、前記位相回復フィルタを生成し、前記生成した位相回復フィルタを前記位相回復処理において使用し、
   前記周波数回復処理部は、前記記憶部から前記点拡がり関数、前記光学伝達関数、又は前記変調伝達関数を読み出して前記周波数回復フィルタを生成し、前記生成した周波数回復フィルタを前記周波数回復処理に使用する請求項１に記載の画像処理装置。
4. 前記位相回復処理部は、前記撮像素子から取得される画像データであって、色チャンネル毎の画像データに対して、それぞれ位相回復フィルタを用いた位相回復処理を行い、
   前記周波数回復処理部は、前記階調補正された前記画像データであって、色チャンネル毎の画像データに対して、それぞれ周波数回復フィルタを用いた周波数回復処理を行う請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記位相回復処理部は、前記撮像素子から取得される画像データであって、色チャンネル毎の画像データに対して、それぞれ前記位相回復フィルタを用いた位相回復処理を行い、
   前記周波数回復処理部は、前記階調補正処理部により階調補正された画像データであって、色チャンネル毎の画像データから生成される輝度成分を示す画像データに対して、前記周波数回復フィルタを用いた周波数回復処理を行う請求項１から３のいずれか１項に記載の画像処理装置。
6. 前記位相回復処理部は、前記撮像素子から取得される画像データであって、色チャンネル毎の画像データから生成される輝度成分を示す画像データに対して、前記位相回復フィルタを用いた位相回復処理を行い、
   前記周波数回復処理部は、前記階調補正された前記画像データであって、色チャンネル毎の画像データから生成される輝度成分を示す画像データに対して、前記周波数回復フィルタを用いた周波数回復処理を行う請求項１から３のいずれか１項に記載の画像処理装置。
7. 前記撮像素子から取得される色チャンネル毎の画像データから輝度成分を示す輝度データを生成する輝度データ生成部を備え、
   前記位相回復処理部は、前記輝度データ生成部により生成された輝度データに対して、前記位相回復フィルタを用いた位相回復処理を行い、
   前記階調補正処理部は、前記位相回復処理された前記輝度データに対し、非線形な階調補正を行い、
   前記周波数回復処理部は、前記階調補正された前記輝度データに対して、前記周波数回復フィルタを用いた周波数回復処理を行う請求項６に記載の画像処理装置。
8. 前記階調補正処理部は、前記画像データに対して、対数化処理による階調補正を行うガンマ補正処理部である請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記位相回復処理部により位相回復処理される前記画像データのビット長は、前記周波数回復処理部により周波数回復処理される前記画像データのビット長よりも大きい請求項１から８のいずれか１項に記載の画像処理装置。
10. 前記光学系は、位相を変調することにより被写界深度を拡大させるレンズ部を有する請求項１から９のいずれか１項に記載の画像処理装置。
11. 光学系を用いた被写体像の撮影により画像データを出力する撮像素子と、
    請求項１から１０のいずれか１項に記載の画像処理装置と、を備える撮影装置。
12. 光学系を用いた被写体像の撮影により撮像素子から取得される画像データに対し、前記光学系の点拡がり関数に基づく位相回復フィルタを用いた位相回復処理を行うステップと、
    前記位相回復処理された画像データに対して、非線形な階調補正を行うステップと、
    前記階調補正された画像データに対し、前記光学系の点拡がり関数に基づく周波数回復フィルタを用いた周波数回復処理を行うステップと、
    を含む画像処理方法。
13. 光学系を用いた被写体像の撮影により撮像素子から取得される画像データに対し、前記光学系の点拡がり関数に基づく位相回復フィルタを用いた位相回復処理を行うステップと、
    前記位相回復処理された画像データに対して、非線形な階調補正を行うステップと、
    前記階調補正された画像データに対し、前記光学系の点拡がり関数に基づく周波数回復フィルタを用いた周波数回復処理を行うステップと、
    をコンピュータに実行させる画像処理プログラム。