JP2017050662A - 画像処理装置、撮像装置および画像処理プログラム - Google Patents

Abstract

【課題】保持すべきデータ量を削減しつつ、撮像画像のデフォーカス領域でも良好な画像回復処理を行う。【解決手段】画像処理装置１６は、撮像により生成された第１の画像および該第１の画像でのデフォーカス領域に対して合焦した第２の画像とを取得し、上記撮像における光学伝達関数に関する情報を取得し、第１の画像および第２の画像を用いて、光学伝達関数に関する補正に用いる補正情報を生成し、光学伝達関数に関する情報および補正情報を用いて、第１の画像に対する画像回復処理を行う。【選択図】図１

Description

本発明は、撮像により生成された画像に対して画像処理を行う画像処理技術に関する。

デジタルカメラ等の撮像装置により得られた画像は、撮像光学系の球面収差、コマ収差、像面湾曲および非点収差等の諸収差によって画質が劣化としている。これらの収差は、点像分布関数（Point Spread Function：以下、ＰＳＦという）により表すことができる。ＰＳＦをフーリエ変換することにより得られる光学伝達関数（Optical Transfer Function:以下、ＯＴＦという）は、収差の周波数成分の情報であり、複素数で表される。光学伝達関数（ＯＴＦ）の絶対値、すなわち振幅成分を、ＭＴＦ（Modulation Transfer Function）といい、位相成分をＰＴＦ（Phase Transfer Function）という。ＭＴＦおよびＰＴＦはそれぞれ、収差による画像劣化の振幅成分および位相成分の周波数特性である。

撮像光学系のＯＴＦは撮像により生成される画像のＭＴＦとＰＴＦに影響（劣化）を与えるため、該画像は各点がコマ収差のように非対称にぼけた劣化画像になる。さらに、画像が有する色成分（赤、青、緑等）ごとにＰＳＦが異なるため、色成分ごとに異なるぼけが発生し、劣化画像は色が滲んだような画像になる。

これら画像のぼけ（劣化）を補正する方法として、撮像光学系のＯＴＦの情報を用いるものが知られている。この方法は、画像回復や画像復元とも呼ばれており、以下、この撮像光学系のＯＴＦの情報を用いて劣化画像を補正（低減）する処理を画像回復処理と称する。そして、詳細は後述するが、画像回復処理の方法の１つとして、光学伝達関数の逆特性を有する実空間の画像回復フィルタを入力画像に対して畳み込む（コンボリューション）方法が知られている。

画像回復処理を効果的に行うためには、撮像光学系のより正確なＯＴＦを得る必要がある。ＯＴＦを得る方法は、例えば、撮像光学系の設計値の情報があれば、その情報から計算によって求めることが可能である。また、点光源を撮像し、その強度分布にフーリエ変換を施すことでも求めることが可能である。

ただし、ＯＴＦは、撮像条件、すなわち撮像光学系の絞り値や焦点距離（ズーム状態）等に応じて変化するのに加えて、撮像面上での像高によっても変化する。さらに、ＯＴＦは被写体に対する撮像光学系の焦点状態によっても変化する。このため、画像回復処理において用いるべき画像回復フィルタは、画像内での位置（像高）や画像内に含まれる被写体までの距離（つまりは撮像光学系の焦点状態）によって異なる。仮に画像全体に同じ画像回復フィルタを適用すると、像高や焦点状態に応じたＯＴＦの違いによって画像回復の特性が合わない部分領域に偽色が発生する等の弊害が生じる。このため、劣化画像の全体に対して良好な画像回復処理を行うためには、劣化画像の部分領域ごとに最適な画像回復フィルタを適用する必要がある。

しかし、劣化画像の部分領域ごとに最適な画像回復フィルタを生成すると、その生成のために保持すべきＯＴＦのデータ量が膨大になる。特許文献１には、撮像条件や像高に応じたＯＴＦを再構成するための係数データを保持することで、保持すべきデータ量を削減する方法が開示されている。しかし、このような係数データを用いたとしても、すべての像高や焦点状態ごとにＯＴＦを再構成するのでは演算量が大きくなる。

一方、特許文献２には、撮像素子の１つの画素が１つのマイクロレンズと複数に分割された光電変換部とにより構成された撮像装置が開示されている。分割された光電変換部は、１つのマイクロレンズを介して撮像光学系の射出瞳のうち互いに異なる部分領域（部分瞳領域）からの光束を受光する。これらの分割された光電変換部から出力された光電変換信号を用いることで、複数の部分瞳領域を通した互いに視差を有する複数の視差画像を生成することができる。このように生成された複数の視差画像を用いて、光強度の空間分布および角度分布情報であるLightField（ＬＦ）データを取得することができる。そして、このＬＦデータを用いれば、複数の視差画像の撮像時の撮像面とは異なる仮想結像面にて合焦した画像を生成することが可能である。

また、特許文献３には、上述した分割された光電変換部からの光電変換信号を全て加算することによって、１つの撮像画像を生成する撮像装置が開示されている。

特開２０１２−０７３６９１号公報 米国特許第４４１０８０４号明細書 特開２００１−０８３４０７号公報

上述したように、劣化画像におけるすべての像高においてそこでの焦点状態に最適な画像回復フィルタを生成するためには、保持すべきＯＴＦのデータが膨大になったり演算量が増大したりするという問題がある。

本発明は、保持すべきデータ量を削減しつつ、画像内での部分領域ごとの焦点状態に応じた画像回復処理を行えるようにした画像処理装置および撮像装置等を提供する。

本発明の一側面としての画像処理装置は、撮像により生成された第１の画像および該第１の画像でのデフォーカス領域に対して合焦した第２の画像とを取得する画像取得手段と、上記撮像における光学伝達関数に関する情報を取得する関数情報取得手段と、第１の画像および第２の画像を用いて、光学伝達関数に関する補正に用いる補正情報を生成する補正情報生成手段と、光学伝達関数に関する情報および補正情報を用いて、第１の画像に対する画像回復処理を行う回復処理手段とを有することを特徴とする。

なお、上記画像処理装置と、撮像により画像を生成する撮像手段とを有する撮像装置も、本発明の他の一側面を構成する。

また、本発明の他の一側面としての画像処理プログラムは、コンピュータを動作させるコンピュータプログラムであって、該コンピュータに、撮像により生成された第１の画像および該第１の画像でのデフォーカス領域に対して合焦した第２の画像とを取得させ、上記撮像における光学伝達関数に関する情報を取得させ、第１の画像および第２の画像を用いて、光学伝達関数に関する補正に用いる補正情報を生成させ、光学伝達関数に関する情報および補正情報を用いて、第１の画像に対する画像回復処理を行わせることを特徴とする。

本発明によれば、保持すべきデータ量を削減しつつ、第１の画像におけるデフォーカス領域においても良好な画像回復処理を行うことができる。

本発明の実施例である撮像装置の構成を示すブロック図。 実施例において行われる画像処理を示すフローチャート。 実施例におけるデフォーカス領域でのＯＴＦ補正値の算出処理を示すフローチャート。 実施例における撮像素子による瞳分割を示す図。 実施例におけるリフォーカス可能範囲を示す図。 実施例におけるリフォーカス処理を示す図。

以下、本発明の実施例について図面を参照しながら説明する。

まず、以下に説明する実施例にて用いる用語の定義と画像回復処理について説明する。
「入力画像」
入力画像（第１の画像）は、撮像装置において撮像光学系により形成された被写体像を光電変換した撮像素子からの出力を用いて生成されたデジタル画像であり、例えばＲＧＢ色成分の情報を有するＲＡＷ画像である。入力画像は、レンズや光学フィルタ等の光学素子を含む撮像光学系の収差を含む光学伝達関数（以下、ＯＴＦという）により劣化した画像である。

撮像光学系は、曲率を有するミラー（反射面）を含んでもよい。また、撮像光学系は、撮像装置に対して着脱（交換）が可能であってもよい。撮像装置において、撮像素子および該撮像素子の出力を用いて入力画像を生成する信号処理部により撮像系が構成される。撮像素子は、ＣＭＯＳセンサやＣＣＤセンサ等の光電変換素子により構成される。

入力画像や出力画像には、撮像光学系の焦点距離および絞り値や被写体距離（または撮像距離）等の撮像条件や、入力画像を補正するための各種補正情報が付帯されていてもよい。
［画像回復処理］
撮像装置により生成された入力画像（劣化画像）をｇ（ｘ，ｙ）とし、元の画像（劣化していない画像）をｆ（ｘ，ｙ）とし、光学伝達関数（以下、ＯＴＦという）のフーリエペアである点像分布関数（以下、ＰＳＦという）をｈ（ｘ，ｙ）とする。この場合、以下の式（１）が成り立つ。ただし、＊はコンボリューション（畳み込み積分または積和）を示し、（ｘ，ｙ）は入力画像上の座標（位置）を示す。
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ） …（１）
この式（１）をフーリエ変換して周波数面での表示形式に変換すると、以下の式（２）のように周波数ごとの積の形式になる。Ｈ（ｕ，ｖ）はＰＳＦであるｈ（ｘ，ｙ）をフーリエ変換して得られたＯＴＦである。Ｇ（ｕ，ｖ），Ｆ（ｕ，ｖ）はそれぞれ、ｇ（ｘ，ｙ），ｆ（ｘ，ｙ）をフーリエ変換して得られた関数である。（ｕ，ｖ）は２次元周波数面での座標、すなわち周波数を示す。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ） …（２）
劣化画像から元の画像を得るためには、以下の式（３）ように、上記式（２）の両辺をＨ（ｕ，ｖ）で除算すればよい。
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ） …（３）
Ｆ（ｕ，ｖ）、すなわちＧ（ｕ，ｖ）／Ｈ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことで、元の画像ｆ（ｘ，ｙ）に相当する回復画像が得られる。

ここで、Ｈ^−１（ｕ，ｖ）を逆フーリエ変換したものをＲとすると、以下の式（４）のように実面での画像に対するコンボリューション処理を行うことで、同様に元の画像ｆ（ｘ，ｙ）である回復画像を得ることができる。
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ） …（４）
式（４）中のＲ（ｘ，ｙ）が画像回復フィルタである。入力画像が２次元画像であるとき、一般に画像回復フィルタも該２次元画像の各画素に対応したタップ（セル）を有する２次元フィルタとなる。また、一般に画像回復フィルタのタップ数（セル数）が多いほど画像回復精度が向上するため、出力画像としての要求画質、画像処理装置としての画像処理能力、ＰＳＦの広がり幅等に応じて実現可能なタップ数が設定される。

画像回復フィルタは、少なくとも収差の特性を反映している必要があるため、従来の水平垂直各３タップ程度のエッジ強調フィルタ（ハイパスフィルタ）等とは全く異なる。また、画像回復フィルタは、ＯＴＦに基づいて生成されるため、劣化画像（入力画像）における振幅成分と位相成分の劣化をともに高精度に補正することができる。

ただし、実際の画像にはノイズ成分が含まれる。このため、上記のようにＯＴＦの完全な逆数をとって作成した画像回復フィルタを用いると、劣化画像が回復されるだけでなくノイズ成分が大幅に増幅されてしまう。これは、入力画像の振幅成分にノイズの振幅が付加されている状態に対して撮像光学系のＭＴＦ（振幅成分）を全周波数にわたって１に戻すようにＭＴＦを持ち上げるためである。撮像光学系による振幅劣化であるＭＴＦは１に戻るが、同時にノイズ成分のパワースペクトルも持ち上がってしまい、結果的にＭＴＦを持ち上げる度合い、すなわち回復ゲインに応じてノイズが増幅されてしまう。したがって、ノイズ成分が含まれる入力画像からは鑑賞用画像として良好な回復画像が得られない。

ノイズ成分が含まれる画像を画像回復する方法としては、例えば式（５）に示すウィナーフィルタ（Wiener filter）のように画像信号とノイズ信号の強度比（ＳＮＲ）に応じて回復度合いを制御する方法が知られている。

Ｍ（ｕ，ｖ）はウィナーフィルタの周波数特性を示し、｜Ｈ（ｕ，ｖ）｜はＯＴＦの絶対値（ＭＴＦ）を示す。後述する実施例では、式（５）のＭ（ｕ，ｖ）が画像回復フィルタの周波数特性を示す。この方法は、周波数ごとに、ＭＴＦが小さいほど回復ゲインを抑制し、ＭＴＦが大きいほど回復ゲインを強くするものである。一般に、撮像光学系のＭＴＦは、低周波数側が高く、高周波数側が低くなるため、実質的に画像信号の高周波数側の回復ゲインを抑制する方法となる。

図１には、本発明の実施例である撮像装置としてのデジタルカメラ（以下、単にカメラとう）１００の構成を示している。カメラ１００は、撮像画像の取得が可能であるとともに互いに視差を有する複数の視差画像を同時に取得可能な撮像素子１２を備えている。

１０は撮像光学系（以下、撮像レンズという）であり、撮像素子１２の撮像面上に光学像（被写体像）を形成する。撮像素子１２は、ＣＭＯＳセンサ等により構成され、被写体像を電気信号に変換してアナログ撮像信号を出力する。１４は撮像素子１２から出力されたアナログ撮像信号をデジタル撮像信号に変換するＡ／Ｄ変換器である。

１６は画像処理装置としての画像処理部であり、Ａ／Ｄ変換器１４からのデジタル撮像信号またはメモリ制御部２０からのデジタル撮像信号に対してデモザイク処理や色変換処理等の所定の画像処理を行って撮像画像（第１の画像）としての画像データを生成する。画像処理部１６は、撮像素子１２とともに撮像手段を構成する。

また、画像処理部１６は、後述するリフォーカス画像（第２の画像）およびＯＴＦデータの取得、後述するＯＴＦ補正値の生成、さらには画像回復処理を行う。画像処理部１６は、画像取得手段、関数情報取得手段、補正情報生成手段および回復処理手段として機能する。

２０はメモリ制御部であり、Ａ／Ｄ変換器１４および画像処理部１６を制御する。Ａ／Ｄ変換器１４から出力されたデジタル撮像信号は、画像処理部１６およびメモリ制御部２０を介して、または画像処理部１６を介さずにメモリ制御部２０を介して表示用画像データとして画像表示メモリ２６またはメモリ２８に書き込まれる。

２２はＤ／Ａ変換器であり、２４はＬＣＤ等から構成される画像表示部である。画像表示メモリ２６に書き込まれた表示用の画像データはＤ／Ａ変換器２２によりアナログ信号に変換された後、画像表示部２４により表示される。順次生成される表示用の画像データを画像表示部２４に表示することで、いわゆるライブビュー機能を実現することが可能である。

２８は撮像により生成された記録用の静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。さらに、メモリ２８には、画像回復フィルタを生成するためのＯＴＦデータ１１０が保存されている。これにより、被写体を連続撮像して複数枚の静止画像を生成する連写撮像においても、高速かつ大量の画像データの書き込みをメモリ２８に対して行うことが可能となる。なお、メモリ２８は、システム制御部３２の作業領域としても使用される。

３２はカメラ１００の全体を制御するシステム制御部である。３４は撮像準備スイッチＳＷ１であり、不図示のシャッターボタンの半押し操作でＯＮとなる。撮像準備スイッチＳＷのＯＮにより、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の撮像準備動作の開始が指示される。

３６は撮像開始スイッチＳＷ２であり、シャッターボタンの全押し操作でＯＮとなる。撮像開始スイッチＳＷ２のＯＮにより、撮像記録動作が開始される。すなわち、撮像素子１２からの撮像信号がＡ／Ｄ変換器１４を介して、またはＡ／Ｄ変換器１４およびメモリ制御部２０を介して画像処理部１６に送られる。画像処理部１６は、撮像信号に対して上述した所定の画像処理を行って記録用の画像データを生成し、該画像データに対して圧縮処理を行い、圧縮した画像データを、カメラ１００に対して着脱可能な記録媒体を含む記録部３０に書き込む。

図２のフローチャートには、本実施例において画像処理部１６が行う画像処理を示している。コンピュータにより構成される画像処理部１６は、コンピュータプログラムである画像処理プログラムに従って本処理を実行する。

まず、ステップＳ２０１において、画像処理部１６は、入力画像としての撮像画像（画像データ）と複数の視差画像を取得する。撮像素子１２は、撮像レンズ１０の射出瞳を複数の部分瞳領域に分割し（すなわち瞳分割し）、該複数の部分瞳領域を通した互いに視差を有する複数の視差画像を同時に取得することが可能である。具体的には、撮像素子１２の全有効画素（複数の画素）のそれぞれが１つのマイクロレンズと複数に分割された光電変換部（以下、サブ画素という）とにより構成され、各サブ画素がマイクロレンズを介して対応する部分瞳領域からの光束を受光する。これらのサブ画素から出力された光電変換信号を用いることで、それぞれ有効画素数に対応する解像度を有して互いに視差を有する複数の視差画像を生成することができる。

図４には、本実施例における撮像素子１２による瞳分割を示している。撮像レンズ１０の射出瞳３００は、複数の部分瞳領域３０１，３０２に分割されている。互いに異なる瞳部分領域３０１，３０２を通過した光束は、撮像素子１２の各画素に互いに異なる角度で入射し、各画像に設けられたマイクロレンズ３０８を介して、Ｎθ×Ｎθ分割（例えば、２×２分割）されたサブ画素３０３〜３０６により受光される。サブ画素３０３〜３０６からの光電変換信号を用いることで、光強度の空間分布および角度分布を示すＬＦデータを取得することができる。そして、このＬＦデータから、各画素の複数のサブ画素のうち１つの特定のサブ画素からの光電変換信号を選択することで、複数の部分瞳領域のうち特定の部分瞳領域に対応する視差画像を取得することができる。このようにして、撮像素子１２の各画素がＮθ×Ｎθ（＝Ｎｐ）個のサブ画素を有する場合は、互いに視差を有するＮｐ枚の視差画像を取得することができる。

また、撮像素子１２の画素ごとに複数のサブ画素の信号を全て加算して１画素の出力とすることで、有効画素数に対応する解像度を有する撮像画像を生成することができる。

次に、ステップＳ２０２において、画像処理部１６は、撮像レンズ１０に対応したＯＴＦに関する情報としてのＯＴＦデータをメモリ２８から取得する。

本実施例におけるＯＴＦデータは、撮像レンズ１０が離散的に選択された複数の特定の被写体距離にそれぞれ合焦している状態での該撮像レンズ１０の設計値から算出されたＯＴＦに関する情報を示すデータである。また、ＯＴＦデータは、特定の周波数範囲内で離散的に選択された複数の特定の周波数でのＯＴＦに関する情報を示すデータである。さらに、ＯＴＦデータは、画像の中心（撮像レンズ１０の光軸位置）からの複数の放射方向における複数の特定位置（離散的な像高）に配置された二次元データである。前述したようにＯＴＦは像高によって異なるが、画像中の全像高（全画素）についてＯＴＦのデータを用意するとデータ量が膨大となるため、離散的な特定像高におけるＯＴＦのデータのみをメモリ２８に保持する。そして、これら離散的な特定像高以外の像高でのＯＴＦデータは、その像高の近傍の２以上の特定像高のＯＴＦデータを用いた補間（例えば線形補間）によって得る。

ＯＴＦデータは、ＯＴＦそのもののデータであってもよいし、ＯＴＦを逆フーリエ変換して得られるＰＳＦのデータであってもよい。本実施例では、ＯＴＦデータを、ＯＴＦを近似した多項式の係数とする。これにより、ＯＴＦやＰＳＦのデータを保持する場合に比べて、保持すべきデータ量をより削減することができる。

なお、ＯＴＦデータを保持する特定の周波数範囲の周波数の最大値は大きめに用意しておくことが望ましい。この段階では撮像装置の特性が不定であるため、後の処理において制限とならないために、より柔軟に対応できるようにしておく必要があるためである。その後、撮像装置の特性、例えばナイキスト周波数に応じて必要な周波数範囲のＯＴＦデータを抽出するようにする。

また、本実施例では、画像の全体に離散的に配置した特定像高でのＯＴＦデータを保持するが、特定像高を画像の一部にのみ離散的に配置し、それら特定像高でのＯＴＦデータのみを保持するようにしてもよい。

次に、ステップＳ２０３では、画像処理部１６は、ステップＳ２０１で取得した複数の視差画像を用いて、撮像画像に対するデフォーカスマップを生成する。具体的には、画像処理部１６は、複数の視差画像のうち撮像素子の各画素に対応する画素（以下、対応画素という）間での位相差を算出し、該位相差からデフォーカス量ｄを求める。そして、全ての対応画素間で算出したデフォーカス量ｄのデータを撮像素子の画素配列に従って並べることでデフォーカスマップを生成する。

なお、本実施例ではデフォーカス量のデータをマップ化するが、必ずしもデフォーカス量そのもののデータをマップ化する必要はない。例えば、デフォーカス量は被写体距離に対応するので、デフォーカスマップに代えて、被写体距離をマップ化してもよい。また、デフォーカス量や被写体距離を得るために、撮像素子１２とは別に焦点検出装置や測距装置を設けてもよいし、カメラ１００に外付けした測距装置によって被写体距離を求めてもよい。また、ユーザによって被写体距離を入力できるようにしてもよい。

次に、ステップＳ２０４において、画像処理部１６は、ステップＳ２０３で生成したデフォーカスマップを参照して、撮像画像をデフォーカス量ｄが互いに異なる複数の部分領域（以下、デフォーカス領域という）に分割する。各デフォーカス領域は、あるデフォーカス量の画素を少なくとも１つ含む。そして、画像処理部１６は、デフォーカス領域ごとに、そのデフォーカス領域のデフォーカス量に応じてＯＴＦデータを補正するための補正情報としてのＯＴＦ補正値Ｈｄを算出する。このＯＴＦ補正値Ｈｄの算出については後に詳しく説明する。

次に、ステップＳ２０５において、画像処理部１６は、デフォーカス領域ごとに、ＯＴＦデータを補正値Ｈｄを用いて補正する。具体的には、ＯＴＦデータに補正値Ｈｄを乗じることで、補正されたＯＴＦデータを生成する。この際、画像処理部１６は、予めメモリ２８に記憶された撮像素子１２の特性値（撮像素子１２の画素ピッチから算出されるナイキスト周波数）に応じて後の画像回復処理において使用するＯＴＦデータを抽出する。そして、抽出したＯＴＦデータを補正値Ｈｄを用いて補正する。さらに、画像処理部１６は、補正前または補正後のＯＴＦデータに、撮像素子１２の前面に設けられた光学ローパスフィルタ（図示せず）や撮像素子１２の各画素の開口による劣化特性を乗じて、ＯＴＦデータの最終的な調整を行う。こうして、デフォーカス領域でのデフォーカス量に応じたＯＴＦデータ（以下、デフォーカス補正ＯＴＦデータという）を生成する。

次に、ステップＳ２０６において、画像処理部１６は、デフォーカス補正ＯＴＦデータを用いて、式（５）に示す周波数特性を有する画像回復フィルタを生成する。画像回復フィルタは、式（５）のＭ（ｕ，ｖ）を逆フーリエ変換することで実数の二次元フィルタとして生成される。

続いて、ステップＳ２０７において、画像処理部１６は、画像回復フィルタを撮像画像に適用（コンボリューション）して画像回復処理を行い、回復画像を得る。

次に、図３のフローチャートを用いて、ステップＳ２０４でのデフォーカス領域ごとのＯＴＦ補正値の算出について説明する。

まず、ステップＳ３０１において、画像処理部１６は、リフォーカス可能領域を算出する。

本実施例におけるリフォーカス可能範囲を図５に示す。許容錯乱円をδとし、撮像レンズ１０の絞り値をＦとすると、絞り値Ｆでの被写界深度は±Ｆδである。これに対して、Ｎθ×Ｎθ（＝２×２）分割されて狭くなった部分瞳領域の実効絞り値Ｆ′（＝Ｆ０１〜Ｆ０４）はＦ′＝ＮθＦと暗くなり、各視差画像の実効的な被写界深度は±ＮθＦδと±Ｆδに対してＮθ倍深くなる。つまり、合焦とみなされるデフォーカス量の範囲がＮθ倍に広がる。

実効的な被写界深度±ＮθＦδの範囲内では、各視差画像に合焦した被写体像が写っている。このため、後述するように視差画像を各サブ画素に角度を持って入射する光束に沿って平行移動させるリフォーカス処理により、撮像画像を取得した後（撮像後）に合焦位置を再調整（リフォーカス）することができる。実効的な被写界深度±ＮθＦδの範囲外では、各視差画像にぼけた被写体像しか写っていないため、合焦位置を再調整（リフォーカス）することはできない。

したがって、撮像後にリフォーカスできる撮像面からのデフォーカス量ｄは概ね、
｜ｄ｜≦ＮθＦδ …（６）
の範囲である。許容錯乱円δは、例えば、撮像素子の画素ピッチをΔＸとするときのナイキスト周波数１／（２ΔＸ）の逆数により、
δ＝２ΔＸ …（７）
と定義される。本実施例では、式（７）を満足するデフォーカス量ｄの範囲をリフォーカス可能範囲とする。

次に、ステップＳ３０２において、画像処理部１６は、ステップＳ３０１で算出したリフォーカス可能範囲をデフォーカス量ｄごとに分割する。デフォーカス領域におけるＯＴＦ補正値Ｈｄはデフォーカス量ｄごとに異なるため、デフォーカス量ｄによって分割したフォーカス可能範囲でＯＴＦ補正値Ｈｄを算出する。リフォーカス可能範囲外では補正は行わない。リフォーカス可能範囲のうちデフォーカス量ｄに対応する部分をリフォーカス可能部分Ｒ（ｄ） とする。

次に、ステップＳ３０３において、画像処理部１６は、ステップＳ３０２で分割した部分範囲Ｒ（ｄ）ごとに各視差画像に対してリフォーカス処理を行う。これにより、撮像画像での１又は複数のデフォーカス領域（内の被写体）に対して合焦した１又は複数の第２の画像としてのリフォーカス画像を生成（取得）する。

図６に、本実施例におけるリフォーカス処理を示す。図６では、撮像素子１２の撮像面に配置された画素Ｘｉ（ｉ＝０〜ＮＬＦ−１）を線分で模式的に示している。ｉ番目の画素Ｘｉに、角度θａ（ａ＝０〜Ｎθ−１）で入射した光束は、その画素Ｘｉのサブ画素にて受光される。入射角度θａの光束を受光したサブ画素からの光電変換信号（以下、サブ画素信号という）をＬｉ，ａ（ａ＝０〜Ｎθ−１）とする。

本実施例の撮像素子１２を用いて取得した複数の視差画像を用いると、光強度の空間分布および角度分布情報であるＬＦデータを取得することができる。このため、撮像後に、ＬＦデータから、撮像素子１２の撮像面（サブ画素信号Ｌｉ，ａが取得された結像面）とは異なる仮想結像面にて合焦したリフォーカス画像を生成するリフォーカス処理を行うことができる。具体的には、視差画像を構成する全てのサブ画素信号Ｌｉ，ａを、撮像面から仮想結像面まで、それぞれのサブ画素信号Ｌｉ，ａを出力したサブ画素に角度θａで入射する光束に沿って平行移動させる。そして、全てのサブ画素信号Ｌｉ，ａを仮想結像面での仮想画素に分配して重み付け加算することにより、仮想結像面でのリフォーカス画像を生成することができる。ここで、重み付け加算に用いる係数は、全ての値が正であり、それらの総和が１となる。

次に、ステップＳ３０４において、画像処理部１６は、リフォーカス可能部分Ｒ（ｄ）ごとに、そのリフォーカス可能部分Ｒ（ｄ）に対応するリフォーカス画像の合焦領域と、該合焦領域に対応する撮像画像のデフォーカス領域とをフーリエ変換する。ここでは、撮像画像のデフォーカス領域ｆｄ（ｘ，ｙ）｛ｘ，ｙ∈Ｒ（ｄ）｝に対するフーリエ変換の結果（第１の変換データ）をＦｄ（ｕ，ｖ）とし、リフォーカス画像の合焦領域に対するフーリエ変換の結果（第２の変換データ）をＧｄ（ｕ，ｖ）とする。

次に、ステップＳ３０５において、画像処理部１６は、リフォーカス画像と撮像画像のデフォーカス領域との差分、すなわち変化量を求める。変化量Ｈｄ（ｕ，ｖ）は、次式（８）で求められる。
Ｈｄ（ｕ，ｖ）＝Ｆｄ（ｕ，ｖ）／Ｇｄ（ｕ，ｖ） …（８）
続いて、ステップＳ３０６において、画像処理部１６は、ステップＳ３０５で算出した変化量Ｈｄ（ｕ，ｖ）に対して特定の周波数以上の信号をカットすることによりノイズ成分を除去する。ノイズ成分を除去したＨｄ（ｕ，ｖ）を、デフォーカス量ｄのデフォーカス領域に対するＯＴＦ補正値Ｈｄとする。そして、上述したステップＳ２０５にて該ＯＴＦ補正値Ｈｄを用いたＯＴＦデータの補正が行われる。

以上説明したように、本実施例では、撮像画像のうちデフォーカス領域のデフォーカス量に応じた画像回復フィルタを生成するためのＯＴＦデータの補正値（ＯＴＦ補正値）を、撮像画像とリフォーカス画像との差（変化量）を用いて算出する。これにより、画像回復フィルタを用いた画像回復処理によって、デフォーカス領域でも画質の劣化を良好に補正（回復）することができる。しかも、全ての被写体距離（デフォーカス量）に対するＯＴＦのデータを予めメモリに保持しておく必要がないため、保持すべきデータ量を削減することができる。

なお、本実施例では、デフォーカス量ごとにＯＴＦ補正値を算出する場合について説明したが、撮像画像において特定被写体（顔や目等の器官）の抽出処理を行い、抽出された特定被写体を含む画像領域に対してのみＯＴＦ補正値を求めてもよい。

また、本実施例では、元のＯＴＦデータをＯＴＦ補正量（補正情報）で補正することで得られたデフォーカス補正ＯＴＦデータを用いて生成した画像回復フィルタを用いて画像回復処理を行う場合について説明した。しかし、元のＯＴＦデータから生成した画像回復フィルタを補正情報を用いて補正することでデフォーカス補正画像回復フィルタを取得し、該デフォーカス補正画像回復フィルタを用いて画像回復処理を行ってもよい。さらに、元のＯＴＦデータから生成した画像回復フィルタを用いて前処理としての画像回復処理を行い、これにより得られた回復画像に対して補正情報を用いた補正処理を行うことでデフォーカス補正回復画像を生成してもよい。この場合、前処理としての画像回復処理とその後の補正処理とを含めて画像回復処理とみなすものとする。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する部（例えば、ＡＳＩＣ）によっても実現可能である。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

１０ 撮像レンズ（撮像光学系）
１２ 撮像素子
１６ 画像処理部
１００ 撮像装置

Claims (7)

1. 撮像により生成された第１の画像および該第１の画像でのデフォーカス領域に対して合焦した第２の画像とを取得する画像取得手段と、
   前記撮像における光学伝達関数に関する情報を取得する関数情報取得手段と、
   前記第１の画像および前記第２の画像を用いて、前記光学伝達関数に関する補正に用いる補正情報を生成する補正情報生成手段と、
   前記光学伝達関数に関する情報および前記補正情報を用いて、前記第１の画像に対する画像回復処理を行う回復処理手段とを有することを特徴とする画像処理装置。
2. 前記補正情報生成手段は、前記デフォーカス領域におけるデフォーカス量を算出し、該デフォーカス領域のうち前記デフォーカス量が異なる部分領域ごとに前記補正情報を生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記補正情報生成手段は、前記デフォーカス領域における特定被写体を検出し、該デフォーカス領域のうち前記特定被写体を含む部分領域に対して前記補正情報を生成することを特徴とする請求項１に記載の画像処理装置。
4. 前記補正情報生成手段は、前記第１の画像のうち前記デフォーカス領域をフーリエ変換して得られた第１の変換データと前記第２の画像のうち前記デフォーカス領域に対応する合焦領域をフーリエ変換して得られた第２の変換データとを用いて前記補正情報を生成することを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
5. 前記第２の画像は、互いに視差を有する複数の視差画像を用いて、前記第１の画像を生成するための撮像における撮像面とは異なる結像面にて合焦するように生成されたリフォーカス画像であることを特徴とする請求項１に記載の画像処理装置。
6. 請求項１から５のいずれか一項に記載の画像処理装置と、
   撮像により画像を生成する撮像手段とを有することを特徴とする撮像装置。
7. コンピュータを動作させるコンピュータプログラムであって、
   前記コンピュータに、
   撮像により生成された第１の画像および該第１の画像でのデフォーカス領域に対して合焦した第２の画像とを取得させ、
   前記撮像における光学伝達関数に関する情報を取得させ、
   前記第１の画像および前記第２の画像を用いて、前記光学伝達関数に関する補正に用いる補正情報を生成させ、
   前記光学伝達関数に関する情報および前記補正情報を用いて、前記第１の画像に対する画像回復処理を行わせることを特徴とする画像処理プログラム。