JP2018032982A - 画像処理装置、撮像装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】ライトフィールドデータによるリフォーカス画像の色にじみを補正する。
【解決手段】本発明の一実施形態に係る画像処理装置は、波長が異なる複数のチャネルを含むライトフィールドデータと、ライトフィールドデータを得るために用いられる光学系のチャネル毎の光学特性に基づき、仮想的なリフォーカス位置におけるチャネル毎のリフォーカス画像を生成する生成手段を備える。また、画像処理装置は、チャネル毎の光学特性とリフォーカス位置から、チャネル毎の空間周波数特性を導出する導出手段と、チャネル毎の空間周波数特性に基づき、チャネル毎のリフォーカス画像を、鮮鋭性を揃えるように補正する補正手段とを備える。
【選択図】図１５

Description

本発明は、ライトフィールドデータによるリフォーカス画像の補正処理に関する。

近年、光学系に新たな光学素子を追加することで、光線の向きと強度の情報（ライトフィールドデータ）を取得し、後で画像処理によってピント位置を調節すること（リフォーカス）が可能なコンピュテーショナルフォトグラフィという技術が発展している。

この技術を用いれば、撮影後にピント調整を行えるため、撮影時のピント調整の失敗を画像処理で補うことができるという利点がある。さらに、画像処理方法を変えることで画像中の任意の被写体にピントを合わせた複数の画像を一枚の撮影画像から得る事ができ、撮影回数を減らす事ができるという利点もある。

ライトフィールドデータを取得する装置としては、光学系と撮像素子によって構成されたデジタルカメラの撮像素子近傍に、マイクロレンズアレイを配置したプレノプティックカメラなどがある。通常のデジタルカメラにおいてはレンズの色収差による画質の劣化が問題となるが、プレノプティックカメラにおいても同様である。プレノプティックカメラにおいて色収差を低減する方法としては、事前に求めた収差の特性に基づき画像生成時に補正を行う方法が開示されている（特許文献１参照）。

特許第４７５２０３１号公報

Todor Georgiev, Andrew Lumsdaine, "Superresolution with Plenoptic Camera 2.0" (Adobe Technical Report)

しかしながら、特許文献１の手法に基づき色収差補正を行った場合、マイクロレンズの開口に起因するボケによってリフォーカス画像の各チャネルの鮮鋭性が異なるものとなるため、色にじみが生じるという課題がある。

本発明の一実施形態に係る画像処理装置は、波長が異なる複数のチャネルを含むライトフィールドデータと、ライトフィールドデータを得るために用いられる光学系のチャネル毎の光学特性に基づき、仮想的なリフォーカス位置におけるチャネル毎のリフォーカス画像を生成する生成手段を備える。また、画像処理装置は、チャネル毎の光学特性とリフォーカス位置から、チャネル毎の空間周波数特性を導出する導出手段と、チャネル毎の空間周波数特性に基づき、チャネル毎のリフォーカス画像を、鮮鋭性を揃えるように補正する補正手段とを備える。

本発明によれば、ライトフィールドデータによるリフォーカス画像の色にじみを補正することが可能となる。

実施形態１の撮像装置の構成例を表すブロック図である。 実施形態１の撮像部の構成例を表すブロック図である。 実施形態１の光学系の一例を表す模式図である。 ライトフィールドの表現方法を表す図である。 空間中の光線の伝播とレンズによる屈折とを説明するための図である。 光学系を通って伝播する光線のライトフィールドの一例を示す図である。 被写体と光学系の関係の一例を表す図である。 光線の伝播に従ってライトフィールドが変化する様子を模式的に示す図である。 光線に対する色収差を説明するための図である。 ライトフィールドにおける色収差を説明するための図である。 色収差補正による実空間での積分範囲の変化を表す図である。 色収差補正によるライトフィールド空間での積分範囲の変化を表す図である。 ライトフィールドデータの変形によって生じるボケに相当するフィルタの概形を表す図である。 リフォーカス位置が変化した時のチャネル毎の鮮鋭性の変化を表す模式図である。 実施形態１の画像処理部の構成例を表すブロック図である。 実施形態１の画像処理部によって実行される画像処理の処理フローの一例を表す図である。 実施形態１のリフォーカス画像生成部の構成例を表すブロック図である。 実施形態１のリフォーカス画像生成処理の処理フローの一例を表す図である。 実施形態１の空間周波数特性導出部の構成例を表すブロック図である。 実施形態１の空間周波数特性導出処理の処理フローの一例を表す図である。 実施形態１のリフォーカス画像補正部の構成例を表すブロック図である。 実施形態１のリフォーカス画像補正処理の処理フローの一例を表す図である。 実施形態２のリフォーカス画像補正部の構成例を表すブロック図である。 実施形態２のリフォーカス画像補正処理の処理フローの一例を表す図である。 空間周波数特性導出部における重み係数の変化の過程を表す図である。

以下に、本発明の実施形態を、図面を参照して詳細に説明する。なお、以下の実施形態は一例に過ぎず、本発明を限定するものではない。また、図面全体を通して、同一の符号は、同一物を表す。

［実施形態１］
＜撮像装置の全体構成＞
図１は、本発明の実施形態１に係る撮像装置の構成の一例を示すブロック図である。

本実施形態の撮像装置は、図１に示すように、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、操作部１０４、表示制御部１０５、メディアインターフェス（以下、メディアＩ／Ｆ）１０７、及びキャラクタジェネレーション部１０９を備える。また、本実施形態の撮像装置は、エンコーダ部１１１、デジタル信号処理部１１２、撮像部１１３、及び画像処理部１１４を備える。

撮像部１１３は、光学系と撮像素子を備え、ライトフィールドデータを取得する。撮像部１１３の詳細は後述する。

画像処理部１１４は、撮像部１１３により取得されたライトフィールドデータからリフォーカス画像を生成する。また、画像処理部１１４は、撮像装置の内部または外部に設置された画像処理装置としても機能する。画像処理部１１４の詳細は後述する。

ＣＰＵ１０１は、ＲＯＭ１０２やＲＡＭ１０３に格納された命令を順に読み込み、解釈し、その結果に従って処理を実行する。また、ＲＯＭ１０２とＲＡＭ１０３は、その処理に必要なプログラム、データ、作業領域などをＣＰＵ１０１に提供する。

バス１１０は、各構成要素間で、データや処理の指示をやり取りするための経路として機能する。

操作部１０４は、ボタンやモードダイヤルなどが該当し、これらを介して入力されたユーザー指示を受け取る。

キャラクタジェネレーション部１０９は、文字やグラフィックなどを生成する。

表示部１０６は、例えば液晶ディスプレイであり、キャラクタジェネレーション部１０９や表示制御部１０５から受け取った撮像画像データや文字を表示する。また、表示部１０６は、タッチスクリーン機能を有しても良く、その場合は、表示部１０６を介して入力されたユーザー指示を、操作部１０４が受け取ることも可能である。

デジタル信号処理部１１２は、撮像部１１３により取得された画像データの輝度値の調整や欠陥画素の補間などを行う。これらの処理は、後述する画像処理部１１４による処理の前に行われる。

エンコーダ部１１１は、画像処理部１１４による色収差補正処理の結果、生成されたライトフィールドデータのエンコード処理を行う。

メディアＩ／Ｆ１０７は、ＰＣ・その他メディア（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）１０８とバス１１０とを接続するためのインターフェースである。メディアＩ／Ｆ１０７を介してエンコーダ部１１１によりエンコードされたライトフィールドデータが出力される。

なお、撮像装置の構成要素は上記以外にも存在するが、本発明の主眼ではないので、説明を省略する。

＜撮像部の構成＞
図２は、本発明の実施形態１に係る撮像部１１３の構成例を示す。以下に、図２を用いて撮像部１１３の構成例を説明する。

レンズ２０１及びレンズ２０２は、結像光学系を構成する。被写体から発せられた光線は該結像光学系により、絞り２０３、シャッター２０４を通過した後に、マイクロレンズ２０５に結像される。さらに、マイクロレンズで屈折された光線は、ＩＲカットフィルタ２０６、ローパスフィルタ２０７、カラーフィルタ２０８を通過した後に、撮像素子２０９に到達する。本実施形態では、カラーフィルタとしてＲＧＢの三色を用いてカラー画像を取得する。

撮像素子２０９とＡ／Ｄ変換部２１０は、ＣＭＯＳイメージセンサなどのイメージセンサに相当する。撮像素子２０９は、２次元の格子状に配列され、入射した光線を電気信号に変換する。Ａ／Ｄ変換部２１０は、電気信号に変換された光線の情報をデジタル信号に変換する。

制御部２１２は、バス１１０を介して入力されるＣＰＵ１０１の指示に従い、撮像素子２０９とシャッター２０４を制御して、撮像を実施する。また、制御部２１２は、レンズ２０１及びレンズ２０２を制御して、ピント位置と焦点距離を、絞り２０３を制御して開口を、ユーザーが指定した状態へと変更する。

デジタル信号に変換された像の情報は、バッファ２１１内に格納され、ライトフィールドデータとなる。ライトフィールドデータは、バス１１０を介して、画像処理部１１４に送られる。

図３は、本実施形態における光学系の一例を表す模式図である。図３（ａ）に示すように、光学系は主レンズ３００として、レンズ２０１及びレンズ２０２に相当する１つ以上のレンズで構成された厚肉凸レンズを有し、その焦点上にマイクロレンズ３０１を有する。マイクロレンズ３０１の焦点上には、図３（ｂ）に示すように、撮像素子３０２が設置される。撮像素子３０２の画素位置から特定される、入射した光線が通過したマイクロレンズの位置と、マイクロレンズに入射した角度とにより、ライトフィールドデータが得られる。なお、主レンズ３００の焦点上にマイクロレンズ３０１を設置するのは、主レンズ３００のピントを無限遠方に合わせる場合であり、ピント調整によってマイクロレンズ３０１及び撮像素子３０２と主レンズ３００の相対位置は変化させても構わない。

なお、ここで示した撮像部の構成は、説明のために単純化した例であり、色収差を有する光学系を通して、複数の波長の光に対するライトフィールドを取得する機能を有すればどのような構成でもかまわない。例えば、非特許文献１で示されているように、図３（ｃ）のようなレンズの配置を用いて、撮像素子のマイクロレンズに対する共役面３０３を中心にリフォーカスを行っても良い。本実施形態では、基準となるリフォーカス位置をマイクロレンズの設置位置としているが、この構成を用いる場合、マイクロレンズに対する共役面３０３が基準リフォーカス位置となる。

＜ライトフィールドの表現方法＞
次に、本実施形態におけるライトフィールドの表現方法について説明する。本実施形態では、図４（ａ）に示すように、光学系の光軸をｚ方向として、ｚ座標が一定の値の面を通過する光線を、その通過点の位置（ｘ，ｙ）と光線の傾き（ｕ，ｖ）を用いた４次元座標で表現する。なお、ｕは光線のｘ方向の傾きを表し、ｖは光線のｙ方向の傾きを表す。図４（ｂ）は、３つの光線Ａ、Ｂ、Ｃを実空間のｘｚ平面上に示したものである。この時、光線の傾きｕはΔｘ／Δｚで表される。図４（ｃ）は、光線Ａ、Ｂ、Ｃをライトフィールド空間のｘｕ平面上（ｚ＝０）に示したものである。光線Ａと光線Ｂは傾きが同じであるため、ｕ座標が等しくなっている。一方、光線Ｂと光線Ｃはｚ＝０平面の通過位置が同じであるため、ｘ座標が等しくなっている。

次に、光線が空間中の伝播とレンズによる屈折によって、ライトフィールド空間においてどのように変化するか説明する。ここでは便宜上ライトフィールドを位置ｘと傾きｕの２次元で考える。図５は、空間中の光線の伝播とレンズによる屈折とを説明するための図である。図５（ａ）は、空間中を伝播する光線をｘｚ平面上に示す。ここで、ｚ＝ｚ₀における光線のライトフィールド座標を（ｘ₀，ｕ₀）とし、ｚ＝ｚ₁における光線のライトフィールド座標を（ｘ₁，ｕ₁）とする。光線は直進することから、ｚ＝ｚ₀とｚ＝ｚ₁におけるライトフィールド座標の関係は式（１）のようになる。

また、図５（ｂ）は、レンズにより屈折する光線をｘｚ平面上に示す。ここで、ｚ＝ｚ₀における屈折前の光線のライトフィールド座標を（ｘ₀，ｕ₀）とし、屈折後の光線のライトフィールド座標を（ｘ₁，ｕ₁）とする。ｘ₀＝ｘ₁の値がレンズの光軸に近く近軸近似が成り立つならば、光学系の性質から焦点距離ｆを用いて、屈折前と屈折後のライトフィールド座標の関係は式（２）のようになる。

なお、以上の関係は光線の位置ｙと傾きｖについても同様に成り立つ。

＜伝播する光線のライトフィールドの例＞
図６は、光学系を通って伝播する光線のライトフィールドの一例を示す。図６（ａ）は、光線を実空間のｘｚ平面上に示す。ｘ＝０の直線上に光軸があり、ｚ＝０の位置にレンズが置かれている。光線Ａ、Ｂ、Ｃ、Ｄは、ｚ＝−３、ｘ＝±１の位置から射出されている。図６（ｂ）は、光線を実空間のｘｕ平面上に示す。図６（ｂ）には、光線Ａ、Ｂ、Ｃ、Ｄが、ｚ＝−３からｚ＝０に伝播し、屈折した後、ｚ＝３に到達するときの、各光線のライトフィールド座標の変化が示されている。ｚ＝−３における各光線のライトフィールド座標は、（１，１）、（１，−１）、（−１，１）、（−１，−１）である。各光線は、レンズにより屈折した後に、ｚ＝３、ｘ＝±１の位置に到達する。空間中の伝播と屈折はそれぞれ上述した式（１）や式（２）で表させるような、ライトフィールド座標上でのせん断となることがわかる。

図７は、被写体と光学系の関係の一例を示す。図示されるように、ｚ＝ｚ₀、ｚ₁、ｚ₂に置かれた被写体７０１、７０２、７０３から発せられた光線は、ｚ＝ｚ₃に置かれたレンズ７０４を通る。そして、光線はｚ＝ｚ₄に置かれたマイクロレンズ７０５に達し、撮像素子７０６によりライトフィールドデータとして記録される。

図８は、図７に示した例において、光線の伝播に従ってライトフィールドが変化する様子を模式的に示す図である。図８の左上、中央上、右上、左下、及び中央下の図は、ｚ＝ｚ₀〜ｚ₃のそれぞれの位置において仮に記録できたとした場合におけるライトフィールドが示されている。

まず、ｚ＝ｚ₀では、被写体７０１の色を反映して、ライトフィールドは全面が黒である。ｚ＝ｚ₁では、被写体７０２から発せられた光線がライトフィールドに加わる。この時、被写体７０１から発せられた光線のうち、被写体７０２に重なる部分はオクルージョンにより遮蔽される。ｚ＝ｚ₂では、伝播により被写体７０１、７０２から発せられた光線によるライトフィールドは式（１）のようなせん断変換を受け、その上に被写体７０３から発せられた光線のライトフィールドが重畳される。ｚ＝ｚ₃では、伝播により全ての被写体から発せられた光線のライトフィールドがさらなるせん断変換を受ける。ｚ＝ｚ₃で屈折が起こると、ライトフィールドは式（２）のようなせん断変換を受ける。ｚ＝ｚ₄までの伝播で、再度、式（１）のようなせん断変換を受け、その結果、図８の右下の図に示すようなライトフィールドがマイクロレンズ７０５と撮像素子７０６によって記録される。なお、図８の右下の図には、ｚ＝ｚ₂に焦点を合わせた状態で記録されたライトフィールドが示されている。

＜ライトフィールドにおける色収差＞
ガラスのように波長分散を有する物質で光学系を構成すると、光の波長、すなわち色によって光学系の特性が変化する。この現象により、図９に示すように、焦点距離や主平面の位置が波長毎に変化することになる。図９は、光線に対する色収差を説明するための図である。図９では、被写体から発せられて空間を伝播する光線Ｌが、波長分散を有する光学系９０２により屈折した結果、緑の光線Ｌ_Gと青の光線Ｌ_Bとに分離して、互いにずれている。ここで、平面９０３は光線Ｌ_Bの波長に対する物体側主平面であり、平面９０４は光線Ｌ_Gの波長に対する物体側主平面である。また、平面９０５は光線Ｌ_Bの波長に対する像側主平面で、平面９０６は光線Ｌ_Gの波長に対する像側主平面である。光線Ｌ_Gと光線Ｌ_Bのずれのように、光学系の波長分散により、結像する位置がずれることを色収差と呼ぶ。

図１０は、ライトフィールドにおける色収差を説明するための図である。図１０（ａ）には、マイクロレンズ９０７と撮像素子９０８とによって記録される、光線Ｌ_Gのライトフィールドデータが示されている。図１０（ｂ）には、マイクロレンズ９０７と撮像素子９０８とによって記録される、光線Ｌ_Bのライトフィールドデータが示されている。図１０に示すように、光線Ｌ_Gと光線Ｌ_Bは互いにずれている。本実施形態における撮像装置は、このようなずれによる色収差がなくなるように、ライトフィールドデータを補正する。例えば、本実施形態における撮像装置は、図１０に示す例において、光線Ｌ_Gと光線Ｌ_Bが重なるように、少なくとも一方のライトフィールドデータの変換を行う。光線Ｌ_Gに光線Ｌ_Bを重ねる変換は、撮像素子９０８によって取得されたライトフィールドデータを、光線Ｌ_Bの波長に対する特性で平面９０３まで戻し、再び光線Ｌ_Gの波長に対する特性でマイクロレンズ９０７に伝播させることに等しい。このような変換は、近軸近似が成り立つ限りは上述した式（１）、式（２）による変換とその逆変換を組み合わせたものである。従って、光線Ｌ_Gの波長のライトフィールドデータ上の点の位置を（ｘ_G，ｕ_G）、光線Ｌ_Bの波長のライトフィールドデータ上の点の位置を（ｘ_B，ｕ_B）とすると、その間の関係は以下の式（３）のような線形変換で表す事ができる。

また、（ｘ，ｖ）に対して垂直方向の光線の位置ｙと傾きｖについても同様の関係が成り立つ。そのため、光線Ｌ_Gの波長のライトフィールドデータ上の点の位置を（ｙ_G，ｖ_G）、光線Ｌ_Bの波長のライトフィールドデータ上の点の位置を（ｙ_B，ｖ_B）とすると、同様に以下の式（４）が成り立つ。

本実施形態では、設計値や計測結果からあらかじめ求めた、式（３）、式（４）のような異なる波長のライトフィールド間の対応関係に基づきライトフィールドデータをリサンプリングすることで、色収差を補正する。

ライトフィールド間の対応を記述するパラメータａ、ｂ、ｃ、ｄは、式（１）と式（２）を組み合わせることで、設計値や計測値に基づき算出できる。一例として、光線Ｌ_Gと光線Ｌ_Bの各波長における焦点距離をｆ_G、ｆ_B、物体側主点位置をｐ_G、ｐ_B、像側主点位置をｐ’_G、ｐ’_B、マイクロレンズ設置位置をsとした場合、パラメータａ、ｂ、ｃ、ｄは、以下の式（５）のように表すことができる。

＜色収差の補正によるサンプリング時の積分範囲の変化＞
ライトフィールドデータは、図３で示したような光学系を通った光線を、有限の開口を持った撮像素子で積分してサンプリングすることで取得される。色収差補正を行った場合、補正後の空間における積分範囲は、波長毎に光学特性の違いを反映してそれぞれ異なったものとなる。図１１は、色収差補正による実空間での積分範囲の変化を表す図である。ここで、光線Ｌ_Bは、マイクロレンズ１１０８を通してサンプリングされる青の光線を表しており、主レンズ１１０１を通して物体側の共役点１１１０に対応している。青の光線Ｌ_Bに対する主レンズの物体側主平面は１１０２、像側主平面は１１０４であり、緑の光線Ｌ_Gに対する物体側主平面は１１０３、像側主平面は１１０５である。光線Ｌ_Bを光線Ｌ_Gに対する主レンズの光学特性に合わせて色収差補正して得られる光線がＬ’_Bである。光線Ｌ_Bはマイクロレンズ１１０８を通る光線に対応していたが、補正後の空間では仮想的なマイクロレンズ１１０９を通る光線に変換される。すなわち、マイクロレンズが置かれていた面１１０６が、色収差補正により面１１０７に移動することとなる。

図１２は、色収差補正によるライトフィールド空間での積分範囲の変化を表す図である。図１２（ａ）、（ｂ）は、それぞれマイクロレンズ設置面１１０６上でのライトフィールド空間を表している。図１２（ａ）は、補正前の光線Ｌ_B、Ｌ_Gの積分範囲であり、図１２（ｂ）は、補正後の光線Ｌ’_Bのライトフィールドである。光線Ｌ’_Bは、仮想的なマイクロレンズ設置面１１０７でサンプリングされた光線であり、実際のマイクロレンズ設置面１１０６まで空間を移動することによりせん断変換を受ける。

＜色収差により生じる波長毎の鮮鋭性の違い＞
リフォーカス画像は、仮想的に再現したい撮像素子の位置でのライトフィールドデータを、ライトフィールド空間におけるｕ方向に積分することで生成される。ここで、実際のマイクロレンズ設置面１１０６に撮像素子を置いた場合のリフォーカス画像を生成することを考える。このとき、光線Ｌ_Gのライトフィールドの積分範囲は、図１２（ａ）のようになっており、光線Ｌ’_Bのライトフィールドの積分範囲は、図１２（ｂ）のようになっている。積分範囲はそれぞれｘ方向に異なる広がりを持っており、光線が等方的に射出されたと考えた場合、積分範囲のｘ方向の広がりに対応して光線Ｌ_G、光線Ｌ’_Bにはそれぞれ異なるｘ方向のフィルタがかかっていると見なすことが出来る。

図１３は、ライトフィールドデータの変化によって生じるボケに相当するフィルタの概形を表した図であある。図１３（ａ）は、光線Ｌ_Gに対するフィルタを表し、図１３（ｂ）は、光線Ｌ’_Bに対するフィルタを表す。この例では、光線Ｌ_Gの方が光線Ｌ’_Bより鮮鋭性が高いリフォーカス画像が得られることとなる。

図１４は、リフォーカス処理において仮想的な撮像素子を置く位置（リフォーカス位置）が変化した時の、チャネル毎の鮮鋭性の変化を表す模式図である。ｚ＝ｚ₀、ｚ₁、ｚ₂、ｚ₃の各リフォーカス位置に対して、リフォーカス画像の緑のチャネルの鮮鋭性１４０２と青のチャネルの鮮鋭性１４０１は、図示されるように変化する。

以上説明したように、本実施形態における撮像装置は、リフォーカス画像のチャネル間の鮮鋭性の違いによって生じる、色にじみを補正する。

＜画像処理部の構成と処理＞
図１５は、本実施形態における撮像装置の画像処理部１１４の構成例を表すブロック図である。画像処理部１１４は、ライトフィールド取得部１５０１、リフォーカス位置取得部１５０２、光学特性取得部１５０３、リフォーカス画像生成部１５０４を備える。また、画像処理部１１４は、空間周波数特性導出部１５０５、リフォーカス画像補正部１５０６、リフォーカス画像出力部１５０７を備える。

ライトフィールド取得部１５０１は、波長が異なる複数の光線のチャネルを含むライトフィールドデータを、バス１１０を介して取得する。ここで、ライトフィールドデータはあらかじめ、設計情報や構成情報を元に、マイクロレンズ２０５上でのライトフィールド座標に合わせて変換されているものとする。また、本実施形態では一例として、ライトフィールドデータは赤、青、緑の３波長のチャネルから構成されるものとする。

リフォーカス位置取得部１５０２は、リフォーカス処理において仮想的な撮像素子を置く位置を、リフォーカス位置としてバス１１０を介して取得する。本実施形態では、基準位置に対する移動量としてリフォーカス位置を表すものとする。

光学特性取得部１５０３は、光学系のチャネル毎の光学特性を、バス１１０を介して取得する。ここで光学特性は、色収差による各チャネルのライトフィールドデータのずれが補正されたリフォーカス画像の生成と、補正後の積分範囲がチャネル間で異なることによる鮮鋭性の導出に十分な情報を有していればどのようなものでも良い。本実施形態における光学特性は、緑のチャネルのライトフィールドデータの座標と、他のチャネルのライトフィールドデータの座標とを対応付ける、式（３）、式（４）のような関係を記述するパラメータで表すものとする。

リフォーカス画像生成部１５０４は、リフォーカス位置取得部１５０２が取得したリフォーカス位置における、チャネル毎のリフォーカス画像を生成する。リフォーカス画像は、ライトフィールド取得部１５０１が取得したライトフィールドデータと、光学特性取得部１５０３が取得した光学特性に基づき、生成される。詳細は後述する。

空間周波数特性導出部１５０５は、色収差補正によるライトフィールドデータ中の各光線の積分範囲の変化に起因する、各チャネルの鮮鋭性を表す空間周波数特性を導出する。空間周波数特性は、光学特性取得部１５０３が取得した対象チャネルの光学特性と、リフォーカス位置取得部１５０２が取得したリフォーカス位置から導出される。詳細は後述する。

リフォーカス画像補正部１５０６は、リフォーカス画像生成部１５０４が生成した各チャネルのリフォーカス画像に対して、空間周波数特性導出部１５０５が導出した各チャネルの空間周波数特性に基づき、色にじみの補正を行う。詳細は後述する。

リフォーカス画像出力部１５０７は、リフォーカス画像補正部１５０６が補正したリフォーカス画像を出力する。

次に、図１６を用いて、本実施形態の画像処理部１１４によって実行される画像処理の処理フローの一例を説明する。

ステップＳ１６０１では、ライトフィールド取得部１５０１が、波長が異なる複数のチャネルを含むライトフィールドデータを取得する。

ステップＳ１６０２では、リフォーカス位置取得部１５０２がリフォーカス位置を取得する。

ステップＳ１６０３では、光学特性取得部１５０３が、光学系のチャネル毎の光学特性を取得する。

ステップＳ１６０４からステップＳ１６０７における処理は、チャネル毎の処理であり、全チャネルの処理が終わるまで繰り返される。終了判定は、ステップＳ１６０７において行われる。

ステップＳ１６０４では、リフォーカス画像生成部１５０４と空間周波数特性導出部１５０５が、取得したライトフィールドデータと光学特性から、新たな対象チャネルのライトフィールドデータと光学特性を抽出する。

ステップＳ１６０５では、リフォーカス画像生成部１５０４が、ステップＳ１６０４で抽出された対象チャネルのライトフィールドデータと光学特性から、ステップＳ１６０２で取得されたリフォーカス位置でのリフォーカス画像を生成する。詳細は後述する。

ステップＳ１６０６では、空間周波数特性導出部１５０５が、ステップＳ１６０４で抽出した対象チャネルの光学特性とステップＳ１６０２で取得したリフォーカス位置から、対象チャネルの空間周波数特性を導出する。詳細は後述する。

全チャネルについて、リフォーカス画像を生成し、空間周波数特性を導出すると、処理は、ステップＳ１６０８に進む。

ステップＳ１６０８では、リフォーカス画像補正部１５０６が、ステップＳ１６０６で導出した空間周波数特性に基づき、ステップＳ１６０５で生成したリフォーカス画像に対して色にじみの補正を行う。詳細は後述する。

ステップＳ１６０９では、リフォーカス画像出力部１５０７が、ステップＳ１６０８で補正されたリフォーカス画像を出力する。

＜リフォーカス画像生成部の構成と処理＞
次に、上述したステップＳ１６０５における、リフォーカス画像生成部１５０４によって実行されるリフォーカス画像生成処理についてより詳細に説明する。

図１７は、本実施形態におけるリフォーカス画像生成部１５０４の構成例を表すブロック図である。リフォーカス画像生成部１５０４は、色収差補正部１７０１、シフト量決定部１７０２、リサンプリング部１７０３、及び加算部１７０４を備える。

色収差補正部１７０１は、光学特性として入力された式（３）、式（４）で表されるような異なるチャネル間のライトフィールドの対応に基づいてリサンプリングを行うことで、ライトフィールドデータの色収差補正を行う。本実施形態では、緑のチャネルのマイクロレンズ設置面上におけるライトフィールドを基準として、青と赤のチャネルのライトフィールドデータが重なるように変形する。例えば、緑と青の波長における焦点距離が５０ｍｍ、５２ｍｍ、物体側主点位置が０ｍｍ、５ｍｍ、像側主点位置が１３ｍｍ、１５ｍｍ、マイクロレンズ設置位置が７５ｍｍとする。この場合、式（５）により緑のチャネルのライトフィールド座標から青のチャネルのライトフィールド座標への変換パラメータは、（ａ，ｂ，ｃ，ｄ）＝（１．０２８５，−０．６６９２，−０．００１２，０．９７３１）となる。かかる変換パラメータは、物理的に意味づけされた表記であり、ライトフィールドデータを整数座標位置で値を持つ４Ｄの離散的にサンプリングされたデータとして扱う場合、正規化された座標と物理座標の変換が必要である。マイクロレンズ間隔Δｍを０．１ｍｍ、瞳分割幅Δａを０．１（光線の傾きによる表記）、瞳分割数ｎを５、撮像素子面と光軸が交わる位置であり、撮像素子の端部からの位置ｃを縦横それぞれ１０ｍｍとした場合、以下の式（６）により変換することができる。

このとき、ｘ、ｙ、ｕ、ｖは物理座標を表し、ｘ´、ｙ´、ｕ´、ｖ´は正規化座標を表す。以上のようにチャネル間のライトフィールド座標の対応を算出し、（ｘ，ｕ）と（ｙ，ｖ）のそれぞれについてバイリニア補間などを用いてリサンプリングを行うことで、ライトフィールドデータの色収差補正を行うことができる。

シフト量決定部１７０２は、基準となるマイクロレンズ設置面から光線をリフォーカス位置まで伝播させたときのライトフィールドデータの変形を、式（１）で表される関係に基づき決定する。本実施形態では、（ｘ，ｕ）及び（ｕ，ｖ）で表されるライトフィールド空間上で、格子状にサンプリングされたデータがリフォーカス画像生成部１５０４に入力されるものとする。従って、光線の伝播によるライトフィールドデータの変形は、光線方向（ｕ，ｖ）毎に決まるシフト量で光線通過位置（ｘ，ｙ）をシフトすることと等価である。シフト量決定部１７０２は、ライトフィールドデータの変形を表す情報として、このシフト量を決定する。マイクロレンズの位置をｚ₀、リフォーカス位置をｚ₁とすると、光線方向（ｕ，ｖ）に対してシフト量（Δｘ，Δｙ）は、以下の式（７）のように決定される。

例えば、（ｕ，ｖ）＝（０．１，−０．２）の光線方向を持つライトフィールドに対して、基準となるマイクロレンズの設置位置から像側方向に２ｍｍ動かした位置でリフォーカスする場合、シフト量は（Δｘ，Δｙ）＝（０．２ｍｍ，−０．４ｍｍ）となる。

リサンプリング部１７０３は、色収差補正部１７０１が色収差補正を行ったライトフィールドデータを、シフト量決定部１７０２が決定したシフト量に基づき、光線方向（ｕ，ｖ）毎にシフトさせてリサンプリングする。リサンプリングは、各（ｕ，ｖ）におけるｘｙ平面上のライトフィールドデータを通常の画像データとみなすことで、バイリニア補間などを用いて行うことができる。

加算部１７０４は、リサンプリング部１７０３がリサンプリングしたライトフィールドデータを、光線通過位置（ｘ，ｙ）毎に全光線方向（ｕ，ｖ）のライトフィールドデータを足し合わせることで、リフォーカス画像を生成する。なお、画素値のスケールは必要に応じて調整される。

次に、図１８を用いて、本実施形態におけるリフォーカス画像生成処理の処理フローの一例を説明する。

ステップＳ１８０１では、シフト量決定部１７０２がリフォーカス位置を取得する。

ステップＳ１８０２からステップＳ１８０７における処理は、チャネル毎の処理である。ステップＳ１８０７において全チャネルを処理したか判定を行い、全チャネルを処理していなければＳ１８０２に戻って処理を繰り返し、全チャネルを処理していれば処理を終了する。

ステップＳ１８０２では、色収差補正部１７０１が新たな対象チャネルの光学特性とライトフィールドデータを取得する。

ステップＳ１８０３では、色収差補正部１７０１がステップＳ１８０２で取得した光学特性に基づき、ステップＳ１８０２で取得したライトフィールドデータに対して色収差補正を行う。

ステップＳ１８０４では、シフト量決定部１７０２が、ステップＳ１８０１で取得したリフォーカス位置に基づき、リフォーカスによる光線方向毎のライトフィールドデータのシフト量を決定する。

ステップＳ１８０５では、リサンプリング部１７０３が、ステップＳ１８０４で決定したシフト量に基づき、ステップＳ１８０３で色収差補正を適用したライトフィールドデータをシフトさせてリサンプリングする。

ステップＳ１８０６では、加算部１７０４が、リサンプリング部１７０３によってリサンプリングされたライトフィールドデータを、全光線方向で加算してリフォーカス画像を生成する。

＜空間周波数特性導出部の構成と処理＞
次に、上述したステップＳ１６０６における、空間周波数特性導出部１５０５によって実行される空間周波数特性導出処理についてより詳細に説明する。

空間周波数特性導出部１５０５は、画素開口の広がりに対応するライトフィールド空間中の積分範囲に対して、色収差補正と光線方向毎のシフトによるライトフィールドの変形を適用することで、リフォーカス時の積分範囲を導出する。さらに、被写体から射出された光線の強度が光線方向によらず一様であるという仮定に基づき、光線通過位置（ｘ，ｙ）毎に全光線方向（ｕ，ｖ）で積分することで、空間周波数特性を表すフィルタの係数を導出する。ここで、画素開口の広がりと積分範囲の対応は、光学特性に基づき算出される。本実施形態では、各マイクロレンズの焦点距離と合焦距離、撮像素子の設置位置と開口の広がりに基づき算出されるものとする。

図１９は、本実施形態における空間周波数特性導出部１５０５の構成例を表すブロック図である。空間周波数特性導出部１５０５は、画素開口設定部１９０１、色収差補正部１７０１、シフト量決定部１７０２、リサンプリング部１７０３、及び加算部１７０４を備える。

画素開口設定部１９０１は、ライトフィールドデータ中の各光線がサンプリングされた際の、ライトフィールド空間中での積分の重み係数の分布を、高解像度のライトフィールドデータとして生成する。図２５（ａ）は、入力されるライトフィールドデータのサンプリング間隔ｄに対して、４倍の解像度で重み係数分布のライトフィールドデータを生成した例を示す。ここで、白い部分の値は１であり、灰色の部分の値は０である。この例では、ｘ，ｕ方向それぞれについて３／４の開口を持っている。

色収差補正部１７０１から加算部１７０４は、リフォーカス画像生成部１５０４における構成と同じであり、重み係数の分布をライトフィールドデータと見なして変形し、光線方向（ｕ，ｖ）に対して積分する。これにより、光線通過位置（ｘ，ｙ）毎の重み係数として、空間周波数特性を表すフィルタの係数を導出する。図２５に示す例では、重み係数分布のライトフィールドデータが色収差補正により（ａ）から（ｂ）に変形され、さらにリフォーカス処理により（ｃ）のように変形される。（ｃ）のライトフィールドデータから元の解像度のサンプリング位置でｕ方向に積分することでフィルタ係数が得られる。図２５（ｃ）では、積分範囲を実践の枠で示している。処理前は［０，３，０］だったフィルタ係数が、［１，１，１］へと変化していることがわかる。なお、フィルタ係数のスケールは、必要に応じて補正される。

次に、図２０を用いて、本実施形態における空間周波数特性導出処理の処理フローの一例を説明する。本実施形態における空間周波数特性導出処理は、図１８を用いて説明したリフォーカス画像生成処理と比較して、図１８のステップＳ１８０２がステップＳ２００１とステップＳ２００２に置き換わっている。よってここでは、ステップＳ２００１とステップＳ２００２について説明する。

ステップＳ２００１では、画素開口設定部１９０１と色収差補正部１７０１が新たな対象チャネルの光学特性を取得する。ここで、色収差補正部１７０１が取得する光学特性は、リフォーカス画像生成部１５０４と同様であるが、画素開口設定部１９０１が取得する光学特性は、各マイクロレンズの焦点距離と合焦距離、撮像素子の設置位置と開口の広がりである。

ステップＳ２００２では、画素開口設定部１９０１が、ライトフィールドデータ中の各光線がサンプリングされた際の、ライトフィールド空間中での積分の重み係数の分布を、高解像度のライトフィールドデータとして生成する。

次いで、図１８を用いて説明したリフォーカス画像生成処理と同様に、ステップＳ１８０３からステップＳ１８０６における処理を行うことによって、空間周波数特性が導出される。

＜リフォーカス画像補正部の構成と処理＞
次に、上述したステップＳ１６０８における、リフォーカス画像補正部１５０６によって実行されるリフォーカス画像補正処理についてより詳細に説明する。

本実施形態のリフォーカス画像補正部１５０６は、空間周波数特性導出部１５０５が導出した空間周波数特性を調整し、各光線のサンプリング時の積分範囲の違いによって異なったものとなる鮮鋭性を揃えることで、色にじみを補正する。本実施形態では、ＲＧＢの各チャネルのうち最も鮮鋭性の低いチャネルに合わせて、空間周波数特性を調整する。

図２１は、本実施形態におけるリフォーカス画像補正部１５０６の構成例を表すブロック図である。本実施形態におけるリフォーカス画像補正部１５０６は、基準周波数特性決定部２１０１、補正フィルタ決定部２１０２、及び補正フィルタ適用部２１０３を備える。

基準周波数特性決定部２１０１は、各チャネルの空間周波数特性に基づき、最も鮮鋭性の低いチャネルの周波数特性を、基準周波数特性ｆ_minとして決定する。鮮鋭性の指標としては、空間周波数特性を表すフィルタにハイパスフィルタを適用して得られるフィルタのパワーなどを用いることができる。また、単に空間周波数特性を表すフィルタが実空間で値を持つ幅を用いても構わない。

補正フィルタ決定部２１０２は、基準周波数特性決定部２１０１が決定した基準周波数特性と、各チャネルの空間周波数特性に基づき、以下の式（８）に示すようにｎ番目のチャネルの補正フィルタｆ´_nを決定する。

ここで、ｆ_nはｎ番目のチャネルの空間周波数特性を表す。また、「＾」はフーリエ変換を表す。

補正フィルタ適用部２１０３は、リフォーカス画像に、補正フィルタ決定部２１０２が決定した補正フィルタｆ´_nを適用することで、リフォーカス画像を補正する。

一例として、図１４において緑のチャネルの鮮鋭性が最も高くなるｚ＝ｚ₃のリフォーカス位置でリフォーカスを行い、ｎ＝０を赤、ｎ＝１を青、ｎ＝２を緑のチャネルとしたとき、各補正フィルタは以下の式（９）に示すように表される。

次に、図２２を用いて、本実施形態におけるリフォーカス画像補正処理の処理フローの一例を説明する。

ステップＳ２２０１では、基準周波数特性決定部２１０１が、全チャネルの空間周波数特性を取得する。

ステップＳ２２０２では、基準周波数特性決定部２１０１が、ステップＳ２２０１で取得した空間周波数特性に基づき、最も鮮鋭性の低いチャネルの周波数特性を、基準周波数特性として決定する。

ステップＳ２２０３からステップＳ２２０６はチャネル毎の処理である。ステップＳ２２０６において全チャネルを処理したか判定を行い、処理していなければステップＳ２２０３に戻って処理を繰り返し、全チャネルを処理していれば処理を終了する。

ステップＳ２２０３では、補正フィルタ適用部２１０３が、新たな補正対象のチャネルのリフォーカス画像を取得する。

ステップＳ２２０４では、補正フィルタ決定部２１０２が、ステップＳ２２０２で決定した基準周波数特性と、補正対象のチャネルの空間周波数特性に基づき、補正フィルタを決定する。

ステップＳ２２０５では、補正フィルタ適用部２１０３が、ステップＳ２２０３で取得した補正対象のチャネルのリフォーカス画像に対して、ステップＳ２２０４で決定した補正フィルタを適用し、補正対象のチャネルのリフォーカス画像を補正する。

以上説明したように、本実施形態では、補正フィルタ決定部２１０２が、チャネル毎のリフォーカス画像の空間周波数特性の違いを補償する補正フィルタを、チャネル毎に決定する。そして、補正フィルタ適用部２１０３が、補正フィルタ決定部２０１２によってチャネル毎に決定された補正フィルタを、各波長のリフォーカス画像に適用する。そうすることで、全チャネルのリフォーカス画像の鮮鋭性を揃えることができ、色にじみを補正することができる。

なお、本実施形態では赤、青、緑の３波長の光線を取得し、リフォーカス画像を生成する構成としたが、異なる波長の光線であれば波長の種類と数はどのようなものであっても構わない。また、本実施形態におけるライトフィールドデータの表現は一例であり、（ｘ，ｙ，ｕ，ｖ）空間中で正方格子状にサンプリングされた形態でなくても良いし、（ｘ，ｙ，ｕ，ｖ）による表現でなくても良い。また、本実施形態ではマイクロレンズ設置位置をリフォーカス位置の基準として用いたが、リフォーカス位置はどの面を基準にしても構わない。また、本実施形態で示したリフォーカス画像の生成方法は一例であり、周波数空間での処理を行ったり、ライトフィールド空間中で直接リサンプリングしたりするなど、どのような方法を用いても構わない。また、本実施形態で示した空間周波数特性の導出方法は一例であり、計測や設計値からあらかじめ導出したリフォーカス位置に対する空間周波数特性のＬＵＴ（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）を用いても構わない。また、空間周波数特性は、チャネル毎のリフォーカス画像から導出しても構わない。また、空間周波数特性は、リフォーカス画像の画素位置によらず一様な特性であっても、画素位置に依存する特性であっても構わない。また、リフォーカス位置や光学特性などのパラメータは、等価な役割を果たすならばどのような表現のものでも構わない。また、本実施形態で示したリフォーカス画像の補正方法は一例であり、鮮鋭性の高いチャネルの空間周波数特性やあらかじめ設定した周波数特性に合わせて補正するような構成でも構わない。また、本実施形態で示した補正フィルタの導出方法は一例であり、厳密に空間周波数特性が揃わないようなフィルタであっても、空間周波数特性を相対的に揃える効果があるならばどのようなフィルタでも構わない。

以上、本実施形態によれば、リフォーカス画像の各チャネルの鮮鋭性の違いによって生じる色にじみを補正することが可能となる。

［実施形態２］
上述した実施形態１では、チャネル毎の空間周波数特性の違いを補償する補正フィルタを用いて、各チャネルの空間周波数特性が揃うように補正を行うことで、色にじみを補正した。一方、実施形態２では、鮮鋭性の高いチャネルのリフォーカス画像の高周波成分を補正成分として用いて、鮮鋭性の低いチャネルのリフォーカス画像を補正することで、色にじみを補正しながら鮮鋭性を向上させる。より具体的には、本実施形態におけるリフォーカス画像補正部１５０６は、空間周波数特性導出部１５０５が導出した空間周波数特性に基づき、最も鮮鋭性の高いチャネルを決定し、高周波成分を抽出して他のチャネルに付加することで鮮鋭性を向上させる。

図２３は、本実施形態におけるリフォーカス画像補正部１５０６の構成例を表すブロック図である。本実施形態におけるリフォーカス画像補正部１５０６は、基準チャネル決定部２３０１、抽出フィルタ決定部２３０２、チャネル選択部２３０３、高周波成分抽出部２３０４、高周波成分補正部２３０５を備える。

基準チャネル決定部２３０１は、取得した全チャネルの空間周波数特性に基づき、最も鮮鋭性の高いチャネルを基準チャネルとして決定する。

抽出フィルタ決定部２３０２は、補正対象の空間周波数特性と基準チャネルの空間周波数特性に基づき、以下の式（１０）に示すようにｎ番目のチャネルの抽出フィルタｆ´_nを決定する。

ここで、ｆ_nはｎ番目のチャネルの空間周波数特性を表し、ｆ_maxは基準チャネルの空間周波数特性を表す。

決定した抽出フィルタは、基準チャネルのリフォーカス画像から高周波成分を抽出するために用いられる。

チャネル選択部２３０３は、基準チャネルのリフォーカス画像を取得するとともに、補正対象のチャネルを選択して補正対象のチャネルのリフォーカス画像を取得する。

高周波成分抽出部２３０４は、基準チャネルのリフォーカス画像に抽出フィルタを適用して高周波成分を抽出する。

高周波成分補正部２３０５は、補正対象のチャネルのリフォーカス画像に、抽出した高周波成分を加算することで、補正対象のチャネルのリフォーカス画像を補正する。

次に、図２４を用いて、本実施形態におけるリフォーカス画像補正処理の処理フローの一例を説明する。

ステップＳ２４０１では、基準チャネル決定部２３０１が、全チャネルの空間周波数特性を取得する。

ステップＳ２４０２では、基準チャネル決定部２３０１が、ステップＳ２４０１で取得した全チャネルの空間周波数特性に基づき、最も鮮鋭性の高いチャネルを基準チャネルとして決定する。また、チャネル選択部２３０３が基準チャネルのリフォーカス画像を取得する。

ステップＳ２４０３からステップＳ２４０７は、チャネル毎の処理である。ステップＳ２４０７で全チャネルを処理したか判定を行い、処理していなければステップＳ２４０３に戻って処理を繰り返し、処理していれば処理を終了する。

ステップＳ２４０３では、チャネル選択部２３０３が、新たな補正対象のチャネルを選択し、補正対象のチャネルのリフォーカス画像を取得する。

ステップＳ２４０４では、抽出フィルタ決定部２３０２が、ステップＳ２４０２で決定した基準チャネルと、補正対象のチャネルの空間周波数特性に基づき、基準チャネルのリフォーカス画像から高周波成分を抽出するための抽出フィルタを決定する。

ステップＳ２４０５では、高周波成分抽出部２３０４が、ステップＳ２４０２で取得した基準チャネルのリフォーカス画像に対して、ステップＳ２４０４で決定した抽出フィルタを適用し、高周波成分を抽出する。

ステップＳ２４０６では、高周波成分補正部２３０５が、ステップＳ２４０３で取得した補正対象のチャネルのリフォーカス画像に、ステップＳ２４０５で抽出した基準チャネルの高周波成分を加算する。そうすることで、補正対象のチャネルのリフォーカス画像を補正する。

なお、本実施形態で示した補正方法は一例であり、空間周波数特性に基づき、異なるチャネルの情報を用いて色にじみを補正する構成ならばどのようなものであっても構わない。例えば、複数のチャネルの情報を用いる構成でも構わない。また、周波数空間の波長域毎に用いるチャネルが変わっても構わない。

以上、本実施形態によれば、鮮鋭性の高いチャネルのリフォーカス画像の高周波成分を用いて、鮮鋭性の低いチャネルのリフォーカス画像を補正することで、色にじみの補正を行いながら鮮鋭性を向上させることが可能となる。

［その他の実施形態］
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１１４ 画像処理部
１５０４ リフォーカス画像生成部
１５０５ 空間周波数特性導出部
１５０６ リフォーカス画像補正部

Claims (10)

1. 波長が異なる複数のチャネルを含むライトフィールドデータと、前記ライトフィールドデータを得るために用いられる光学系のチャネル毎の光学特性に基づき、仮想的なリフォーカス位置におけるチャネル毎のリフォーカス画像を生成する生成手段と、
   前記チャネル毎の光学特性と前記リフォーカス位置から、チャネル毎の空間周波数特性を導出する導出手段と、
   前記チャネル毎の空間周波数特性に基づき、前記チャネル毎のリフォーカス画像を、鮮鋭性を揃えるように補正する補正手段と
   を備えたことを特徴とする画像処理装置。
2. 前記補正手段が、
   前記チャネル毎の空間周波数特性の違いを補償する補正フィルタをチャネル毎に決定する決定手段と、
   前記補正フィルタを前記チャネル毎のリフォーカス画像に適用する適用手段と
   を有することを特徴とする請求項１記載の画像処理装置。
3. 前記補正手段が、
   前記チャネル毎の空間周波数特性に基づき、基準チャネルのリフォーカス画像からチャネル毎の補正成分を抽出する抽出手段と、
   前記チャネル毎の補正成分を、前記チャネル毎のリフォーカス画像に加算する加算手段と
   を有することを特徴とする請求項１記載の画像処理装置。
4. 前記補正成分は、前記基準チャネルの前記リフォーカス画像の高周波成分であることを特徴とする請求項３に記載の画像処理装置。
5. 前記空間周波数特性が、前記リフォーカス画像の画素位置によらず一様であることを特徴とする請求項１から４のいずれか１項記載の画像処理装置。
6. 前記導出手段が、あらかじめ導出した前記リフォーカス位置に対する空間周波数特性に基づき、前記チャネル毎の空間周波数特性を導出することを特徴とする請求項１から５のいずれか１項記載の画像処理装置。
7. 前記導出手段が、前記チャネル毎のリフォーカス画像に基づき、前記チャネル毎の空間周波数特性を導出することを特徴とする請求項１から５のいずれか１項記載の画像処理装置。
8. 前記光学系を有し、前記ライトフィールドデータを取得する撮像手段と、
   請求項１から７のいずれか１項に記載の画像処理装置と
   を有することを特徴とする撮像装置。
9. 波長が異なる複数のチャネルを含むライトフィールドデータと、前記ライトフィールドデータを得るために用いられる光学系のチャネル毎の光学特性に基づき、仮想的なリフォーカス位置におけるチャネル毎のリフォーカス画像を生成する生成工程と、
   前記チャネル毎の光学特性と前記リフォーカス位置から、チャネル毎の空間周波数特性を導出する導出工程と、
   前記チャネル毎の空間周波数特性に基づき、前記チャネル毎のリフォーカス画像を、鮮鋭性を揃えるように補正する補正工程と
   を含むことを特徴とする画像処理方法。
10. コンピュータを請求項１から７のいずれか１項に記載の画像処理装置として機能させるためのプログラム。

Images