JP2016225852A - 画像処理方法、画像処理装置及び画像処理プログラム - Google Patents

Abstract

【課題】高解像度の画像または映像の空間解像度を維持しつつ、高解像度の画像のリフォーカス機能を実現できる画像を生成する。
【解決手段】ライトフィールド化すべき処理対象画像と、処理対象画像と同じシーンにおける光線の強度を処理対象画像よりも低い空間解像度で光線の進行方向毎に表現した参照ライトフィールド画像とを用いて、処理対象画像の各画素の位置における光線の強度を光線の進行方向毎に表現したライトフィールド画像を生成する画像処理方法であって、処理対象画像と参照ライトフィールド画像とを用いて、処理対象画像のフォーカス情報を推定する処理対象画像フォーカス推定ステップと、処理対象画像と参照ライトフィールド画像と推定したフォーカス情報とを用いて、処理対象画像に対するライトフィールド画像である高解像度ライトフィールド画像を生成する高解像度ライトフィールド画像生成ステップとを有する。
【選択図】図１

Description

本発明は、所望の画像を画像処理によって生成する画像処理方法、画像処理装置及び画像処理プログラムに関する。

デジタル画像や映像の品質において、その空間解像度は非常に大きな要素である。そのため、より高解像度な映像を取り扱うことのできる高精細映像／画像システムの研究開発が継続的に行われている。高解像度な映像／画像を用いることで被写体や背景を細部まで鮮明に表現することが可能となる。その一方で各被写体に対してフォーカスが合っているか否かという解像度が低かった際には視認不可能であった要素まで視認されることになる。一般に、注視する被写体にフォーカスが合っていない映像／画像は、ボケが生じていると認識され、その画質は低いと評価されてしまう。そのため、解像度の高い映像／画像を撮影する際には、フォーカスを正確にコントロールすることが非常に重要であると考えられている。

なお、本明細書において、画像とは、静止画像、または動画像を構成する１フレーム分の画像のことをいう。また映像とは、動画像と同じ意味であり、一連の画像の集合である。

しかしながら、高解像度の映像／画像を撮影する際のフォーカスコントロールは非常に困難な作業であることが知られている。低解像度の画像／映像を撮影する際にはビューファインダや小型の確認用のモニタを用いてフォーカスの状況を確認しながら撮影することが可能であるが、解像度の高い画像／映像を撮影する場合、小さなモニタでは細かな合焦状況まで確認することができないためである。

一般に高解像度の画像／映像を表示可能なモニタは大型になることから、撮影とフォーカスの確認を同時に一人の人間が行うことが不可能である。そのため、カメラマンとは別に“フォーカスマン”と呼ばれるスタッフを用意し、離れた場所で大型のモニタでフォーカスの状況を確認しながらフォーカスの操作を行ったり、確認したフォーカスの状況をカメラマンへ指示することが行われている。

また、撮影後に画像処理を行うことを前提とすることで、撮影後にフォーカスを調節できる撮像装置も開発されている。これはライトフィールドカメラと呼ばれる撮像装置であり、従来のカメラにおけるメインレンズと投影面の間にマイクロレンズアレイを挿入した構成になっている（例えば、非特許文献１参照）。このような構成を取ることで、カメラに入射する光線を入射角毎に記録することが可能となり、そこから異なる距離にフォーカスを合わせた画像／映像を生成することができる。ライトフィールドカメラにより撮像された画像（以下、ライトフィールド画像という）は、各画素の位置における光線の強度を光線の進行方向ごとに表現した画像である。

R. Ng, "Digital light field photography", Ph.D dissertation, Stanford University, July 2006.

しかしながら、非特許文献１に記載の方法では、撮像素子を空間的に異なる光線をサンプリングするためだけでなく、レンズへの入射角の異なる光線をサンプリングするために割かなくてはならないため、撮像可能な空間解像度が低下してしまうという問題がある。

なお、空間解像度と角度解像度の積が撮像素子の個数に近似できる。そのため、どちらにより高い解像度を与えるかは撮像装置を設計する際にある程度コントロールすることが可能である。ただし、角度解像度は撮像後のリフォーカス可能な範囲に影響を与えるため、ある程度の解像度を与える必要がある。非特許文献１の方法に基づいて作成・販売されたライトフィールドカメラでは、おおよそ１０ｘ１０の角度解像度を持つため、空間解像度は一般的なカメラの約１００分の１になっている。

より多くの撮像素子を用いることで、空間解像度の低下を防ぐことも可能である。しかしながら、そのような方法では、十分な量の光量を得るために撮像装置の規模が大きくなるほか、より高解像度な画像センサが必要となるためにコストも増大するという問題がある。例えば、前述したライトフィールドカメラの場合、本来の空間解像度を保つためには、約１００倍の解像度を持つ画像センサが必要となる。

本発明は、このような事情に鑑みてなされたもので、高解像度の画像または映像の空間解像度を維持しつつ、高解像度の画像のリフォーカス機能を実現できる画像を生成することができる画像処理方法、画像処理装置及び画像処理プログラムを提供することを目的とする。

本発明の一態様は、ライトフィールド化すべき処理対象画像と、前記処理対象画像と同じシーンにおける光線の強度を前記処理対象画像よりも低い空間解像度で光線の進行方向毎に表現した参照ライトフィールド画像とを用いて、前記処理対象画像の各画素の位置における光線の強度を光線の進行方向毎に表現したライトフィールド画像を生成する画像処理方法であって、前記処理対象画像と前記参照ライトフィールド画像とを用いて、前記処理対象画像のフォーカス情報を推定する処理対象画像フォーカス推定ステップと、前記処理対象画像と前記参照ライトフィールド画像と前記推定したフォーカス情報とを用いて、前記処理対象画像に対するライトフィールド画像である高解像度ライトフィールド画像を生成する高解像度ライトフィールド画像生成ステップとを有する画像処理方法である。

本発明の一態様は、前記画像処理方法であって、前記参照ライトフィールド画像から異なるフォーカス情報を持つ複数のフォーカス画像を生成するフォーカス画像生成ステップを更に有し、前記処理対象画像フォーカス推定ステップでは、前記フォーカス画像と前記処理対象画像とを用いて、前記処理対象画像のフォーカス情報を推定する。

本発明の一態様は、前記画像処理方法であって、前記フォーカス画像生成ステップでは、前記参照ライトフィールド画像と同じ空間解像度の前記フォーカス画像を生成し、前記処理対象画像フォーカス推定ステップでは、前記参照ライトフィールド画像と同じ空間解像度を持つように前記処理対象画像をダウンサンプルした画像と、前記フォーカス画像とを比較することで、前記処理対象画像のフォーカス情報を推定する。

本発明の一態様は、前記画像処理方法であって、前記フォーカス画像生成ステップでは、前記処理対象画像と同じ空間解像度の前記フォーカス画像を生成し、前記処理対象画像フォーカス推定ステップでは、前記処理対象画像と前記フォーカス画像とを比較することで、前記処理対象画像のフォーカス情報を推定する。

本発明の一態様は、前記画像処理方法であって、前記フォーカス画像生成ステップでは、前記参照ライトフィールド画像の空間解像度をアップサンプルした拡大参照ライトフィールド画像を用いて、前記処理対象画像と同じ空間解像度の前記フォーカス画像を生成する。

本発明の一態様は、前記画像処理方法であって、前記フォーカス画像生成ステップでは、前記参照ライトフィールド画像から前記参照ライトフィールド画像と同じ空間解像度の低解像度フォーカス画像を生成し、前記低解像度フォーカス画像をアップサンプルすることで、前記処理対象画像と同じ空間解像度の前記フォーカス画像を生成する。

本発明の一態様は、ライトフィールド化すべき処理対象画像と、前記処理対象画像と同じシーンにおける光線の強度を前記処理対象画像よりも低い空間解像度で光線の進行方向毎に表現した参照ライトフィールド画像とを用いて、前記処理対象画像の各画素の位置における光線の強度を光線の進行方向毎に表現したライトフィールド画像を生成する画像処理装置であって、前記処理対象画像と前記参照ライトフィールド画像とを用いて、前記処理対象画像のフォーカス情報を推定する処理対象画像フォーカス推定手段と、前記処理対象画像と前記参照ライトフィールド画像と前記推定したフォーカス情報とを用いて、前記処理対象画像に対するライトフィールド画像である高解像度ライトフィールド画像を生成する高解像度ライトフィールド画像生成手段とを備える画像処理装置である。

本発明の一態様は、コンピュータに、前記画像処理方法を実行させるための画像処理プログラムである。

本発明によれば、同一シーンのライトフィールド画像を用いて、高解像度の画像または映像の光線情報を推定することで、高解像度の画像のリフォーカスを行うことのできるライトフィールド画像を生成することができるという効果が得られる。

本発明の実施形態による画像処理装置の構成を示すブロック図である。 図１に示す画像処理装置１００の動作を示すフローチャートである。 図１に示すフォーカス情報推定部１０３がステップＳ１０２で行う処理動作を示すフローチャートである。 図１に示すフォーカス情報推定部１０３がステップＳ１０２で行う別の処理動作を示すフローチャートである。 図１に示すフォーカス情報推定部１０３がステップＳ１０２で行う別の処理動作を示すフローチャートである。 図１に示す高解像度ライトフィールド画像生成部１０４の詳細な構成を示すブロック図である。 図６に示す高解像度ライトフィールド画像生成部１０４の動作を示すフローチャートである。 図６に示す高解像度ライトフィールド画像生成部１０４の動作の変形例を示すフローチャートである。 画像処理装置１００をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成を示すブロック図である。

以下、図面を参照して、本発明の実施形態による画像処理装置を説明する。ここでは、１枚の画像に対する処理を説明するが、複数の連続する画像に対して同じ処理を繰り返すことで映像（動画像）を処理することができる。なお、映像の全てのフレームに適用せずに、一部のフレームに対して本手法による処理を適用し、その他のフレームに対しては別の処理を適用しても構わない。

図１は本実施形態における画像処理装置の構成を示すブロック図である。画像処理装置１００は、コンピュータ装置によって構成し、図１に示すように、処理対象画像入力部１０１、参照ライトフィールド画像入力部１０２、フォーカス情報推定部１０３及び高解像度ライトフィールド画像生成部１０４を備えている。

処理対象画像入力部１０１は、ライトフィールド化の対象となる高解像度の画像を入力する。以下では、この画像を処理対象画像と称する。参照ライトフィールド画像入力部１０２は、処理対象画像よりも空間解像度が低く、処理対象画像と同一のシーンに対するライトフィールド画像を入力する。以下では、この低解像度ライトフィールド画像を参照ライトフィールド画像と称する。

なお、どのようなライトフィールド画像が入力されても構わない。例えば、非特許文献１のようなメインレンズによって結像した被写体の光学像を複数のマイクロレンズを用いて取得したライトフィールド画像であっても、別の方法を用いて取得したライトフィールド画像であっても構わない。ここでは、非特許文献１記載のライトフィールド画像が入力されるものとする。

フォーカス情報推定部１０３は、処理対象画像と参照ライトフィールド画像とを入力し、参照ライトフィールドを用いて処理対象画像のフォーカスを推定する。高解像度ライトフィールド画像生成部１０４は、処理対象画像と参照ライトフィールド画像と推定したフォーカスとにしたがって、処理対象画像をライトフィールド化した画像を推定して生成する。以下では、生成されたライトフィールド画像を高解像度ライトフィールド画像と称する。

次に、図２を参照して、図１に示す画像処理装置１００の動作を説明する。図２は、図１に示す画像処理装置１００の動作を示すフローチャートである。まず、各種の情報（処理対象画像と参照ライトフィールド画像）を入力して内部に保持する（ステップＳ１０１）。具体的には、処理対象画像入力部１０１は処理対象画像を入力し、参照ライトフィールド画像入力部１０２は参照ライトフィールド画像を入力し、入力した画像を内部に保持する。

処理対象画像および参照ライトフィールド画像の入力が終了したら、フォーカス情報推定部１０３は、参照ライトフィールド画像を用いて処理対象画像のフォーカス情報を推定する（ステップＳ１０２）。なお、ここで推定するフォーカス情報とは合焦する面とその合焦度合や被写界深度などのフォーカスに関連するものを表す。ここでの処理は、処理対象画像と参照ライトフィールド画像とを用いる処理であれば、どのような手法を用いても構わない。例えば、参照ライトフィールド画像から異なる合焦面や被写界深度を持った複数の低解像度フォーカス画像を生成し、低解像度フォーカス画像と処理対象画像とを比較することで、合焦面と被写界深度を推定しても構わない。具体的な処理の例についてはあとで詳しく説明する。

フォーカス情報の推定が終了したら、高解像度ライトフィールド画像生成部１０４は、処理対象画像と参照ライトフィールド画像と推定したフォーカス情報とを用いて、処理対象画像に対するライトフィールド画像を推定することで、高解像度ライトフィールド画像を生成する（ステップ１０３）。生成された高解像度ライトフィールド画像は画像処理装置１００の出力となる。ここでの処理は、処理対象画像と参照ライトライトフィールド画像と推定したフォーカス情報とを用いる処理であれば、どのような手法を用いても構わない。

例えば、処理対象画像や参照ライトフィールド画像との整合性を考慮しながら高解像度ライトフィールド画像を生成するようにしても構わない。その際に、（１）式、（２）式に従って高解像度ライトフィールド画像を生成しても構わない。

Ｅ（ＬＦ）＝α‖Ｄｏｗｎ（ＬＦ）−ＬＦ_ｌｏｗ‖＋β‖Ｃｏｎｖ（ＬＦ）−Ｉ_ｈｉｇｈ‖＋λＲ（ＬＦ） ・・・（２）
ここで、ＬＦ_ｈｉｇｈ、ＬＦ_ｌｏｗ及びＩ_ｈｉｇｈは、それぞれ、高解像度ライトフィールド画像、参照ライトフィールド画像及び処理対象画像を表す。Ｄｏｗｎはライトフィールド画像に対するダウンサンプル処理を表し、与えられたライトフィールド画像をダウンサンプルして、参照ライトフィールド画像と同じ条件のライトフィールド画像を生成した結果を返す。Ｃｏｎｖはライトフィールド画像から通常の画像を再構成する処理を表し、与えられたライトフィールド画像から、推定したフォーカス情報に従って、処理対象画像と同じ条件の画像を再構成した結果を返す。

α、β及びλはそれぞれの項の重みを調節するパラメータである。‖Ａ‖はＡのノルムを表す（典型的にはｌ_２ノルムが用いられるが、ｌ_０ノルムやｌ_１ノルムを用いても構わない）。Ｒは与えられたライトフィールド画像のライトフィールド画像らしさを評価した結果を返す。どのような基準で評価を行っても構わないが、ここでは、値が小さいほどライトフィールド画像らしさが高いものとするが、値が大きいほどライトフィールドらしさを返すものでも構わない。その場合、λは負の数となる。

Ｒとしては、例えば、（３）式、（４）式に示すようにライトフィールド画像におけるスパース性を用いても構わない。すなわち、ライトフィールド画像を過完備（オーバーコンプリート）な辞書Ｄを用いて表現した際の係数ベクトルχのノルムを用いても構わない。ここで‖χ‖_ｎはχのｌ_nノルムを表し、一般にｌ_０ノルムやｌ_１ノルム、ｌ_１/２ノルムなどが用いられるが、何を用いても構わない。
Ｒ（ＬＦ_ｈｉｇｈ）＝‖χ‖_ｎ ・・・（３）
ＬＦ_ｈｉｇｈ＝Ｄχ ・・・（４）

過完備な辞書Ｄはどのような方法を用いて生成しても構わない。例えば、参照ライトフィールド画像を用いて生成しても構わないし、別のライトフィールド画像群を用いて生成しても構わない。具体的な生成方法としては、例えば、参考文献１：「J. Mairal, F. Bach, J. Ponce, and G. Spairo, "Online Dictionary Learning for Sparse Coding", International Conference on Machine Learning, 2009.」に記載の生成方法を用いても構わない。なお、別のライトフィールド画像群を用いて生成する場合は、事前に生成しておいた辞書を入力して用いても構わない。

その他の例としては、ライトフィールド画像から生成されるリフォーカス画像や全焦点画像の画像らしさを用いても構わない。画像らしさの尺度としてはＴＶ（Total Variation）ノルムなどがある。リフォーカス画像は１つでも構わないし、複数のリフォーカス画像を生成して、それらの画像らしさの平均値や合計値などを用いても構わない。

更に別の例としては、ライトフィールド画像から生成できるサブアパチャ画像群の確からしさを用いても構わない。サブアパチャ画像とは、ライトフィールド画像中の同じ角度成分の画素をサンプリング位置に合わせて並べることで生成できる画像である。すなわち、１つのライトフィールド画像から、角度解像度と同数のサブアパチャ画像が生成できる。なお、サブアパチャ画像の空間解像度はライトフィールド画像の空間解像度と同じである。

個々のサブアパチャ画像の確からしさには、サブアパチャ画像の画像らしさを用いることができる。また、ライトフィールド画像の形式によっては、サブアパチャ画像はピンホールカメラ画像で理論近似されるため、サブアパチャ画像のブラー量を個々のサブアパチャ画像らしさとして用いても構わない。前述の画像らしさとブラー量の両方を加味した画像らしさを用いても構わない。サブアパチャ画像群として評価には、各サブアパチャ画像の評価値の平均値や合計値、分散値などを用いても構わない。

更に別の例としては、参照ライトフィールド画像から推定できるデプスマップのデプスマップらしさを用いても構わない。ここでデプスマップらしさとは、デプスマップが一般的に持つ区分的になめらかな性質を満たしているか否かを評価したものなどを用いることができる。具体的には、デプスマップに対するＴＶ（Total Variation）ノルムや、デプスマップをデプスマップに対する過完備辞書を用いてスパース表現した際のノルムなどがある。なお、参照ライトフィールド画像からデプスマップを推定する処理には任意の手法を用いることができる。

例えば、ライトフィールド画像から生成できるサブアパチャ画像群を多視点画像とみなして、ステレオマッチング等のデプス推定を行うことで推定しても構わない。別の方法としては、ライトフィールド画像から焦点距離の異なる画像群を生成し、その合焦度合いを調べることでデプスを推定する方法を用いても構わない。更に別の方法としては、ライトフィールド画像からＥＰＩ（Epipolar Plane Image）を構成し、ＥＰＩ上の直線の傾きを推定することでデプスを推定する方法を用いても構わない。

Ｄｏｗｎはライトフィールド画像の形式やダウンサンプルの比率等に従って適切な手法を用いる必要がある。例えば、非特許文献１に記載のように、メインレンズによって結像した被写体の光学像を複数のマイクロレンズを用いてライトフィールド画像を撮像する場合、Ｄｏｗｎを、ダウンサンプル後の１つのマイクロレンズに対応する領域に存在するマイクロレンズ群に対して、マイクロレンズ下の画像の平均画像を求める処理として定義しても構わない。なお、ダウンサンプルの対象となるライトフィールド画像と参照ライトフィールド画像とが、異なる位置や向きから取得されたものの場合、Ｄｏｗｎでは、その位置や向きの違いも考慮した処理を含めても構わない。

Ｃｏｎｖでは、合焦面や被写界深度などのフォーカス情報が、ステップＳ１０２で推定したフォーカス情報と同じになるように、与えられたライトフィールド画像から画像を生成する。ライトフィールド画像から画像を生成する処理としては、ライトフィールド画像の形式に適切な手法を用いる必要がある。例えば、ライトフィールド画像が、非特許文献１に記載のようにメインレンズによって結像した被写体の光学像を複数のマイクロレンズを用いて撮像することで得られるようなライトフィールド画像である場合、フーリエスライス法（参考文献２：「R. Ng, “Fourier slice photography,” ACM SIGGRAPH 2005 Pap. - SIGGRAPH ’05, p. 735, 2005.」に記載）を用いてフーリエ変換領域での処理によって生成しても構わない。また、シフト加算法（参考文献３：「R. Ng, M. Levoy, G. Duval, M. Horowitz, and P. Hanrahan, “Light Field Photography with a Hand-held Plenoptic Camera,” Stanford Tech Rep. CTSR, pp. 1-11, 2005.」に記載）を用いて、ライトフィールド画像から得られるサブアパチャ画像を、角度成分にしたがってシフトし、それらの平均画像を求めることで生成しても構わない。

前述の（１）式で表した最小化問題に対して、どのような方法を用いて解となる高解像ライトフィールド画像を求めても構わない。例えば、全ての高解像度ライトフィールド画像の候補に対して評価値を計算し、その最小値を与えるものを求めても構わない。別の方法としては、Ｍａｔｃｈｉｎｇ Ｐｅｒｓｕｉｔ（ＭＰ）やＯｒｔｈｏｇｏｎａｌ Ｍａｔｃｈｉｎｇ Ｐｅｒｓｕｉｔ（ＯＭＰ）、内点法、Ｂｌｏｃｋ Ｃｏｏｒｄｉｎａｔｅ Ｒｅｌａｘａｔｉｏｎ（ＢＣＲ）法、Ａｌｔｅｒｎａｔｉｎｇ Ｄｉｒｅｃｔｉｏｎａｌ Ｍｅｔｈｏｄ ｏｆ Ｍｕｌｔｉｐｌｅｒｓ（ＡＤＭＭ）などを用いても構わない。

なお、処理対象画像や参照ライトフィールド画像との整合性は全画素や光線を対象として計算しても構わないし、一部の画素や光線のみを対象として計算しても構わない。また、処理対象画像、参照ライトフィールドで同じ画素群を対象としなくても構わない。

さらに、ここでは画像全体の光線を一度に再構成する場合を記載しているが、画素ごとや画像を分割したブロックごとに光線を再構成するようにしても構わない。なお、再構成の対象となる画素やブロックよりも広い領域を窓領域として設定し、窓領域内の一部または全ての画素に対して処理対象画像や参照ライトフィールド画像との整合性を考慮するようにしても構わない。

次に、図３〜図５を参照して、フォーカス情報推定部１０３がステップＳ１０２で行う参照ライトフィールド画像から処理対象画像のフォーカスを推定する処理動作について説明する。図３は、図１に示すフォーカス情報推定部１０３がステップＳ１０２で行う処理動作を示すフローチャートである。まず、フォーカス情報推定部１０３は、参照ライトフィールド画像から異なる合焦面や被写界深度を持った複数の低解像度フォーカス画像を生成する（ステップＳ１２０１）。参照ライトフィールド画像から特定の合焦面と被写界深度を持った画像を生成する処理は、参照ライトフィールド画像の形態に応じて適切な方法であればどのような方法を用いても構わない。

参照ライトフィールド画像が、非特許文献１に記載のようにメインレンズによって結像した被写体の光学像を複数のマイクロレンズを用いて撮像することで得られたライトフィールド画像である場合、フーリエスライス法（参考文献２に記載）を用いてフーリエ変換領域での処理によって生成しても構わない。また、シフト加算法（参考文献３に記載）を用いて、参照ライトフィールド画像から得られるサブアパチャ画像を、角度成分にしたがってシフトし、それらの平均画像を求めることで生成しても構わない。

なお、参照ライトフィールド画像と処理対象画像とが、異なる位置や向きから取得されたものの場合、低解像度フォーカス画像を生成する際にその違いを補償するようにしても構わない。例えば、参照ライトフィールド画像から特定の合焦面と被写界深度を持った画像を生成した後に、位置と向きの違いを補償するために、各画素に写っている被写体の撮影空間上での位置に従って、生成した画像の画素を並び替えても構わない。

また、各画素に写っている被写体の撮影空間上での位置は、その画像を撮影したカメラから被写体までの距離によって一意に表現され、例えば参考文献４：「Wanner, S.; Goldluecke, B., "Globally consistent depth labeling of 4D light fields," Computer Vision and Pattern Recognition (CVPR), 2012 IEEE Conference on , vol., no., pp.41,48, 16-21 June 2012」に記載の方法を用いることで、参照ライトフィールド画像を用いて求めることができる。カメラから被写体までの距離を用いて、カメラの位置や向きの違いを補償した画像を生成する処理には、ＤＩＢＲ（Depth Image Based Rendering）と呼ばれる技術を用いることができる。

なお、フーリエスライス法やシフト加算法による処理の内部で、カメラから被写体までの距離を考慮した処理を行うことで、参照ライトフィールド画像から低解像度フォーカス画像を生成する際に、参照ライトフィールド画像と処理対象画像とを取得した位置や向きの違いを考慮しても構わない。また、低解像度フォーカス画像を生成する前に、参照ライトフィールド画像と処理対象画像とを取得した位置や向きの違いにしたがって、参照ライトフィールド画像を変形したり、参照ライトフィールド画像の各画素を並び替えたりすることで参照ライトフィールド画像を変換し、変換した参照ライトフィールド画像を用いて低解像度フォーカス画像を生成するようにしても構わない。

次に、フォーカス情報推定部１０３は、低解像度フォーカス画像と同じ解像度となるように、処理対象画像をダウンサンプルして低解像度処理対象画像を生成する（ステップＳ１２０２）。これはどのような処理を用いても構わないが、解像度比を考慮した適切なフィルタを用いてダウンサンプルを行っても構わない。

なお、低解像度フォーカス画像を生成する際に、参照ライトフィールド画像と処理対象画像とを取得した位置や向きの違いを考慮していない場合、ここでの処理で、それらの違いを考慮して低解像度処理対象画像を生成しても構わない。これはどのように考慮しても構わないが、例えば、低解像度フォーカス画像の画素ごとに、カメラからその画素における被写体までの距離を用いて処理対象画像上の対応点を求め、その対応点における画素値を、その低解像度フォーカス画像の画素と同じ位置の低解像度処理対象画像の画素値としても構わない。また、対応点における画素値を求める際に、処理対象画像と低解像度フォーカス画像の解像度比に応じたフィルタを用いても構わない。

そして、フォーカス情報推定部１０３は、各低解像度フォーカス画像と低解像度処理対象画像とを比較することで、低解像度処理対象画像に最も類似する低解像度フォーカス画像を決定し、その低解像フォーカス画像を生成する際に仮定した合焦面と被写界深度を、処理対象画像のフォーカスの推定結果とする（ステップＳ１２０３）。

なお、低解像度フォーカス画像と低解像度処理対象画像とを比較する方法にはどのような方法を用いても構わない。例えば、画素ごとの誤差（差分絶対値や差分二乗値）の総量を用いて比較しても構わない。また、誤差が一定値以下となる画素数を用いても構わない。

なお、ステップＳ１２０１及びステップＳ１２０２のどちらでも、処理対象画像と参照ライトフィールド画像とを取得した位置や向きの違いを考慮した変換が行われていない場合、低解像度フォーカス画像と低解像度処理対象画像の比較を行う際に、その違いを考慮しても構わない。これはどのように考慮しても構わないが、例えば、低解像度フォーカス画像の画素に対して、カメラからその画素における被写体までの距離を用いて低解像度処理対象画像上の対応点を求め、当該画素と対応点における画素値を比較するようにしても構わない。また、低解像度フォーカス画像に対する各画素から被写体までの距離は、低解像度フォーカス画像を作成する際に仮定した合焦面や被写界深度によらないため、各画素位置に対して１度だけ求めるようにしても構わない。

次に、処理対象画像のフォーカスを推定する別の方法を説明する。図４は、図１に示すフォーカス情報推定部１０３がステップＳ１０２で行う別の処理動作を示すフローチャートである。この方法では、まず、フォーカス情報推定部１０３は、参照ライトフィールド画像から処理対象画像と同じ解像度で異なる合焦面や被写界深度を持った複数の拡大フォーカス画像を生成する（ステップＳ１２１１）。これはどのような方法を用いても構わない。例えば、前述のステップＳ１２０１と同じ方法で生成した低解像度フォーカス画像をアップサンプルすることで生成しても構わない。別の方法としては、参照ライトフィールド画像のサブアパチャ画像をそれぞれアップサンプルすることで、参照ライトフィールドの空間解像度を向上させた拡大参照ライトフィールド画像を生成し、それを用いて異なる合焦面や被写界深度を持った複数のフォーカス画像を生成することで、拡大フォーカス画像としても構わない。

なお、参照ライトフィールド画像と処理対象画像とが、異なる位置や向きから取得されたものの場合、その違いを補償しながら拡大フォーカス画像を生成しても構わない。ステップＳ１２０１で説明したように、ライトフィールド画像からフォーカス画像を生成する際にその違いを補償しても構わないし、ステップＳ１２０２で説明したように空間解像度を変換する際にその違いを補償しても構わない。ただし、空間解像度を変換する際にその違いを考慮する場合は、ここでは低解像度の画像に対してカメラから被写体までの距離が参照ライトフィールド画像から得られる点に注意する。すなわち、低解像度の画像の画素ごとに高解像度の画像上の対応点が得られるため、低解像度の画像の画素１つに対して、複数の高解像度の画像上の画素が対応付く。このとき、対応付いた高解像度の画像上の領域に合わせて、低解像度の画像の画素をアップサンプルしながら割り当てても構わない。

また、対応関係に基づいて高解像度の画像の画素ごとに、カメラから被写体までの距離を生成することで、高解像度の画像の画素ごとに低解像度の画像上の対応点を求めてから高解像度の画像の画素値を生成しても構わない。

次に、フォーカス情報推定部１０３は、各拡大フォーカス画像と処理対象画像とを比較することで、処理対象画像に最も類似する拡大フォーカス画像を決定し、その拡大フォーカス画像を生成する際に仮定した合焦面と被写界深度を、処理対象画像のフォーカスの推定結果とする（ステップＳ１２１２）。ここでの処理は空間解像度が異なるだけで、上述したステップＳ１２０３と同じである。

なお、ステップＳ１２１１において、参照ライトフィールド画像と処理対象画像とが異なる位置や向きから取得されたものであり、その違いを補償しながら拡大フォーカス画像が生成されていない場合、その違いを考慮しながら、拡大フォーカス画像と処理対象画像とを比較しても構わない。これはどのように考慮しても構わないが、例えば、拡大フォーカス画像の画素に対して、カメラからその画素における被写体までの距離を用いて処理対象画像上の対応点を求め、当該画素と対応点における画素値を比較するようにしても構わない。

なお、拡大フォーカス画像に対する各画素から被写体までの距離は、拡大フォーカス画像を作成する際に仮定した合焦面や被写界深度によらないため、各画素位置に対して１度だけ求めるようにしても構わない。別の方法としては、上述のようにして求めた対応点にしたがって、処理対象画像の各画素を拡大フォーカス画像を取得した視点へとワーピングすることで視点変換処理対象画像を生成し、視点変換処理対象画像と拡大フォーカス画像とを比較するようにしても構わない。

次に、処理対象画像のフォーカスを推定する更に別の方法を説明する。図５は、図１に示すフォーカス情報推定部１０３がステップＳ１０２で行う別の処理動作を示すフローチャートである。この方法では、まず、フォーカス情報推定部１０３は、参照ライトフィールド画像から非常に浅い被写界深度で異なる合焦面を持つ複数の狭フォーカス画像を生成する（ステップＳ１２２１）。ここでは、処理対象画像と同じ解像度の画像を生成しても構わないし、処理対象画像よりも低解像度の画像を生成しても構わない。

また、処理対象画像と参照ライトフィールド画像を取得した位置や向きの違いを補償しながら画像を生成しても構わない。処理対象画像よりも低解像度の画像を生成する処理については、被写界深度が異なるだけでステップＳ１２０１と同じであり、処理対象画像と同じ解像度の画像を生成する処理についてはステップＳ１２１１と同じである。

次に、フォーカス情報推定部１０３は、狭フォーカス画像ごとに、その狭フォーカス画像において合焦している領域である合焦領域の画像と、処理対象画像上の同じ位置の領域の画像とを比較し、合焦領域における処理対象画像の合焦度を計算することで、処理対象画像に対する深度ごとの合焦度を求める（ステップＳ１２２２）。ここで、ある深度における合焦度とは、ある深度において合焦している度合を表したものであればどのような尺度を用いても構わない。

例えば、合焦領域における狭フォーカス画像と処理対象画像の誤差を、その狭フォーカス画像を生成するときに仮定した合焦面における合焦度としても構わない。なお、合焦度を計算する際に行う狭フォーカス画像と処理対象画像との比較処理は、比較の対象が合焦領域となるだけで、前述したステップＳ１２０３やステップＳ１２１２と同じである。なお、狭フォーカス画像の解像度と処理対象画像の解像度が異なる場合は、その違いを考慮する必要がある。また、狭フォーカス画像を生成する際に、参照ライトフィールド画像と処理対象画像を取得した位置と向きの違いを考慮していない場合は、この合焦度計算においてその違いを考慮しても構わない。

次に、フォーカス情報推定部１０３は、深度ごとの合焦度が得られたら、そこから合焦面と被写界深度を決定する（ステップＳ１２２３）。これはどのような方法を用いても構わないが、例えば、合焦度が最も合焦していることを示す深度を合焦面とし、その前後の深度で一定範囲内の合焦度を有する深度を被写界深度としても構わない。また、一定以上の合焦度合を示す連続する深度範囲を求め、それを被写界深度とし、その中央を合焦面としても構わない。なお、一定以上の合焦度合を示す連続する深度範囲が複数存在する場合は、その深度範囲に対応する視差量の範囲が最も広くなるものを採用しても構わない。視差量を定義するためには、基準となる視点が必要となるが、共通の視点を用いればどのような視点を用いても構わない。

更に、ステップＳ１２２３では、合焦面のみを決定し、決定した合焦面を持ち異なる被写界深度を持つ画像群を参照ライトフィールド画像から生成し、その画像と処理対象画像とを比較し最も類似する画像を見つけることで、その最も類似する画像を生成する際の被写界深度を、処理対象画像の被写界深度としても構わない。この処理は合焦面が固定されているだけで図３を用いて説明した処理と同じである。なお、合焦面を固定して、図４を用いて説明した処理を用いて被写界深度を決定しても構わない。

次に、図６を参照して、図１に示す高解像度ライトフィールド画像生成部１０４の詳細な構成を説明する。図６は、図１に示す高解像度ライトフィールド画像生成部１０４の詳細な構成を示すブロック図である。図６に示す高解像度ライトフィールド画像生成部１０４は、ライトフィールド画像から通常画像への変換及びライトフィールド画像のダウンサンプルを用いて、処理対象画像及び参照ライトフィールド画像、処理対象画像の推定フォーカス情報との整合性を考慮しながら高解像度ライトフィールド画像を生成する。高解度ライトフィールド画像生成部１０４は、図６に示すように、位置関係設定部１０４１、高解像度ライトフィールド画像候補生成部１０４２、通常画像化部１０４３、ライトフィールド画像ダウンサンプル部１０４４、高解像度ライトフィールド画像候補補正部１０４５及びスイッチ１０４６を備えている。

位置関係設定部１０４１は、処理対象画像に対するカメラと参照ライトフィールド画像に対するカメラの位置関係を設定する。高解像度ライトフィールド画像候補生成部１０４２は、高解像度ライトフィールドの候補となるライトフィールド画像を生成する。通常画像化部１０４３は、高解像度ライトフィールド画像候補から処理対象画像に対する推定画像を生成する。ライトフィールド画像ダウンサンプル部１０４４は、ライトフィールド画像に対するダウンサンプル及び位置関係に基づく変換によって、高解像度ライトフィールド画像候補の空間解像度を低下させ、参照ライトフィールド画像に対する推定画像を生成する。高解像度ライトフィールド画像候補補正部１０４５は、処理対象画像及びその推定画像と参照ライトフィールド画像及びその推定画像とを用いて、高解像度ライトフィールド画像候補を補正する。

次に、図７を参照して、図６に示す高解像度ライトフィールド画像生成部１０４の動作を説明する。図７は、図６に示す高解像度ライトフィールド画像生成部１０４の動作を示すフローチャートである。まず、位置関係設定部１０４１は、処理対象画像と参照ライトフィールド画像の位置関係を設定する（ステップＳ２０１）。処理対象画像と参照ライトフィールド画像の位置関係が分かるものであればどのような情報を設定しても構わない。例えば、参考文献５：「Oliver Faugeras, "Three-Dimension Computer Vision", MIT Press; BCTC/UFF-006.37 F259 1993, ISBN:0-262-06158-9.」に記載されているようなカメラパラメータを設定しても構わない。

また、どのように位置関係を示す情報を設定しても構わない。例えば、別途与えられる位置関係の情報を設定しても構わない。特に、処理対象画像と参照ライトフィールド画像とが、ハーフミラー等を用いて同じ位置で取得されたことが既知の場合は、同じ位置であることを設定しても構わない。なお、常に同じ位置であることが明らかであれば、このステップを省略し、以降の位置関係に伴う処理を行わないようにしても構わない。

別の方法としては、参照ライトフィールド画像からリフォーカス画像や全焦点画像、要素画像を生成し、それらと処理対象画像における画像間の対応点情報を求め、それらを用いることで求めても構わない。画像間の対応点情報から位置関係を求める方法としては、例えば、Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ（ＳｆＭ）を用いても構わない。

なお、処理対象画像のフォーカス情報を推定する際に用いるなど、高解像度ライトフィールド画像生成部１０４の外部で同じ位置関係の情報を用いる場合は、高解像度ライトフィールド画像生成部１０４の外部で推定した情報を入力して設定するようにしても構わない。その場合、位置関係設定部１０４１は高解像度ライトフィールド画像生成部１０４の内部に存在する必要はない。

位置関係の設定が終了したら、高解像度ライトフィールド画像候補生成部１０４２は、高解像度ライトフィールド画像候補を設定する（ステップＳ２０２）。これはどのように候補を設定しても構わない。例えば、全ての画素値が０のライトフィールド画像を設定しても構わないし、任意のライトフィールド画像を設定しても構わない。別の方法としては、参照ライトフィールド画像に対して、角度成分毎にフィルタ等を用いた拡大処理を行うことで生成したライトフィールド画像を設定しても構わない。その際、全ての角度成分で同じ拡大処理を用いても構わないし、異なる拡大処理を用いても構わない。

更に別の方法としては、処理対象画像に対して、任意のモデルに基づく角度成分の情報を与えることで生成したライトフィールド画像を設定しても構わない。角度成分の情報を与える方法としては、全ての角度成分が同じであるとしても構わないし、各画素に対して周辺の画像を縮小することで生成しても構わない。なお、周辺の画像を縮小して生成する際に、生成された角度成分の画素値の平均値が、元の画素値と同じになるように縮小処理を行うようにしても構わない。

また、高解像度ライトフィールド画像候補を直接生成するのではなく、前述した辞書Ｄに対する係数ベクトルχの候補を設定し、辞書Ｄを用いて高解像度ライトフィールド画像候補を生成しても構わない。係数ベクトルχの候補としては、ゼロベクトルを用いても構わないし、参照ライトフィールド画像に対する係数ベクトルを求め、それをアップサンプルすることで生成したベクトルを用いても構わない。

高解像度ライトフィールド画像候補の設定が終了したら、スイッチ１０４６を操作し、通常画像化部１０４３は、処理対象画像の推定フォーカス情報に従って、高解像度ライトフィールド画像候補から処理対象画像に対応する画像を生成し（ステップＳ２０３）、ライトフィールド画像ダウンサンプル部１０４４は高解像度ライトフィールド画像候補から参照ライトフィールド画像に対応する画像を生成する（ステップＳ２０４）。ここでの処理は、それぞれ、前述したＣｏｎｖおよびＤｏｗｎによる処理と同じである。なお、ステップＳ２０３、ステップＳ２０４はどの順番で行っても構わない。

次に、高解像度ライトフィールド画像候補補正部１０４５は、得られた画像群を用いて高解像度ライトフィールド画像候補が更新処理の終了条件を満たすか否かをチェックする（ステップＳ２０５）。どのような終了条件を用いても構わないが、例えば、（２）式のＥ（ＬＦ）によって得られる高解像度ライトフィールド画像候補ＬＦの評価値が予め定められた閾値より小さいか否かを終了条件にしても構わないし、高解像度ライトフィールド画像の更新回数が予め定められた回数行われたか否かを終了条件にしても構わないし、そのどちらか一方もしくは両方を満たすか否かを終了条件にしても構わない。

終了条件を満たしていた場合、高解像度ライトフィールド画像候補補正部１０４５は、高解像度ライトフィールド画像候補を高解像度ライトフィールドとして出力して処理を終了する。

一方、終了条件を満たしていない場合、高解像度ライトフィールド画像候補補正部１０４５は、高解像度ライトフィールド画像候補を更新する（ステップＳ２０６）。更新された高解像度ライトフィールド画像候補は、スイッチ１０４６が操作され、再度、通常画像化部１０４３、ライトフィールド画像ダウンサンプル部１０４４及び高解像度ライトフィールド画像候補補正部１０４５へ入力される。高解像度ライトフィールド画像候補の更新は、どのような方法を用いて行っても構わない。例えば、ランダムに生成された任意のライトフィールド画像を高解像度ライトフィールド画像候補として設定することで更新を行っても構わない。

なお、ステップＳ２０３及びステップＳ２０４において、高解像度ライトフィールド画像候補から生成された処理対象画像及び参照ライトフィールド画像に対する画像を、更新処理に使用しても構わない。例えば、前述のＯＭＰなどの方法では、それら高解像度ライトフィールド画像から生成された画像群と処理対象画像や参照ライトフィールド画像との誤差を計算し、その誤差に基づいて高解像ライトフィールド画像候補を更新する。

前述した説明では終了条件をチェックする前に、高解像度ライトフィールド画像候補から処理対象画像及び参照ライトフィールド画像に対する画像を生成しているが、それらの画像は終了条件のチェックには使用せず、高解像度ライトフィールド画像候補の更新処理のみ使用する場合は、図８に示すように、終了条件を満たさなかった場合のみに生成するようにしても構わない。図８は、図６に示す高解像度ライトフィールド画像生成部１０４の動作の変形例を示すフローチャートである。図８において、図７に示す処理と同じ処理には同じ符号を付与してある。

前述した説明では、１フレームに対する処理を説明したが、複数フレーム繰り返すことで映像（動画像）を処理することができる。また、前述した説明では画像処理装置の構成及び処理動作を説明したが、これら画像処理装置の各部の動作に対応した処理動作によって本発明の画像処理方法を実現することができる。

このように、空間解像度の高いライトフィールド画像を直接取得するのではなく、同じシーンにおける空間解像度の限定されたライトフィールド画像を用いて、空間解像度の高い通常の画像に対する角度成分の情報を生成することで、空間解像度を損なわずにライトフィールド画像を生成することができる。

図９は、前述した画像処理装置１００をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成を示すブロック図である。図９に示すシステムは、プログラムを実行するＣＰＵ５０と、ＣＰＵ５０がアクセスするプログラムやデータが格納されるＲＡＭ等のメモリ５１と、カメラ等からの処理対象の画像信号を入力する処理対象画像入力部５２（ディスク装置等による映像信号を記憶する記憶部でもよい）と、ライトフィールドカメラ等から参照ライトフィールド画像の画像信号を入力する参照ライトフィールド画像入力部５３（ディスク装置等によるライトフィールドを記憶する記憶部でもよい）と、画像処理をＣＰＵ５０に実行させるソフトウェアプログラムである画像処理プログラム５４１が格納されたプログラム記憶装置５４と、ＣＰＵ５０がメモリ５１にロードされた画像処理プログラム５４１を実行することにより生成された高解像度ライトフィールド画像を出力する高解像度ライトフィールド画像出力部５５（ディスク装置等による高解像度ライトフィールド画像を記憶する記憶部でもよい）とが、バスで接続された構成になっている。

以上説明したように、処理対象画像と、当該処理対象画像より空間解像度が低いライトフィールド画像を用いて、当該処理対象画像をライトフィールド化した画像を生成することにより、ライトフィールドカメラで処理対象画像と同一のシーンを撮像したライトフィールド画像よりも解像度の高いライトフィールド化した画像を得ることができる。

前述した実施形態における画像処理装置１００の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。

画像又は動画像の空間解像度を損なわずに、同じ画像又は動画像における角度解像度を持ったライトフィールド画像又はライトフィールド動画像を取得することが不可欠な用途に適用できる。

１０１・・・処理対象画像入力部、１０２・・・参照ライトフィールド画像入力部、１０３・・・フォーカス情報推定部、１０４・・・高解像度ライトフィールド画像生成部、１０４１・・・位置関係設定部、１０４２・・・高解像度ライトフィールド画像候補生成部、１０４３・・・通常画像化部、１０４４・・・ライトフィールド画像ダウンサンプル部、１０４５・・・高解像度ライトフィールド画像候補補正部、１０４６・・・スイッチ、５０・・・ＣＰＵ、５１・・・メモリ、５２・・・処理対象画像入力部（記憶部）、５３・・・参照ライトフィールド画像入力部（記憶部）、５４・・・プログラム記憶装置、５４１・・・画像処理プログラム、５５・・・高解像度ライトフィールド画像出力部（記憶部）

Claims (8)

1. ライトフィールド化すべき処理対象画像と、前記処理対象画像と同じシーンにおける光線の強度を前記処理対象画像よりも低い空間解像度で光線の進行方向毎に表現した参照ライトフィールド画像とを用いて、前記処理対象画像の各画素の位置における光線の強度を光線の進行方向毎に表現したライトフィールド画像を生成する画像処理方法であって、
   前記処理対象画像と前記参照ライトフィールド画像とを用いて、前記処理対象画像のフォーカス情報を推定する処理対象画像フォーカス推定ステップと、
   前記処理対象画像と前記参照ライトフィールド画像と前記推定したフォーカス情報とを用いて、前記処理対象画像に対するライトフィールド画像である高解像度ライトフィールド画像を生成する高解像度ライトフィールド画像生成ステップと
   を有する画像処理方法。
2. 前記参照ライトフィールド画像から異なるフォーカス情報を持つ複数のフォーカス画像を生成するフォーカス画像生成ステップを更に有し、
   前記処理対象画像フォーカス推定ステップでは、前記フォーカス画像と前記処理対象画像とを用いて、前記処理対象画像のフォーカス情報を推定する請求項１に記載の画像処理方法。
3. 前記フォーカス画像生成ステップでは、前記参照ライトフィールド画像と同じ空間解像度の前記フォーカス画像を生成し、
   前記処理対象画像フォーカス推定ステップでは、前記参照ライトフィールド画像と同じ空間解像度を持つように前記処理対象画像をダウンサンプルした画像と、前記フォーカス画像とを比較することで、前記処理対象画像のフォーカス情報を推定する請求項２に記載の画像処理方法。
4. 前記フォーカス画像生成ステップでは、前記処理対象画像と同じ空間解像度の前記フォーカス画像を生成し、
   前記処理対象画像フォーカス推定ステップでは、前記処理対象画像と前記フォーカス画像とを比較することで、前記処理対象画像のフォーカス情報を推定する請求項２に記載の画像処理方法。
5. 前記フォーカス画像生成ステップでは、前記参照ライトフィールド画像の空間解像度をアップサンプルした拡大参照ライトフィールド画像を用いて、前記処理対象画像と同じ空間解像度の前記フォーカス画像を生成する請求項４に記載の画像処理方法。
6. 前記フォーカス画像生成ステップでは、前記参照ライトフィールド画像から前記参照ライトフィールド画像と同じ空間解像度の低解像度フォーカス画像を生成し、前記低解像度フォーカス画像をアップサンプルすることで、前記処理対象画像と同じ空間解像度の前記フォーカス画像を生成する請求項４に記載の画像処理方法。
7. ライトフィールド化すべき処理対象画像と、前記処理対象画像と同じシーンにおける光線の強度を前記処理対象画像よりも低い空間解像度で光線の進行方向毎に表現した参照ライトフィールド画像とを用いて、前記処理対象画像の各画素の位置における光線の強度を光線の進行方向毎に表現したライトフィールド画像を生成する画像処理装置であって、
   前記処理対象画像と前記参照ライトフィールド画像とを用いて、前記処理対象画像のフォーカス情報を推定する処理対象画像フォーカス推定手段と、
   前記処理対象画像と前記参照ライトフィールド画像と前記推定したフォーカス情報とを用いて、前記処理対象画像に対するライトフィールド画像である高解像度ライトフィールド画像を生成する高解像度ライトフィールド画像生成手段と
   を備える画像処理装置。
8. コンピュータに、請求項１から請求項６のいずれか１項に記載の画像処理方法を実行させるための画像処理プログラム。

Images