JP2016225832A - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Abstract

【課題】高解像度の画像または映像の空間解像度を維持しつつ、高解像度の画像のリフォーカス機能を実現できる画像を生成する。
【解決手段】ライトフィールド化すべき処理対象画像と、処理対象画像と同じシーンにおける光線の強度を処理対象画像よりも低い空間解像度で光線の進行方向毎に表現した参照ライトフィールド画像とを用いて、処理対象画像の各画素の位置における光線の強度を光線の進行方向毎に表現したライトフィールド画像を生成する画像処理方法であって、処理対象画像を複数の処理領域に分割するステップと、処理対象画像と参照ライトフィールド画像とを用いて、処理領域ごとに、処理対象画像のフォーカス情報を推定するステップと、処理対象画像と参照ライトフィールド画像と推定したフォーカス情報とを用いて、処理領域ごとに、処理対象画像に対するライトフィールド画像である高解像度ライトフィールド画像を生成するステップとを有する。
【選択図】図１

Description

本発明は、所望の画像を画像処理によって生成する画像処理装置、画像処理方法及び画像処理プログラムに関する。

デジタル画像や映像の品質において、その空間解像度は非常に大きな要素である。そのため、より高解像度な映像を取り扱うことのできる高精細映像／画像システムの研究開発が継続的に行われている。高解像度な映像／画像を用いることで被写体や背景を細部まで鮮明に表現することが可能となる。その一方で各被写体に対してフォーカスが合っているか否かという解像度が低かった際には視認不可能であった要素まで視認されることになる。一般に、注視する被写体にフォーカスが合っていない映像／画像は、ボケが生じていると認識され、その画質は低いと評価されてしまう。そのため、解像度の高い映像／画像を撮影する際には、フォーカスを正確にコントロールすることが非常に重要であると考えられている。

なお、本明細書において、画像とは、静止画像、または動画像を構成する１フレーム分の画像のことをいう。また映像とは、動画像と同じ意味であり、一連の画像の集合である。

しかしながら、高解像度の映像／画像を撮影する際のフォーカスコントロールは非常に困難な作業であることが知られている。低解像度の画像／映像を撮影する際にはビューファインダや小型の確認用のモニタを用いてフォーカスの状況を確認しながら撮影することが可能であるが、解像度の高い画像／映像を撮影する場合、小さなモニタでは細かな合焦状況まで確認することができないためである。

一般に高解像度の画像／映像を表示可能なモニタは大型になることから、撮影とフォーカスの確認を同時に一人の人間が行うことが不可能である。そのため、カメラマンとは別に“フォーカスマン”と呼ばれるスタッフを用意し、離れた場所で大型のモニタでフォーカスの状況を確認しながらフォーカスの操作を行ったり、確認したフォーカスの状況をカメラマンへ指示することが行われている。

また、撮影後に画像処理を行うことを前提とすることで、撮影後にフォーカスを調節できる撮像装置も開発されている。これはライトフィールドカメラと呼ばれる撮像装置であり、従来のカメラにおけるメインレンズと投影面の間にマイクロレンズアレイを挿入した構成になっている（例えば、非特許文献１参照）。このような構成を取ることで、カメラに入射する光線を入射角毎に記録することが可能となり、そこから異なる距離にフォーカスを合わせた画像／映像を生成することができる。ライトフィールドカメラにより撮像された画像（以下、ライトフィールド画像という）は、各画素の位置における光線の強度を光線の進行方向ごとに表現した画像である。

R. Ng, "Digital light field photography", Ph.D dissertation, Stanford University, July 2006.

しかしながら、非特許文献１に記載の方法では、撮像素子を空間的に異なる光線をサンプリングするためだけでなく、レンズへの入射角の異なる光線をサンプリングするために割かなくてはならないため、撮像可能な空間解像度が低下してしまうという問題がある。

なお、空間解像度と角度解像度の積が撮像素子の個数に近似できる。そのため、どちらにより高い解像度を与えるかは撮像装置を設計する際にある程度コントロールすることが可能である。ただし、角度解像度は撮像後のリフォーカス可能な範囲に影響を与えるため、ある程度の解像度を与える必要がある。非特許文献１の方法に基づいて作成・販売されたライトフィールドカメラでは、おおよそ１０ｘ１０の角度解像度を持つため、空間解像度は一般的なカメラの約１００分の１になっている。

より多くの撮像素子を用いることで、空間解像度の低下を防ぐことも可能である。しかしながら、そのような方法では、十分な量の光量を得るために撮像装置の規模が大きくなるほか、より高解像度な画像センサが必要となるためにコストも増大するという問題がある。例えば、前述したライトフィールドカメラの場合、本来の空間解像度を保つためには、約１００倍の解像度を持つ画像センサが必要となる。

本発明は、このような事情に鑑みてなされたもので、高解像度の画像または映像の空間解像度を維持しつつ、高解像度の画像のリフォーカス機能を実現できる画像を生成することができる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

本発明の一態様は、ライトフィールド化すべき処理対象画像と、前記処理対象画像と同じシーンにおける光線の強度を前記処理対象画像よりも低い空間解像度で光線の進行方向毎に表現した参照ライトフィールド画像とを用いて、前記処理対象画像の各画素の位置における光線の強度を光線の進行方向毎に表現したライトフィールド画像を生成する画像処理方法であって、前記処理対象画像を複数の処理領域に分割する領域分割ステップと、前記処理対象画像と前記参照ライトフィールド画像とを用いて、前記処理領域ごとに、前記処理対象画像のフォーカス情報を推定する処理対象画像フォーカス推定ステップと、前記処理対象画像と前記参照ライトフィールド画像と前記推定したフォーカス情報とを用いて、前記処理領域ごとに、前記処理対象画像に対するライトフィールド画像である高解像度ライトフィールド画像を生成する高解像度ライトフィールド画像生成ステップとを有する画像処理方法である。

本発明の一態様は、前記画像処理方法であって、前記参照ライトフィールド画像から異なるフォーカス情報を持つ複数の仮想フォーカス画像を生成する仮想フォーカス画像生成ステップを更に有し、前記処理対象画像フォーカス推定ステップでは、前記仮想フォーカス画像と前記処理対象画像とを用いて、前記処理対象画像のフォーカス情報を推定する。

本発明の一態様は、前記画像処理方法であって、前記仮想フォーカス画像生成ステップでは、前記参照ライトフィールド画像に対する前記処理対象画像との撮影位置、向きの違いを補償した視点合成ライトフィールド画像を生成し、当該視点合成ライトフィールド画像を用いて前記仮想フォーカス画像を生成する。

本発明の一態様は、前記画像処理方法であって、前記仮想フォーカス画像生成ステップでは、前記視点合成ライトフィールド画像の空間解像度を前記処理対象画像と合わせた高解像度視点合成ライトフィールド画像を生成し、当該高解像度視点合成ライトフィールド画像を用いて、前記仮想フォーカス画像を生成する。

本発明の一態様は、前記画像処理方法であって、前記仮想フォーカス画像生成ステップでは、前記視点合成ライトフィールド画像から、前記視点合成ライトフィールド画像と同じ空間解像度で異なるフォーカス情報を持つ複数の低解像度仮想フォーカス画像を生成し、当該低解像度仮想フォーカス画像を前記処理対象画像と同じ空間解像度を持つようにアップサンプルすることで、前記仮想フォーカス画像を生成する。

本発明の一態様は、前記画像処理方法であって、前記フォーカス情報に、ライトフィールド画像から通常の画像を生成するための方法に関する情報が含まれる。

本発明の一態様は、ライトフィールド化すべき処理対象画像と、前記処理対象画像と同じシーンにおける光線の強度を前記処理対象画像よりも低い空間解像度で光線の進行方向毎に表現した参照ライトフィールド画像とを用いて、前記処理対象画像の各画素の位置における光線の強度を光線の進行方向毎に表現したライトフィールド画像を生成する画像処理装置であって、前記処理対象画像を複数の処理領域に分割する領域分割手段と、前記処理対象画像と前記参照ライトフィールド画像とを用いて、前記処理領域ごとに、前記処理対象画像のフォーカス情報を推定する処理対象画像フォーカス推定手段と、前記処理対象画像と前記参照ライトフィールド画像と前記推定したフォーカス情報とを用いて、前記処理領域ごとに、前記処理対象画像に対するライトフィールド画像である高解像度ライトフィールド画像を生成する高解像度ライトフィールド画像生成手段とを備える画像処理装置である。

本発明の一態様は、コンピュータに、前記画像処理方法を実行させるための画像処理プログラムである。

本発明によれば、同一シーンのライトフィールド画像を用いて、高解像度の画像または映像の光線情報を推定することで、高解像度の画像のリフォーカスを行うことのできるライトフィールド画像を生成することができるという効果が得られる。

本発明の実施形態による画像処理装置の構成を示すブロック図である。 図１に示す画像処理装置１００の動作を示すフローチャートである。 図２に示すステップＳ１０２において、参照ライトフィールド画像から処理対象画像のフォーカス情報を推定する処理動作を示すフローチャートである。 図１に示す高解像度ライトフィールド画像生成部１０４の詳細な構成を示すブロック図である。 図４に示す高解像度ライトフィールド画像生成部１０４の動作を示すフローチャートである。 図４に示す高解像度ライトフィールド画像生成部１０４の動作の変形例を示すフローチャートである。 画像処理装置１００をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成を示すブロック図である。

以下、図面を参照して、本発明の実施形態による画像処理装置を説明する。ここでは、１枚の画像に対する処理を説明するが、複数の連続する画像に対して同じ処理を繰り返すことで映像（動画像）を処理することができる。なお、映像の全てのフレームに適用せずに、一部のフレームに対して本手法による処理を適用し、その他のフレームに対しては別の処理を適用しても構わない。

図１は本実施形態における画像処理装置の構成を示すブロック図である。画像処理装置１００は、コンピュータ装置によって構成し、図１に示すように、処理対象画像入力部１０１、参照ライトフィールド画像入力部１０２、フォーカス情報推定部１０３及び高解像度ライトフィールド画像生成部１０４を備えている。

処理対象画像入力部１０１は、ライトフィールド化の対象となる高解像度の画像を入力する。以下では、この画像を処理対象画像と称する。参照ライトフィールド画像入力部１０２は、処理対象画像よりも空間解像度が低く、処理対象画像と同一のシーンに対するライトフィールド画像を入力する。以下では、この低解像度ライトフィールド画像を参照ライトフィールド画像と称する。

なお、どのようなライトフィールド画像が入力されても構わない。例えば、非特許文献１のようなメインレンズによって結像した被写体の光学像を複数のマイクロレンズを用いて取得したライトフィールド画像であっても、別の方法を用いて取得したライトフィールド画像であっても構わない。ここでは、非特許文献１記載のライトフィールド画像が入力されるものとする。

フォーカス情報推定部１０３は、処理対象画像と参照ライトフィールド画像とを入力し、参照ライトフィールドを用いて処理対象画像のフォーカスを推定する。高解像度ライトフィールド画像生成部１０４は、処理対象画像と参照ライトフィールド画像と推定したフォーカスとにしたがって、処理対象画像をライトフィールド化した画像を推定して生成する。以下では、生成されたライトフィールド画像を高解像度ライトフィールド画像と称する。

次に、図２を参照して、図１に示す画像処理装置１００の動作を説明する。図２は、図１に示す画像処理装置１００の動作を示すフローチャートである。まず、各種の情報（処理対象画像と参照ライトフィールド画像）を入力して内部に保持する（ステップＳ１０１）。具体的には、処理対象画像入力部１０１は処理対象画像を入力し、参照ライトフィールド画像入力部１０２は参照ライトフィールド画像を入力し、入力した画像を内部に保持する。

処理対象画像および参照ライトフィールド画像の入力が終了したら、フォーカス情報推定部１０３は、処理対象画像を予め定められた大きさの領域に分割し、その領域ごとに、参照ライトフィールド画像を用いて処理対象画像のフォーカス情報を推定する（ステップＳ１０２）。この処理は後で詳しく説明する。なお、分割された各領域は互いに重複した領域となっていても構わない。ただし、処理対象画像の各画素は最低でも１つの領域には含まれるものとする。以下ではこの領域のことを処理領域と称する。

ステップＳ１０２で推定するフォーカス情報は、参照ライトフィールド画像を用いて、その処理領域における処理対象画像を生成するのに必要となる合焦面や被写界深度などのフォーカスに関連するパラメータを表す。なお、参照ライトフィールド画像から生成するのに必要なパラメータであれば、フォーカスに関連するもの以外を含めても構わない。パラメータの種類や個数は、ライトフィールド画像から通常の画像を生成する際に用いる方法によって異なる。使用する手法もパラメータの１つとして取扱い、複数の方法を処理領域ごとに切り替えるようにしても構わない。

ステップＳ１０２で想定するライトフィールド画像から通常の画像を生成する方法には、どのような方法を用いても構わない。例えば、フーリエスライス法（参考文献１：「R. Ng, “Fourier slice photography,”ACM SIGGRAPH 2005 Pap. - SIGGRAPH ’05, p. 735, 2005.」に記載）や、シフト加算法（参考文献２：「R. Ng, M. Levoy, G. Duval, M. Horowitz, and P. Hanrahan, “Light Field Photography with a Hand-held Plenoptic Camera,” Stanford Tech Rep. CTSR, pp. 1-11, 2005.」に記載）を用いても構わない。シフト加算法では、例えば、基準となるシフト量や使用するサブアパチャ画像、サブアパチャ画像に対するフィルタ、ポストフィルタの種類や強度などがフォーカス情報となる。

フォーカス情報の推定が終了したら、高解像度ライトフィールド画像生成部１０４は、処理領域ごとに、処理対象画像と参照ライトフィールド画像と推定したフォーカス情報とを用いて、処理対象画像に対するライトフィールド画像を推定することで、高解像度ライトフィールド画像を生成する（ステップ１０３）。生成された高解像度ライトフィールド画像は画像処理装置１００の出力となる。ここでの処理は、処理対象画像と参照ライトライトフィールド画像と推定したフォーカス情報とを用いる処理であれば、どのような手法を用いても構わない。

例えば、処理対象画像や参照ライトフィールド画像との整合性を考慮しながら高解像度ライトフィールド画像を生成するようにしても構わない。その際に、（１）式、（２）式に従って高解像度ライトフィールド画像ＬＦ_ｈｉｇｈを生成しても構わない。

Ｅ（ＬＦ）＝α‖Ｄｏｗｎ（ＬＦ）−ＬＦ_ｌｏｗ‖＋β‖Ｃｏｎｖ（ＬＦ）−Ｉ_ｈｉｇｈ‖＋λＲ（ＬＦ） ・・・（２）
ここで、ＬＦ_ｈｉｇｈ、ＬＦ_ｌｏｗ及びＩ_ｈｉｇｈは、それぞれ、高解像度ライトフィールド画像、参照ライトフィールド画像及び処理対象画像を表す。Ｄｏｗｎはライトフィールド画像に対するダウンサンプル処理を表し、与えられたライトフィールド画像をダウンサンプルして、参照ライトフィールド画像と同じ条件のライトフィールド画像を生成した結果を返す。Ｃｏｎｖはライトフィールド画像から通常の画像を再構成する処理を表し、与えられたライトフィールド画像から、推定したフォーカス情報に従って、処理対象画像と同じ条件の画像を再構成した結果を返す。

α、β及びλはそれぞれの項の重みを調節するパラメータである。‖Ａ‖はＡのノルムを表す（典型的にはｌ_２ノルムが用いられるが、ｌ_０ノルムやｌ_１ノルムを用いても構わない）。Ｒは与えられたライトフィールド画像のライトフィールド画像らしさを評価した結果を返す。どのような基準で評価を行っても構わないが、ここでは、値が小さいほどライトフィールド画像らしさが高いものとするが、値が大きいほどライトフィールドらしさを返すものでも構わない。その場合、λは負の数となる。

Ｒとしては、例えば、（３）式、（４）式に示すようにライトフィールド画像におけるスパース性を用いても構わない。すなわち、ライトフィールド画像を過完備（オーバーコンプリート）な辞書Ｄを用いて表現した際の係数ベクトルχのノルムを用いても構わない。ここで‖χ‖_ｎはχのｌ_nノルムを表し、一般にｌ_０ノルムやｌ_１ノルム、ｌ_１/２ノルムなどが用いられるが、何を用いても構わない。
Ｒ（ＬＦ_ｈｉｇｈ）＝‖χ‖_ｎ ・・・（３）
ＬＦ_ｈｉｇｈ＝Ｄχ ・・・（４）

過完備な辞書Ｄはどのような方法を用いて生成しても構わない。例えば、参照ライトフィールド画像を用いて生成しても構わないし、別のライトフィールド画像群を用いて生成しても構わない。具体的な生成方法としては、例えば、参考文献３「J. Mairal, F. Bach, J. Ponce, and G. Spairo, "Online Dictionary Learning for Sparse Coding", International Conference on Machine Learning, 2009.」に記載の生成方法を用いても構わない。なお、別のライトフィールド画像群を用いて生成する場合は、事前に生成しておいた辞書を入力して用いても構わない。

また、過完備な辞書Ｄを用いる場合、全ての処理領域で同じ辞書を用いても構わないし、処理領域ごとに異なる辞書を用いても構わない。例えば、推定されたフォーカス情報に応じて、異なる辞書を用いても構わない。フォーカス情報に応じて生成された辞書を用いることで、少なくとも復元したライトフィールド画像の持つフォーカス情報が、推定対象と同じフォーカス情報を持つようにすることができる。また、フォーカス情報に依存する特徴的な基底による表現が可能となるため、辞書のサイズが小さくなり、（１）式の最小化問題にかかる演算量を削減し、高速にライトフィールド画像を復元することが可能となる。

その他の例としては、ライトフィールド画像から生成されるリフォーカス画像や全焦点画像の画像らしさを用いても構わない。画像らしさの尺度としてはＴＶ（Total Variation）ノルムなどがある。リフォーカス画像は１つでも構わないし、複数のリフォーカス画像を生成して、それらの画像らしさの平均値や合計値などを用いても構わない。

更に別の例としては、ライトフィールド画像から生成できるサブアパチャ画像群の確からしさを用いても構わない。サブアパチャ画像とは、ライトフィールド画像中の同じ角度成分の画素をサンプリング位置に合わせて並べることで生成できる画像である。すなわち、１つのライトフィールド画像から、角度解像度と同数のサブアパチャ画像が生成できる。なお、サブアパチャ画像の空間解像度はライトフィールド画像の空間解像度と同じである。個々のサブアパチャ画像の確からしさには、サブアパチャ画像の画像らしさを用いることができる。

また、ライトフィールド画像の形式によっては、サブアパチャ画像はピンホールカメラ画像で理論近似されるため、サブアパチャ画像のブラー量を個々のサブアパチャ画像らしさとして用いても構わない。前述の画像らしさとブラー量の両方を加味した画像らしさを用いても構わない。サブアパチャ画像群として評価には、各サブアパチャ画像の評価値の平均値や合計値、分散値などを用いても構わない。

更に別の例としては、参照ライトフィールド画像から推定できるデプスマップのデプスマップらしさを用いても構わない。ここでデプスマップらしさとは、デプスマップが一般的に持つ区分的になめらかな性質を満たしているか否かを評価したものなどを用いることができる。具体的には、デプスマップに対するＴＶノルムや、デプスマップをデプスマップに対する過完備辞書を用いてスパース表現した際のノルムなどがある。なお、参照ライトフィールド画像からデプスマップを推定する処理には任意の手法を用いることができる。

例えば、ライトフィールド画像から生成できるサブアパチャ画像群を多視点画像とみなして、ステレオマッチング等のデプス推定を行うことで推定しても構わない。別の方法としては、ライトフィールド画像から焦点距離の異なる画像群を生成し、その合焦度合いを調べることでデプスを推定する方法を用いても構わない。更に別の方法としては、ライトフィールド画像からＥＰＩ（Epipolar Plane Image）を構成し、ＥＰＩ上の直線の傾きを推定することでデプスを推定する方法を用いても構わない。

更に別の例としては、上記説明した方法を組み合わせた方法を用いても構わない。例えば、過完備辞書におけるスパース性による評価と、サブアパチャ画像のサブアパチャ画像らしさによる評価との重み付け評価値を用いても構わない。

Ｄｏｗｎはライトフィールド画像の形式やダウンサンプルの比率等に従って適切な手法を用いる必要がある。例えば、非特許文献１に記載のように、メインレンズによって結像した被写体の光学像を複数のマイクロレンズを用いてライトフィールド画像を撮像する場合、Ｄｏｗｎを、ダウンサンプル後の１つのマイクロレンズに対応する領域に存在するマイクロレンズ群に対して、マイクロレンズ下の画像の平均画像を求める処理として定義しても構わない。なお、ダウンサンプルの対象となるライトフィールド画像と参照ライトフィールド画像とが、異なる位置や向きから取得されたものの場合、Ｄｏｗｎでは、その位置や向きの違いも考慮した処理を含めても構わない。

Ｃｏｎｖでは、合焦面や被写界深度などのフォーカス情報が、ステップＳ１０２で推定したフォーカス情報と同じになるように、与えられたライトフィールド画像から画像を生成する。ライトフィールド画像から画像を生成する処理としては、ライトフィールド画像の形式に適切な手法を用いる必要がある。例えば、ライトフィールド画像が、非特許文献１に記載のようにメインレンズによって結像した被写体の光学像を複数のマイクロレンズを用いて撮像することで得られるようなライトフィールド画像である場合、フーリエスライス法（参考文献４：「R. Ng, “Fourier slice photography,”ACM SIGGRAPH 2005 Pap. - SIGGRAPH ’05, p. 735, 2005.」に記載）を用いてフーリエ変換領域での処理によって生成しても構わない。

また、シフト加算法（参考文献２に記載）を用いて、ライトフィールド画像から得られるサブアパチャ画像を、角度成分にしたがってシフトし、それらの平均画像を求めることで生成しても構わない。なお、ステップＳ１０２で推定したフォーカス情報に、ライトフィールド画像から画像を生成する手法の種類に関する情報が含まれている場合は、フォーカス情報によって指定された手法を用いて画像を生成する。

前述の（１）式で表した最小化問題に対して、どのような方法を用いて解となる高解像ライトフィールド画像を求めても構わない。例えば、全ての高解像度ライトフィールド画像の候補に対して評価値を計算し、その最小値を与えるものを求めても構わない。別の方法としては、Ｍａｔｃｈｉｎｇ Ｐｅｒｓｕｉｔ（ＭＰ）やＯｒｔｈｏｇｏｎａｌ Ｍａｔｃｈｉｎｇ Ｐｅｒｓｕｉｔ（ＯＭＰ）、内点法、Ｂｌｏｃｋ Ｃｏｏｒｄｉｎａｔｅ Ｒｅｌａｘａｔｉｏｎ （ＢＣＲ）法、Ａｌｔｅｒｎａｔｉｎｇ Ｄｉｒｅｃｔｉｏｎａｌ Ｍｅｔｈｏｄ ｏｆ Ｍｕｌｔｉｐｌｅｒｓ（ＡＤＭＭ）などを用いても構わない。

なお、処理領域が処理対象画像上で重複している場合、処理対象画像の１つの画素に対して、複数のライトフィールドが得られることになる。その場合、どれか１つのライトフィールドを選択しても構わないし、光線ごとに平均値や中央値、最頻値を計算して最終的なライトフィールドを生成しても構わない。なお、平均値や中央値を求める際に重み付けを行っても構わない。１つを選択する場合や、重み付けを行う場合の基準としては、処理領域における対象の画素の位置を用いても構わない。例えば、処理領域の中央に位置するほど、優先するようにしても構わない。

また、処理領域をラスタースキャン順など予め定められた順番で処理する場合、それまでに処理された処理領域に対して生成された高解像度ライトフィールド画像との間の整合性が高まるように、処理中の処理領域に対する高解像度ライトフィールドを生成するようにしても構わない。すなわち、重複する領域においては、それまでに生成された高解像度ライトフィールド画像との一致度が高くなるように、処理領域に対するライトフィールド画像の推定を行っても構わない。

次に、図３を参照して、図２に示すステップＳ１０２の詳細な処理動作を説明する。図３は、図２に示すステップＳ１０２において、参照ライトフィールド画像から処理対象画像のフォーカス情報を推定する処理動作を示すフローチャートである。まず、フォーカス情報推定部１０３は、参照ライトフィールド画像に対する処理対象画像を取得した位置や向きの違いによる影響を補償した視点合成ライトフィールド画像を生成する（ステップＳ１２０１）。

なお、参照ライトフィールド画像と処理対象画像が同じ位置と同じ向きで取得されたものである場合は、視点合成ライトフィールド画像は参照ライトフィールド画像と等しい。どのような処理を用いて生成しても構わないが、例えば、参照ライトフィールド画像のサブアパチャ画像の画素におけるカメラから被写体までの距離を求め、各サブアパチャ画像をＤＩＢＲ（Depth Image Based Rendering）と呼ばれる技術を用いて変換した変換サブアパチャ画像をサブアパチャ画像とするライトフィールド画像を求めることで、視点合成ライトフィールド画像を生成しても構わない。

なお、サブアパチャ画像の各画素におけるカメラから被写体までの距離は、どのような方法で求めても構わないが、例えば、サブアパチャ画像を多視点画像とみなしてステレオマッチング法を適用することで求めることができる。別の方法としては、参考文献５：「Wanner, S.; Goldluecke, B., "Globally consistent depth labeling of 4D light fields," Computer Vision and Pattern Recognition (CVPR), 2012 IEEE Conference on , vol., no., pp.41,48, 16-21 June 2012」に記載の方法などＥＰＩ画像における直線の傾きを推定することで求めても構わない。

次に、フォーカス情報推定部１０３は、視点合成ライトフィールド画像から、処理対象画像と同じ空間解像度で異なる合焦面や被写界深度を持った複数の仮想フォーカス画像を生成する（ステップＳ１２０２）。視点合成ライトフィールド画像から仮想フォーカス画像を生成する処理には、視点合成ライトフィールド画像の形態に対して適切な方法であれば、どのような方法を用いても構わない。例えば、視点合成ライトフィールド画像が、非特許文献１に記載のようにメインレンズによって結像した被写体の光学像を複数のマイクロレンズを用いて撮像することで得られたライトフィールド画像である場合、前述したシフト加算法やフーリエスライス法などを用いても構わない。なお、仮想フォーカス画像を生成する方法をフォーカス情報に含める場合は、複数の異なる方法を用いて仮想フォーカス画像を生成しても構わない。

更に、視点合成ライトフィールド画像の空間解像度は、処理対象画像の空間解像度となるため、空間解像度を合わせる処理も行う必要がある。ライトフィールド画像から通常の画像を生成する際に同時に空間解像度変換を行っても構わないし、事前にライトフィールド画像をアップサンプルして空間解像度を合わせても構わないし、通常の画像を生成した後にアップサンプルして空間解像度を合わせても構わない。事前にライトフィールド画像をアップサンプルする場合、視点合成ライトフィールド画像に含まれる各サブアパチャ画像をアップサンプルすることで、処理対象画像と同じ空間解像度を持ったライトフィールド画像を生成しても構わない。

なお、仮想フォーカス画像を生成する方法をフォーカス情報に含める場合は、このアップサンプルの方法の違いもフォーカス情報に加えて、複数の異なる方法を用いて仮想フォーカス画像を生成しても構わない。また、アップサンプルに用いるフィルタを複数定義し、使用するフィルタの種類もアップサンプルの方法に含めても構わない。

仮想フォーカス画像群が生成されたら、フォーカス情報推定部１０３は、処理領域ごとに、処理対象画像に最も一致する仮想フォーカス画像を決定する（ステップＳ１２０３）。なお、ある処理領域に対して、その処理領域内の画素のみを用いて、仮想フォーカス画像との一致度を計算しても構わないし、その処理領域を中心とする一定の距離内の画素群も含めて、仮想フォーカス画像との一致度を計算しても構わない。更に、仮想フォーカス画像との一致度の計算に、処理対象画像と仮想フォーカス画像との誤差のみによる尺度を用いても構わないし、処理領域に重複または隣接する別の処理領域におけるフォーカス情報の類似度を考慮した尺度を用いても構わない。処理領域に重複または隣接する別の処理領域におけるフォーカス情報の類似度を考慮した尺度を用いる場合、隣接する処理領域とのフォーカス情報の類似度が高く、処理領域内の各画素における処理対象画像との誤差が小さくなるように、各処理領域に対する仮想フォーカス画像を決定することになる。

なお、フォーカス情報の類似度としてはどのようなものを用いても構わないが、典型的な例としては、ある領域に対して一致する仮想フォーカス画像を生成する際の合焦面と被写界深度が、その領域に隣接する領域に対して一致する仮想フォーカス画像を生成する際の合焦面と被写界深度に近いほど高くなる尺度を用いても構わない。

このステップＳ１２０３の結果、処理対象画像の各処理領域に対して、その処理領域における画像をライトフィールド画像から生成する際のフォーカス情報が得られる。この情報は、処理対象画像に対するライトフィールド画像が与えられた場合に、そのライトフィールド画像から、処理対象画像と同じフォーカスを持った画像を生成する際に用いる処理領域ごとのパラメータとなる。すなわち、ここで求めたフォーカス情報は一般的なカメラモデルにおける合焦面や被写界深度（画像全体で単一の合焦面や被写界深度が定義される）とは異なるが、ライトフィールド画像から通常のカメラ画像を生成するための情報であり、これまでには存在しないフォーカスに関する情報となる。

次に、図４を参照して、図１に示す高解像度ライトフィールド画像生成部１０４の詳細な構成を説明する。図４は、図１に示す高解像度ライトフィールド画像生成部１０４の詳細な構成を示すブロック図である。高解像度ライトフィールド画像生成部１０４は、ライトフィールド画像から通常画像への変換及びライトフィールド画像のダウンサンプルを用いて、処理対象画像及び参照ライトフィールド画像、処理対象画像の推定フォーカス情報との整合性に基づき高解像度ライトフィールド画像を生成する。高解像度ライトフィールド画像生成部１０４は、図４に示すように、位置関係設定部１０４１、高解像度ライトフィールド画像候補生成部１０４２、通常画像化部１０４３、ライトフィールド画像ダウンサンプル部１０４４、高解像度ライトフィールド画像候補補正部１０４５及びスイッチ１０４６を備えている。

位置関係設定部１０４１は、処理対象画像に対するカメラと参照ライトフィールド画像に対するカメラの位置関係を設定する。高解像度ライトフィールド画像候補生成部１０４２は、高解像度ライトフィールドの候補となるライトフィールド画像を生成する。通常画像化部１０４３は、高解像度ライトフィールド画像候補から処理対象画像に対する推定画像を生成する。ライトフィールド画像ダウンサンプル部１０４４は、ライトフィールド画像に対するダウンサンプル及び位置関係に基づく変換によって、高解像度ライトフィールド画像候補の空間解像度を低下させ、参照ライトフィールド画像に対する推定画像を生成する。高解像度ライトフィールド画像候補補正部１０４５は、処理対象画像及びその推定画像と参照ライトフィールド画像及びその推定画像とを用いて、高解像度ライトフィールド画像候補を補正する。

次に、図５を参照して、図４に示す高解像度ライトフィールド画像生成部１０４の動作を説明する。図５は、図４に示す高解像度ライトフィールド画像生成部１０４の動作を示すフローチャートである。まず、位置関係設定部１０４１は、処理対象画像と参照ライトフィールド画像の位置関係を設定する（ステップＳ２０１）。処理対象画像と参照ライトフィールド画像の位置関係が分かるものであればどのような情報を設定しても構わない。例えば、参考文献６：「Oliver Faugeras, "Three-Dimension Computer Vision", MIT Press; BCTC/UFF-006.37 F259 1993, ISBN:0-262-06158-9.」に記載されているようなカメラパラメータを設定しても構わない。

また、どのように位置関係を示す情報を設定しても構わない。例えば、別途与えられる位置関係の情報を設定しても構わない。特に、処理対象画像と参照ライトフィールド画像とが、ハーフミラー等を用いて同じ位置で取得されたことが既知の場合は、同じ位置であることを設定しても構わない。なお、常に同じ位置であることが明らかであれば、このステップを省略し、以降の位置関係に伴う処理を行わないようにしても構わない。

別の方法としては、参照ライトフィールド画像からリフォーカス画像や全焦点画像、要素画像を生成し、それらと処理対象画像における画像間の対応点情報を求め、それらを用いることで求めても構わない。画像間の対応点情報から位置関係を求める方法としては、例えば、Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ（ＳｆＭ）を用いても構わない。

なお、処理対象画像のフォーカス情報を推定する際に用いるなど、高解像度ライトフィールド画像生成部１０４の外部で同じ位置関係の情報を用いる場合は、高解像度ライトフィールド画像生成部１０４の外部で推定した情報を入力して設定するようにしても構わない。その場合、位置関係設定部１０４１は高解像度ライトフィールド画像生成部１０４の内部に存在する必要はない。

位置関係の設定が終了したら、高解像度ライトフィールド画像候補生成部１０４２は、高解像度ライトフィールド画像候補を設定する（ステップＳ２０２）。どのように候補を設定しても構わない。例えば、全ての画素値が０のライトフィールド画像を設定しても構わないし、任意のライトフィールド画像を設定しても構わない。別の方法としては、参照ライトフィールド画像に対して、角度成分毎にフィルタ等を用いた拡大処理を行うことで生成したライトフィールド画像を設定しても構わない。その際、全ての角度成分で同じ拡大処理を用いても構わないし、異なる拡大処理を用いても構わない。

更に別の方法としては、処理対象画像に対して、任意のモデルに基づく角度成分の情報を与えることで生成したライトフィールド画像を設定しても構わない。角度成分の情報を与える方法としては、全ての角度成分が同じであるとしても構わないし、各画素に対して周辺の画像を縮小することで生成しても構わない。なお、周辺の画像を縮小して生成する際に、生成された角度成分の画素値の平均値が、元の画素値と同じになるように縮小処理を行うようにしても構わない。

また、高解像度ライトフィールド画像候補を直接生成するのではなく、前述した辞書Ｄに対する係数ベクトルχの候補を設定し、辞書Ｄを用いて高解像度ライトフィールド画像候補を生成しても構わない。係数ベクトルχの候補としては、ゼロベクトルを用いても構わないし、参照ライトフィールド画像に対する係数ベクトルを求め、それをアップサンプルすることで生成したベクトルを用いても構わない。

高解像度ライトフィールド画像候補の設定が終了したら、スイッチ１０４６を操作し、通常画像化部１０４３は、処理対象画像の推定フォーカス情報に従って、高解像度ライトフィールド画像候補から処理対象画像に対応する画像を生成する（ステップＳ２０３）。そして、ライトフィールド画像ダウンサンプル部１０４４は高解像度ライトフィールド画像候補から参照ライトフィールド画像に対応する画像を生成する（ステップＳ２０４）。ここでの処理は、それぞれ、前述したＣｏｎｖおよびＤｏｗｎによる処理と同じである。なお、ステップＳ２０３、ステップＳ２０４はどの順番で行っても構わない。

次に、高解像度ライトフィールド画像候補補正部１０４５は、得られた画像群を用いて高解像度ライトフィールド画像候補が更新処理の終了条件を満たすか否かをチェックする（ステップＳ２０５）。どのような終了条件を用いても構わないが、例えば、（２）式のＥ（ＬＦ）によって得られる高解像度ライトフィールド画像候補ＬＦの評価値が予め定められた閾値より小さいか否かを終了条件にしても構わないし、高解像度ライトフィールド画像の更新回数が予め定められた回数行われたか否かを終了条件にしても構わないし、そのどちらか一方もしくは両方を満たすか否かを終了条件にしても構わない。

終了条件を満たしていた場合、高解像度ライトフィールド画像候補補正部１０４５は、高解像度ライトフィールド画像候補を高解像度ライトフィールドとして出力して処理を終了する。

一方、終了条件を満たしていない場合、高解像度ライトフィールド画像候補補正部１０４５は、高解像度ライトフィールド画像候補を更新する（ステップＳ２０６）。更新された高解像度ライトフィールド画像候補は、スイッチ１０４６が操作され、再度、通常画像化部１０４３、ライトフィールド画像ダウンサンプル部１０４４及び高解像度ライトフィールド画像候補補正部１０４５へ入力される。高解像度ライトフィールド画像候補の更新は、どのような方法を用いて行っても構わない。例えば、ランダムに生成された任意のライトフィールド画像を高解像度ライトフィールド画像候補として設定することで更新を行っても構わない。

なお、ステップＳ２０３及びステップＳ２０４において、高解像度ライトフィールド画像候補から生成された処理対象画像及び参照ライトフィールド画像に対する画像を、更新処理に使用しても構わない。例えば、前述のＯＭＰなどの方法では、それら高解像度ライトフィールド画像から生成された画像群と処理対象画像や参照ライトフィールド画像との誤差を計算し、その誤差に基づいて高解像ライトフィールド画像候補を更新する。

前述した説明では終了条件をチェックする前に、高解像度ライトフィールド画像候補から処理対象画像及び参照ライトフィールド画像に対する画像を生成しているが、それらの画像は終了条件のチェックには使用せず、高解像度ライトフィールド画像候補の更新処理のみ使用する場合は、図６に示すように、終了条件を満たさなかった場合のみに生成するようにしても構わない。図６は、図４に示す高解像度ライトフィールド画像生成部１０４の動作の変形例を示すフローチャートである。図６において、図５に示す処理と同じ処理には同じ符号を付与してある。

前述した説明では、１フレームに対する処理を説明したが、複数フレーム繰り返すことで映像（動画像）を処理することができる。また、前述した説明では画像処理装置の構成及び処理動作を説明したが、これら画像処理装置の各部の動作に対応した処理動作によって本発明の画像処理方法を実現することができる。

このように、空間解像度の高いライトフィールド画像を直接取得するのではなく、同じシーンにおける空間解像度の限定されたライトフィールド画像を用いて、空間解像度の高い通常の画像に対する角度成分の情報を生成することで、空間解像度を損なわずにライトフィールド画像を生成することができる。

図７は、前述した画像処理装置１００をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成を示すブロック図である。図７に示すシステムは、プログラムを実行するＣＰＵ５０と、ＣＰＵ５０がアクセスするプログラムやデータが格納されるＲＡＭ等のメモリ５１と、カメラ等からの処理対象の画像信号を入力する処理対象画像入力部５２（ディスク装置等による映像信号を記憶する記憶部でもよい）と、ライトフィールドカメラ等から参照ライトフィールド画像の画像信号を入力する参照ライトフィールド画像入力部５３（ディスク装置等によるライトフィールドを記憶する記憶部でもよい）と、画像処理をＣＰＵ５０に実行させるソフトウェアプログラムである画像処理プログラム５４１が格納されたプログラム記憶装置５４と、ＣＰＵ５０がメモリ５１にロードされた画像処理プログラム５４１を実行することにより生成された高解像度ライトフィールド画像を出力する高解像度ライトフィールド画像出力部５５（ディスク装置等による高解像度ライトフィールド画像を記憶する記憶部でもよい）とが、バスで接続された構成になっている。

以上説明したように、処理対象画像と、当該処理対象画像より空間解像度が低いライトフィールド画像を用いて、当該処理対象画像をライトフィールド化した画像を生成することにより、ライトフィールドカメラで処理対象画像と同一のシーンを撮像したライトフィールド画像よりも解像度の高いライトフィールド化した画像を得ることができる。

前述した実施形態における画像処理装置１００の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。

画像又は動画像の空間解像度を損なわずに、同じ画像又は動画像における角度解像度を持ったライトフィールド画像又はライトフィールド動画像を取得することが不可欠な用途に適用できる。

１０１・・・処理対象画像入力部、１０２・・・参照ライトフィールド画像入力部、１０３・・・フォーカス情報推定部、１０４・・・高解像度ライトフィールド画像生成部、１０４１・・・位置関係設定部、１０４２・・・高解像度ライトフィールド画像候補生成部、１０４３・・・通常画像化部、１０４４・・・ライトフィールド画像ダウンサンプル部、１０４５・・・高解像度ライトフィールド画像候補補正部、１０４６・・・スイッチ、５０・・・ＣＰＵ、５１・・・メモリ、５２・・・処理対象画像入力部（記憶部）、５３・・・参照ライトフィールド画像入力部（記憶部）、５４・・・プログラム記憶装置、５４１・・・画像処理プログラム、５５・・・高解像度ライトフィールド画像出力部（記憶部）

Claims (8)

1. ライトフィールド化すべき処理対象画像と、前記処理対象画像と同じシーンにおける光線の強度を前記処理対象画像よりも低い空間解像度で光線の進行方向毎に表現した参照ライトフィールド画像とを用いて、前記処理対象画像の各画素の位置における光線の強度を光線の進行方向毎に表現したライトフィールド画像を生成する画像処理方法であって、
   前記処理対象画像を複数の処理領域に分割する領域分割ステップと、
   前記処理対象画像と前記参照ライトフィールド画像とを用いて、前記処理領域ごとに、前記処理対象画像のフォーカス情報を推定する処理対象画像フォーカス推定ステップと、
   前記処理対象画像と前記参照ライトフィールド画像と前記推定したフォーカス情報とを用いて、前記処理領域ごとに、前記処理対象画像に対するライトフィールド画像である高解像度ライトフィールド画像を生成する高解像度ライトフィールド画像生成ステップと
   を有する画像処理方法。
2. 前記参照ライトフィールド画像から異なるフォーカス情報を持つ複数の仮想フォーカス画像を生成する仮想フォーカス画像生成ステップを更に有し、
   前記処理対象画像フォーカス推定ステップでは、前記仮想フォーカス画像と前記処理対象画像とを用いて、前記処理対象画像のフォーカス情報を推定する請求項１に記載の画像処理方法。
3. 前記仮想フォーカス画像生成ステップでは、前記参照ライトフィールド画像に対する前記処理対象画像との撮影位置、向きの違いを補償した視点合成ライトフィールド画像を生成し、当該視点合成ライトフィールド画像を用いて前記仮想フォーカス画像を生成する請求項２に記載の画像処理方法。
4. 前記仮想フォーカス画像生成ステップでは、前記視点合成ライトフィールド画像の空間解像度を前記処理対象画像と合わせた高解像度視点合成ライトフィールド画像を生成し、当該高解像度視点合成ライトフィールド画像を用いて、前記仮想フォーカス画像を生成する請求項３に記載の画像処理方法。
5. 前記仮想フォーカス画像生成ステップでは、前記視点合成ライトフィールド画像から、前記視点合成ライトフィールド画像と同じ空間解像度で異なるフォーカス情報を持つ複数の低解像度仮想フォーカス画像を生成し、当該低解像度仮想フォーカス画像を前記処理対象画像と同じ空間解像度を持つようにアップサンプルすることで、前記仮想フォーカス画像を生成する請求項３に記載の画像処理方法。
6. 前記フォーカス情報に、ライトフィールド画像から通常の画像を生成するための方法に関する情報が含まれる請求項１から請求項５のいずれか１項に記載の画像処理方法。
7. ライトフィールド化すべき処理対象画像と、前記処理対象画像と同じシーンにおける光線の強度を前記処理対象画像よりも低い空間解像度で光線の進行方向毎に表現した参照ライトフィールド画像とを用いて、前記処理対象画像の各画素の位置における光線の強度を光線の進行方向毎に表現したライトフィールド画像を生成する画像処理装置であって、
   前記処理対象画像を複数の処理領域に分割する領域分割手段と、
   前記処理対象画像と前記参照ライトフィールド画像とを用いて、前記処理領域ごとに、前記処理対象画像のフォーカス情報を推定する処理対象画像フォーカス推定手段と、
   前記処理対象画像と前記参照ライトフィールド画像と前記推定したフォーカス情報とを用いて、前記処理領域ごとに、前記処理対象画像に対するライトフィールド画像である高解像度ライトフィールド画像を生成する高解像度ライトフィールド画像生成手段と
   を備える画像処理装置。
8. コンピュータに、請求項１から請求項６のいずれか１項に記載の画像処理方法を実行させるための画像処理プログラム。

Images