JP2013531309A - 画像捕捉装置のアレイにより得られたデータから仮想出力画像を作るための方法及びシステム - Google Patents

Abstract

画像捕捉装置のアレイから仮想出力画像を供給するための方法及びシステムにおいて、画像データＩ１（ｓ，ｔ）、Ｉ２（ｓ，ｔ）は、装置Ｃ１、Ｃ２からとられる。この画像データは、画像データを関数、例えば経路Ｓと畳み込み、その後、加算ＳＵＭの後又は前に、これらを、オールフォーカス画像データＩ０（ｓ，ｔ）を作るために、点広がり逆関数ＩＰＳＦ又は点広がり逆関数と等価のフィルタＨＰとデコンボルーションすることにより処理される。

Description

本発明は、異なる視点から多くの個別の画像を捕捉するための画像捕捉装置のアレイにより供給される個別の入力画像の入力画像データから、仮想出力画像のための出力画像データを作る方法に関し、当該方法は、シーンの複数の深度レイヤに基づく個別の入力画像の対応する画素値の加算及び逆フィルタリングを有する。

本発明は、また、画像捕捉装置のアレイにより得られる入力画像から仮想出力画像を構築するためのシステムに関し、当該システムは、異なる視点から画像を捕捉するための画像捕捉装置のアレイを有し、当該システムは、画像捕捉装置のアレイからの画像データを捕捉するための手段と、シーンの複数の深度レイヤに基づいて個別の入力画像の対応する画素値の加算及び逆フィルタリングのための手段とを有する。

画像捕捉装置は、画像を捕捉できる。典型的な画像捕捉装置は、レンズとレンズの後方に画像センサとを有するカメラである。レンズの前の対象物の画像は、画像センサ上にレンズにより投影される。このようにして作られた画像は、限定された被写界深度を持ち、１つの視点だけから画像内の対象物に関する情報を供給する。画像に供給できる空間解像度は、レンズの開口により制限される。

これらの課題の少なくとも幾つかは、画像捕捉装置のアレイを有するシステムを提供することにより低減できることが知られている。

斯様なシステムの例は、いわゆるプレンオプティックカメラ（plenopticカメラ、ライトフィールドカメラ）である。光照射野カメラ（light-fieldcamera）とも呼ばれるプレンオプティックカメラは、シーンに関する光照射野情報を捕捉するためにマイクロレンズアレイ（レンチキュラレンズアレイとしても知られる）を使用するカメラである。マイクロレンズアレイは、レンズと画像センサとの間にある。マイクロレンズアレイは、画像センサ上へのレンズにより捕獲される光を再フォーカスさせ、これにより、わずかに異なる視点から撮られる多くの小さな画像を作り、これらの画像は深度情報を得るためにソフトウェアにより操作されている。小さな画像の各々は、比較的低い空間解像度を持つ。マイクロレンズアレイのマイクロレンズの１つを通る小さな画像を捕捉するマイクロレンズアレイの後のセンサの各部分は、本来画像捕捉装置を形成する。よって、プレンオプティックカメラは、画像捕捉装置のアレイを有するシステムであるか、又は当該システムとして動作する。

プレンオプティックカメラにより捕捉されたデータに基づいて、特定の平面にデジタル的に再フォーカスすることは可能である。これは、例えば、ＮＧらによるStanford Tech Report CTSR 2005-02, page1-11, "Light Field Photography with a Hand-held Plenoptic Camera"に説明されている。しかしながら、単一の平面に再フォーカスすることは可能であるが、結果として生じる画像は非常に限られた被写界深度を持つ。拡張された被写界深度画像を作ることは困難である。ＮＧらによるStanford Tech Report CTSR 2005-02の６ページ右欄の最後の段落では、複数の深度でライトフィールドを再フォーカスさせて、その後、仮想出力画像を作るためにデジタル合成写真技術を適用することによる実験を行った。デジタル合成写真技術において、２つの技術が適用される：一つは、できるだけシームレスに結合できるように構成画像内の良好な縫い目を選択するためのグラフカット最適化（graph-cutoptimization）であり、他の一つは、合成写真内に残留する可視アーチファクトを更に低減するためにポアソン方程式に基づくプロセスである、勾配―領域融合（gradient-domainfusion）である。基本的に、合成写真技術は、カットアンドペースト技術であり、様々な深度で様々な画像の焦点の合ったピクセルが仮想出力画像を作るために結合される。しばしば、結果として生じる仮想出力画像の品質は、どのピクセルが焦点が合っているかを知るために推定された深度マップを使用することに依存している。ＮＧらは、また、単一の副開口画像を抽出することにより拡張された被写界深度を作ったが、この技術は結果的に全く雑音が多い画像である。

結果として生じる画像は、全く雑音が多く、及び／又はユーザの積極的な役割を必要とする。

冒頭の段落の方法及びシステムは、Visual Communications and Image Processing, Proc. Of SPIE-IS & T electronic Imaging, SPIE Vol. 6508における児玉和也、久保田彰及び羽鳥好律による「View Interpolation by Inverse Filtering: Generating the Center View using Multi view images of Circular Camera Array」に開示されている。

この論文において、仮想出力画像が円に配置されているカメラアレイの中心に再構築される方法が説明されている。複数の深度レイヤに関してアレイのカメラから得られた入力画像の全ての対応する画素値を合計して、候補画像が作られ、仮想出力画像が、候補画像の逆フィルタリングにより再構築される。この方法の利点は、深度情報を前もって知る必要がないということである。

しかしながら、既知のシステムは、限られた可能性だけを持ち、特にインタラクティブシステムの実際のシミュレーション撮像を提供しない。

本発明の目的は、増大された可能性を持つ方法及びシステムを提供することにある。

このために、本発明による方法は、異なる視点からの複数の個別の画像を捕捉するための画像捕捉装置のアレイにより供給される個別の入力画像の入力画像データから仮想出力画像のための出力画像データを作る方法であって、シーンの複数の深度レイヤに基づいて前記個別の入力画像の対応する画素値の加算ステップ及び逆フィルタリングステップを有する方法において、仮想カメラ位置が仮想カメラ位置を表わす入力された仮想カメラ位置信号により供給され、加算及び逆フィルタリングステップが、前記仮想カメラ位置から見て、前記仮想出力画像のための画像データを作るために、前記仮想カメラ位置に依存して実施されることを特徴とする。

既知のシステム及び方法において、仮想カメラ位置は円形のカメラアレイの中心に固定され、作られる画像は円形のアレイの中心からの画像である。本発明者は、仮想カメラ位置に対する信号を使用して、仮想カメラ位置に対する信号に依存した加算及び逆フィルタリングが、特にインタラクティブシステムで、実際の模倣撮像を可能にすることに気付いた。これは、例えば、既存の方法及びシステムでは不可能である本当に視線を合わせたシミュレーションを可能にする。

実施例において、加算及び逆フィルタリングするステップは、前記個別の画像の前記入力画像データから、複数の深度で合成的にフォーカスされる複数の画像のための画像データを構成するステップと、統合（積分）されたぼやけた画像に対する画像データを形成するために様々な深度で前記合成的にフォーカスされる複数の画像の画像データを加算するステップと、その後、前記個別の画像の入力画像データから、仮想画像に対する画像データを作るため点広がり逆関数を使用して、前記統合されたぼやけた画像をデコンボルーションするステップとを有する。

点広がり関数は、再フォーカスされた画像のスタックを合成することにより、画像のピクセルに対する予想されるぼやけを表す関数である。

一見して、ぼやけて合成された画像を作ることは、逆効果のようである。合成された画像は、合成が加算を意味するので、多くの再フォーカスされた画像を加算することにより形成される。各再フォーカス画像は特定の被写界深度での再フォーカス画像である。斯様な合成された画像のために以下に使用される他の表現は、焦点スタックの合成である。スタックは多くの画像であり、焦点スタックは、各画像が特定の被写界深度にある画像のスタックである。合成は、画像の焦点スタックを加算することを意味する。特定の被写界深度の任意の再フォーカスされた画像は、焦点が合った画像の幾つかの部分、すなわち、特定の被写界深度に位置される部分を持つ。画像の対象物の他の部分は、焦点が合わず、よってぼやけている。斯様な多くの再フォーカスされた画像を合計する場合、結果として生じる合成された画像は非常にぼやける。よって、このステップは、結果的に非常にぼやけた合成された画像になるので、逆効果のように思われる。

しかしながら、合成は別として、当該方法は、また、点広がり関数の使用、すなわち点のぼやけた画像を供給する関数の使用を提供し、この点広がり関数を用いて、又は、より正確に言うと、点広がり逆関数を用いて、再フォーカスされた画像の合成されたスタックをデコンボルーションすることを提供する。

点広がり関数を知っていると、合成された画像をデコンボルーションして、被写界深度の範囲にわたって焦点が合っている各ピクセルを得ることは可能である。結果は、拡張された被写界深度の画像となる。仮想カメラ位置の入力によって、様々な見晴らしの良いポイントからの視野をフレキシブルに可能にする画像の視界を可能にする。

画像の深度モデルを持つことは必要でなく、カットアンドペースト方法のための複雑なアルゴリズムが必要ではない。点広がり関数は、撮られる全ての画像に対して実質的に同じである。これらの利点は、高品質の画像を提供する。

実施例において、方法は、
ａ前記仮想カメラ位置に前記個別の入力画像を位置合わせするために、特定の画像捕捉装置の位置と前記仮想カメラ位置との間の距離に比例して、特定の深度に依存して、前記画像捕捉装置により供給される前記個別の入力画像をシフトさせるステップを複数の深度に対して実施するステップと、
b前記複数の深度で合成的にフォーカスされる画像の画像データを形成するために、各深度でシフトされた画像に対する画像データを加算するステップと、
ｃ統合されたぼやけた画像を形成するために複数の合成的にフォーカスされる画像を加算するステップと、
ｄ画素に対する予想されるぼやけカーネルを統合することにより点広がり関数を生成するステップと、
e入力仮想カメラ位置信号により供給される仮想カメラ位置で仮想出力画像に対する画像データを作るため、前記点広がり関数の逆関数を用いて、統合されたぼやけた画像をデコンボルーションするステップとを有する。

結果として生じる仮想出力画像は、視点からの大きな被写界深度（ＤｏＦ）を持つ画像である。

このアプリケーションでは、「仮想出力画像」が述べられている所では、仮想出力画像に対する画像データが参照されることを注記する。仮想出力画像自体は、例えばディスプレイ画面上又は印刷スクリーン上に画像を作るため、画像データが（ＬＣＤセル又は印字ヘッドのような）画像ピクセル生成部分をアドレスするために使用される画像を作るための装置、例えば表示装置又は印刷装置へ仮想出力画像のための画像データを送信することにより通常作られる。画像を表示するか又は印刷する前に、例えば、エラーを修正するため、画像の一部を背景と置き換えるか、又はデータをデータが提示される装置に適するようにするため、仮想出力画像のための画像データが後処理されることは除外されない。

この第１の実施例は、基本的な解決策を提供する。

しかしながら、必要な処理電力は比較的大きく、これは、特にリアルタイムアプリケーションでの課題を提起する。

第２の実施例において、方法は、
a前記アレイの各画像捕捉装置に対して仮想カメラ位置に関する画像シフトの投影経路を生成するステップであって、画像捕捉装置の画像を複数の深度で前記仮想カメラ位置と位置合わせするため、インパルス応答関数の並進の和である当該投影経路を生成するステップと、
b畳み込まれた（コンボルーションされた）画像を形成するためにそれぞれの投影経路と前記個別の画像を畳み込むステップと、
c前記統合されたぼやけた画像を形成するために畳み込まれた画像を加算するステップと、
ｄ前記投影経路の統合により点広がり関数を生成するステップと、
e入力仮想カメラ位置信号により供給される仮想カメラ位置で前記仮想出力画像に対する画像データを作るため、前記点広がり関数の逆関数を用いて、統合されたぼやけた画像をデコンボルーションするステップとを有する。

この第２の実施例のステップｃにおいて供給される統合されたぼやけた画像は、第１の実施例のステップｃの統合された画像と対応し、すなわち、（十分な焦点スタック自体がなされなかった場合であっても）様々な深度で多くの合成的にフォーカスが合った画像を加えることにより作られる画像に対応する。

第１の実施例でなされたように、十分な焦点スタックを生成し、その後合成する代わりに、第２の実施例では、アレイの画像捕捉装置からの個別の画像が、これらそれぞれの投影経路で畳み込まれる。ステップｃの結果として生じる画像は、十分な焦点スタックを作り、その後十分な焦点スタックを合成することにより生成された画像に対応する画像である。しかしながら、第２の実施例による方法は、第１の実施例と比較して、必要な計算の数を大きく減らす。第２の実施例は、代替的な少ないコンピュータパワー要求で、様々な深度で再フォーカスされた画像のスタックを合成することにより画像を作ることに対応する画像を供給するルートを提供する。次のステップ、逆の点広がり関数を使用するデコンボルーションは、第１及び第２の実施例の一部である。第２の実施例は、少ない計算能力だけを必要とするので、重要であるシステム、装置又は状況のために特定の関連がある。画像間の時間が限定的なので、リアルタイムアプリケーションは、これらの重要な一つを形成する。本当に視線を合わせることはリアルタイムで可能なだけであり、目の動きが十分に速く追従できる、すなわち、仮想カメラ位置が速く変えられる場合、本当に視線を合わせたシミュレーションシステムは、これらの重要な他の一つである。また、第２の実施例は、アレイの中のカメラが故障する状況において及び／又は方法において、どれくらい多くのカメラが関係しているかの選択を持つことを所望する状況において非常に有益である。個別の画像が畳み込まれるという事実は、より速い方法を可能にする。

ピクセルの位置のシフトが、特定の画像捕捉装置と仮想カメラ位置の視点との間の距離及び深度の線形関数であるので、第１の実施例と比較した第２の実施例の計算のこの低減が可能であることが注記される。様々な数学的関数の順番が交換できるという洞察と組み合わされたこの洞察により、発明者は、この速い方法に到達した。

本発明の方法の他の実施例によると、
a前記アレイの各画像捕捉装置に対して仮想カメラ位置に関する画像シフトの投影経路を生成するステップであって、画像捕捉装置の画像を複数の深度で前記仮想カメラ位置と位置合わせするため、インパルス応答関数の並進の和である当該投影経路を生成するステップと、
b前記投影経路の統合により点広がり関数を生成するステップと、
c各画像に対して、それぞれの投影経路を点広がり逆関数と畳み込むステップと、
d畳み込まれた画像を供給する点広がり逆関数と経路との畳みこみで各画像を畳み込むステップと、
e前記入力仮想カメラ位置信号により供給される前記仮想カメラ位置で前記仮想出力画像に対する画像データを作るため畳み込まれた画像を加算するステップとを有することにより特徴付けられる。

これは、様々な数値演算が交換できるという洞察からもたらされる第２の実施例のバリエーションである。

他の実施例において、加算及び逆フィルタリングのステップは、
a前記仮想カメラ位置に関して決定される、前記アレイの各画像捕捉装置に対する画像シフトの投影経路を生成するステップであって、画像捕捉装置の画像を複数の深度で前記仮想カメラ位置と位置合わせするため、インパルス応答関数の並進の和である当該投影経路を生成するステップと、
bそれぞれの投影経路と前記個別の画像を畳み込むステップと、
c各画像捕捉装置の画像を前記投影経路と直交するハイパスフィルタと畳み込むステップと、
d前記入力仮想カメラ位置信号により供給される前記仮想カメラ位置で前記仮想出力画像に対する画像データを作るため畳み込まれた画像を加算するステップとを有する。

ハイパスフィルタは、ぼやけを補償する、すなわち、第１の態様の第１及び第２の実施例の点広がり逆関数のアプリケーションに対応する関数を持つ。

他の実施例上のバリエーションにおいて、加算及び逆フィルタリングのステップは、
a前記仮想カメラ位置に関して決定される、前記アレイの各画像捕捉装置に対する画像シフトの投影経路を生成するステップであって、画像捕捉装置の画像を複数の深度で前記仮想カメラ位置と位置合わせするため、インパルス応答関数の並進の和である当該投影経路を生成するステップと、
bそれぞれの投影経路を当該投影経路と直交するハイパスフィルタと畳み込むことにより、各画像に対する畳み込みフィルタを生成するステップと、
c前記個別の入力画像をｂで生成されたそれぞれの畳みこみフィルタと畳み込むステップと、
d前記入力仮想カメラ位置信号により供給される前記仮想カメラ位置で前記仮想出力画像に対する画像データを作るため畳み込まれた画像を加算するステップとを有する。

後者の２つの実施例による方法において、必要な計算パワーが更に低減され、幾らかの正確さを犠牲にして低減される。当該方法は、最初に述べた実施例の方法の派生とみなされる。

固定のパラメータを持つフィルタが用いられるが、好ましくは、ハイパスフィルタは、投影経路の関数、特に投影経路の長さの関数であるパラメータを持つ。

本発明の方法は、プレンオプティックカメラにより実施できる。

拡張された焦点深度は、例えば顕微鏡及びデジタル病変に対して非常に有効である。

単一の捕捉は、かなり又は更に全体のサンプル深度範囲を含むことができ、例えば顕微鏡のために正確なフォーカス動作のための必要性を減らす。データレート及びサンプリング時間は、減らされる。

本発明の方法は、例えばコンピュータスクリーン周辺に置かれた、個別のカメラのアレイにより実施できる。これは、とりわけ、スクリーン表面内の仮想カメラ位置を可能にする。計算パワーに対する低減要求は、スクリーンの表面内の仮想視点の作成を単純化し、この結果、リアルタイムで実施することが可能になる。

特に、各々がディスプレイ画面周辺に画像捕捉装置のアレイを有する２つのインタラクティブシステムが利用されるとき、本発明の方法は既知の方法が提供しない可能性を開く。インタラクティブシステムの１つに、他のシステムのための仮想カメラ位置に対する信号を供給させることにより（逆もまた同じである）、本当に視線を合わせたシミュレーションシステムが可能である。仮想カメラ位置に対する信号の少なくとも１つをシステムの前に座っている人の目の位置と一致させることは、本当に視線を合わせたシミュレーションを可能にする。

本発明は、プログラムがコンピュータ上で動くとき、請求項１乃至１２の何れか一項に記載の方法を実施するためのコンピュータ可読媒体に格納されたプログラムコード手段を有するコンピュータプログラムでも具現化される。

本発明は、また、異なる視点からの画像を捕捉するための画像捕捉装置のアレイを有し、画像捕捉装置のアレイにより得られる入力画像から出力画像を構成するためのシステムであって、前記システムは、前記アレイの画像捕捉装置から画像データを捕捉するための手段を有し、前記システムは、シーンの複数の深度レイヤに基づいて個別の入力画像の対応する画素値の加算及び逆フィルタリングを実施するための手段を有する前記システムにおいて、前記システムは、仮想カメラ位置を表わす入力仮想カメラ位置信号により選択される仮想カメラ位置を供給するための手段を有し、前記加算及び逆フィルタリングを実施するための手段が、選択された前記仮想カメラ位置の関数として、前記入力仮想カメラ位置信号により供給される前記仮想カメラ位置での仮想出力画像のための画像データを作るために実施することを特徴とする、システムでも具現化される。

実施例において、前記加算及び逆フィルタリングのための手段は、前記個別の画像の前記入力画像データから、複数の深度で合成的にフォーカスされる複数の画像のための画像データを構成する手段と、統合されたぼやけた画像に対する画像データを形成するために様々な深度で前記合成的にフォーカスされる複数の画像の画像データを加算する手段と、前記個別の画像の入力画像データから、仮想画像に対する画像データを作るため点広がり逆関数を使用して、前記統合されたぼやけた画像をデコンボルーションするための手段とを有する。

実施例において、システムは、
ａ複数の深度に対して、前記仮想カメラ位置に前記個別の入力画像を位置合わせするために、特定の深度に依存して、且つ特定の画像捕捉装置の位置と前記仮想カメラ位置との間の距離に比例して、前記画像捕捉装置により供給される前記個別の入力画像をシフトさせるための手段と、
b前記複数の深度で合成的にフォーカスされる画像の画像データを形成するために、各深度でシフトされた画像に対する画像データを加算するための手段と、
ｃ前記統合されたぼやけた画像を形成するために複数の合成的にフォーカスされる画像を加算するための手段と、
ｄ画素に対する予想されるぼやけカーネルを統合することにより点広がり関数を生成するための手段と、
e前記入力された仮想カメラ位置信号により供給される仮想カメラ位置で前記仮想出力画像に対する画像データを作るため、前記点広がり関数の逆関数を用いて、統合されたぼやけた画像をデコンボルーションするための手段とを有する。

実施例において、前記加算及び逆フィルタリングを実施するための手段は、
a前記アレイの各画像捕捉装置に対する仮想カメラ位置に関する画像シフトの投影経路を生成するための手段であって、画像捕捉装置の画像を複数の深度で前記仮想カメラ位置と位置合わせするため、インパルス応答関数の並進の和である当該投影経路を生成するための手段と、
b畳み込まれた画像を形成するためにそれぞれの投影経路と前記個別の画像を畳み込むための手段と、
c前記統合されたぼやけた画像を形成するために畳み込まれた画像を加算するための手段と、
ｄ前記投影経路の統合により点広がり関数を生成するための手段と、
e前記入力された仮想カメラ位置信号により供給される仮想カメラ位置で前記仮想出力画像に対する画像データを作るため、前記点広がり関数の逆関数を用いて、統合されたぼやけた画像をデコンボルーションするための手段とを有する。

他の実施例において、前記加算及び逆フィルタリングを実施するための手段は、
a前記アレイの各画像捕捉装置に対して仮想カメラ位置に関する画像シフトの投影経路を生成するための手段であって、画像捕捉装置の画像を複数の深度で前記仮想カメラ位置と位置合わせするため、インパルス応答関数の並進の和である当該投影経路を生成するための手段と、
b前記投影経路の統合により点広がり関数を生成するための手段と、
c各画像に対して、それぞれの投影経路を点広がり逆関数と畳み込むための手段と、
d畳み込まれた画像を供給する点広がり逆関数と経路との畳みこみで各画像を畳み込むための手段と、
e前記入力仮想カメラ位置信号により供給される前記仮想カメラ位置で前記仮想出力画像に対する画像データを作るため畳み込まれた画像を加算するための手段とを有する。

実施例において、前記加算及び逆フィルタリングを実施するための手段は、
a前記仮想カメラ位置に関して決定される、前記アレイの各画像捕捉装置に対する画像シフトの投影経路を生成するための手段であって、画像捕捉装置の画像を複数の深度で前記仮想カメラ位置と位置合わせするため、インパルス応答関数の並進の和である当該投影経路を生成するための手段と、
bそれぞれの投影経路と前記個別の画像を畳み込むための手段と、
c各画像捕捉装置の画像を前記投影経路と直交するハイパスフィルタと畳み込むための手段と、
d前記入力仮想カメラ位置信号により供給される前記仮想カメラ位置で前記仮想出力画像に対する画像データを作るため畳み込まれた画像を加算するための手段とを有する。

実施例において、前記加算及び逆フィルタリングを実施するための手段は、
a前記仮想カメラ位置に関して決定される、前記アレイの各画像捕捉装置に対する画像シフトの投影経路を生成するための手段であって、画像捕捉装置の画像を複数の深度で前記仮想カメラ位置と位置合わせするため、インパルス応答関数の並進の和である当該投影経路を生成するための手段と、
bそれぞれの投影経路を当該投影経路と直交するハイパスフィルタと畳み込むことにより、各画像に対する畳み込みフィルタを生成するための手段と、
c前記個別の入力画像をｂで生成されたそれぞれの畳みこみフィルタと畳み込むための手段と、
d前記入力仮想カメラ位置信号により供給される前記仮想カメラ位置で前記仮想出力画像に対する画像データを作るため畳み込まれた画像を加算するための手段とを有する。

好ましくは、画像捕捉装置のアレイは、ディスプレイ画面の周辺のカメラのアレイであり、仮想カメラ位置はディスプレイ画面のポイントである。

更に好ましくは、システムは、各サブシステムがディスプレイ画面の周辺のカメラのアレイを有する２つのインタラクティブな当該サブシステムを有し、前記サブシステムの１つのサブシステムのディスプレイ画面の仮想カメラ位置が、他方のサブシステムの観察者の目の位置を測定することにより前記他方のサブシステムにより決定される。本当に視線を合わせたシミュレーションは、このとき可能である。

実施例においてシステムは、画像捕捉装置のアレイを有するプレンオプティックカメラを有する。

実施例において、アレイは２つ以上のサブアレイに副分割されている。

これら及び他の本発明の態様は、添付の図面を参照して例示的に詳細に説明されるだろう。

図１は、光学分野のシンボルの幾つかの定義を例示する。 図２Ａ及び図２Ｂは、主レンズ及びマイクロレンズアレイを通る光経路を例示する。 図３は、合成画像平面へのライトフィールドデータを再フォーカスさせることを示す。 図４は、ポイントＰを観察するカメラアレイの平面図を模式的に示す。 図５は、観察されたポイントＰでのカメラＣ_１の３次元印象を示す。 図６は、シフトされた画像の蓄積に基づいた合成再フォーカスの概念を示す。 図７は、フィルタカーネルのグラフィック描写を提供する。 図８は、周辺カメラアレイの模式的正面図を示す。 図９は、合成された焦点が合った出力画像の計算のブロック図を与える。 図１０は、合成された焦点が合った出力画像の他の計算のブロック図を示す。 図１１は、カメラのアレイによって収集されるライトフィールドデータが鼻（左）及び耳（右）で再フォーカスされた画像を示す。 図１２は、推定された深度マップを示す。 図１３は、デフォーカスによる画像のぼやけを示す。 図１４は、センサとレンズとの間の距離を変えることによる掃引フォーカスを例示する。 図１５は、レンズＬの焦点距離を変えることによる掃引フォーカスを例示する。 図１６は、ぼやけている図を示す。 図１７は、カーネルをぼやけさせている効果的なシステムを示す。 図１８は、対数スケールで同じものを示す。 図１９は、ぼやけている図を例示する。 図２０は、カーネルをぼやけさせている効果的なシステムを示す。 図２１は、対数スケールで同じものを示す。 図２２は、掃引フォーカスカメラに対するカーネルのスペクトル特性を例示する。 図２３は、従来のカメラに対する同じものを示す。 図２４は、掃引焦点カーネルに対する逆フィルタの断面を示す。 図２５は、公称の対象物平面（ラインＡ）から掃引振幅の０．８（ラインＢ）までの対象物オフセットに対応する逆フィルタを示す。 図２６は、４つのカメラを持つアレイの画像を模式的に示す。 図２７は、出力画像へ寄与する個別のカメラの位置での合成的再フォーカスの効果を例示する。 図２８は、合成焦点掃引からの結果としての出力画像を示す。 図２９は、１２個のカメラアレイに対する結果として生じる累積的な点広がり関数を示す。 図３０は、全焦点画像を計算するためのブロック図を示す。 図３１は、フィルタカーネルを例示する。 図３２は、方法の速く正確な実行のブロックスキームを示す。 図３３は、対応する点広がり関数ＰＳＦ及び２つの仮想視点周りの１２個のカメラ位置に対する投影経路ＰＰを示す。 図３４Ａ及び図３４Ｂは、本発明によるマルチユーザシステムを例示する。 図３５は、図３２のスキーム上のバリエーションを例示する。 図３６は、それぞれの経路Ｓでの畳みこみの後、ハイパスフィルタ（ＨＰ）での畳みこみが実施されるブロックスキームを例示する。 図３７は、本発明の他の実施例を例示する。 図３８は、本発明による方法の結果を例示する。 図３９は、ディスプレイ画面周辺の１６個のカメラのアレイをシステムの印象を提供する。

これらの図は、一定の比率で描かれていない。一般に、同一の部品は、これらの図の同一参照符号により示される。

ライトフィールドの概念の説明：
レンズ平面とセンサ平面との間の光線の完全な収集は、しばしばライトフィールドと呼ばれ、これは、スタンフォード大学のマーク・リーボイにより紹介された用語である。ライトフィールドは、レンズ口径から出発してセンサ平面に達するまでの全ての光線の完全な（強度についての）記述である。ライトフィールドを規定する最も単純なやり方は、関数Ｌ_ｆ（ｓ、ｔ、ｕ、ｖ）であり、ここで、ｕ及びｖはレンズ平面内の座標であり、ｓ及びｔは画像平面内の座標である。ライトフィールドについての十分な知識は、様々な深度での画像の十分な再構成を可能にする。図１は、特定のシンボルの規定を例示する。Ｌは、レンズ平面を表わし、Ｓはセンサ平面を表わす。

座標（ｓ，ｔ）での画素値は、そのスポットでの発光に正比例し、これは、全ての可能性がある角度から来る光の蓄積／統合であり、又は下記の式の形式となる。

（１）
ここで、統合（積分）はレンズ平面（ｕ，ｖ）にわたってとられる。

画素値自体は、総ライトフィールドの直接的且つ十分な情報を提供しない。

マイクロレンズアレイＭを、最初はセンサ平面（図２Ａ及び図２Ｂを参照）であった平面Ｓを配置し、センサＰをマイクロレンズアレイの後ろのマイクロレンズアレイの焦点距離に配置することにより、直接Ｌ_ｆ（ｓ、ｔ、ｕ、ｖ）を測定できるいわゆるプレンオプティックカメラを構成できる。このデザインでは、各マイクロレンズは、やって来る光線の強度及び入射角度を捕捉できる「メタ」ピクセルとみなされる。マイクロレンズアレイＭは、低い空間解像度で光を画像センサＰに再フォーカスさせる。このように、方向情報が、空間解像度を代償にして格納される。マイクロレンズアレイＭの各マイクロレンズは、画像センサＰの小さな部分に属し、これにより画像センサＰが画像捕捉装置のアレイを形成し、各画像捕捉装置がマイクロレンズの１つによりなされる低い空間解像度の画像を捕捉する。Ｓｕｂは被写体を表わす。

検出器平面での角度と位置との関数として強度を知ると、異なる開口／焦点設定で、画像を合成できる。寄与している光線の角度を制限する（（ｕ、ｖ）平面の一部にわったてだけ統合する）ことにより、例えばレンズの上半分からの光だけが寄与しているように、任意の開口に属している画像を合成できる。同様に、変換をライトフィールドＬ_ｆ（ｓ、ｔ、ｕ、ｖ）に最初に付与し、次に（ｕ、ｖ）平面にわたる統合ステップを付与することにより、異なる焦点面での画像を計算でき、言い換えると、異なる焦点面で画像を合成できて、十分な三次元情報を得ることができる。

図３は、これを更に詳細に示す。

レンズ平面ＬＰ（ｕ、ｖ）及びセンサ平面ＳＰ（ｓ、ｔ）の座標で記述される捕捉されたライトフィールドＬ_ｆ（ｓ、ｔ、ｕ、ｖ）が与えられると、レンズ平面ＬＰから距離αＦの新規な合成焦点面ＳＦＰ（ｓ’、ｔ’）内でフォーカスされ、センサ平面ＳＰから距離βＦの座標（ｕ’、ｖ’）を持つ合成開口平面ＳＡを通じて撮られる画像を計算できる。この状況は、図３に示される。以下の式を定めることにより、
γ＝（α＋β−１）／α
及び
δ＝（α＋β−１）／β
（２）
合成された画像は、以下の一般式に従う。

（３）
ここで、α≠１はセンサ平面ＳＰ以外の合成焦点面ＳＦＰを示し、β≠１は最初のレンズ平面とは異なる合成開口平面を示す。統合における（ｕ'，ｖ'）の範囲の限定は円以外の開口の任意の形状を合成可能にすることに留意されたい。

プレンオプティックカメラとカメラのアレイとの対応：
単一のカメラ、すなわちプレンオプティックカメラを持つマイクロレンズのアレイと単一のレンズを持つカメラの拡張されたアレイとの間の対応がある。両方とも、画像捕捉装置のアレイを持つシステムであり、プレンオプティックカメラにおいて、画像捕捉装置のアレイは、マイクロレンズの各々を通って光を捕捉する画像センサの小さな部分のアレイにより、画像センサ内で形成される。単一のレンズを持つカメラの拡張アレイにおいて、カメラ自体が画像捕捉装置のアレイである。従って、プレンオプティックカメラのマイクロレンズアレイに対してこの明細書で説明されるように、様々な深度での合成開口技術及び生成再フォーカス画像は、拡張されたカメラアレイにも適用でき、またこの逆も成立する。しかしながら、プレンオプティックカメラとカメラのアレイとの大きな違いは、カメラのアレイがプレンオプティックカメラによりカバーされるより大きい領域にわたって分散できるということである。カメラの拡張されたアレイを有するシステムは、このとき、全体のカメラアレイと同じ大きさの開口を持つ単一のカメラとして機能し、これは、プレンオプティックカメラの開口より通常非常に大きい。

大きな開口を持つことは、大きな実効的開口のため非常にシャープな画像が供給できるという点で、大きな利点を持つ。しかしながら、これは、被写界深度が非常に小さいという不利な点を持つ。よって、プレンオプティックカメラに対してより、更に充分な被写界深度を持つシャープな画像を提供することは、困難な作業である。

カメラのアレイ：
図４は、ポイントＰを観察するカメラアレイの上面図を模式的に示す。カメラはピンホールカメラとして扱われ、この簡略化は、分析の実際的な値を制限することはない。各カメラの位置は、指数ｋ（ｋ＝１、２、３．．．）でカメラセンターＣ_ｋにより示され、カメラセンターは、カメラのピンホールの位置である。このピンホール又は一般的には光中心は、カメラの画像平面上の世界の透視投影の中心として機能する。各カメラの画像平面は、カメラセンターから焦点距離ｆに位置され、ピンホールの後ろの代わりの前方の画像平面の配置も、数学的に等価である。各カメラ画像Ｉ_ｋ（ｓ，ｔ）は、座標系（ｓ，ｔ）を持つ。原理的に、各カメラは、任意の位置、焦点距離及び向きを持つことができる。しかしながら、説明を簡単にするため、座標系（ｕ，ｖ）を持つ単一の平面にカメラが位置されると仮定し続ける。カメラセンターＣ_ｋの座標は、Ｃ_ｋ＝（ｕ_ｋ，ｖ_ｋ）として規定される。最初に、カメラが水平ラインに位置されると仮定する。焦点距離は同一であるとみなされ、これらのカメラは画像平面が一致するように前方に向かっている。これらの簡略化は、分析の一般的有効性を制限していない。

図５は、観察されたポイントＰを持つカメラＣ_１の３次元印象を示し、Ｐ_１は水平座標ｓ_１（及び幾つかの任意の垂直座標ｔ_１、ここでｔ_１＝ｔ_２＝ｔ_３とみなし、最初にカメラ位置が水平方向においてだけ異なる場合を考える）を持つ画像平面Ｉ_１（ｓ，ｔ）のその投影を示す。

合成再フォーカス：
図６は、シフトされた画像の蓄積に基づく合成再フォーカスの概念を例示する。左に、３つの異なるカメラ画像、カメラ１に対するＩ_１（ｓ，ｔ）、カメラ２に対するＩ_２（ｓ，ｔ）、カメラ３に対するＩ_３（ｓ，ｔ）が、それぞれ水平画像座標ｓ_１、ｓ_２及びｓ_３での対象物の全く同一のポイントＰの投影で示される。投影ｓ_１とｓ_２との間の距離は、図６のΔｓ（Ｃ_１、Ｃ_２）により与えられる。投影ｓ_１とｓ_３との間の距離は、Δｓ（Ｃ_１、Ｃ_３）により与えられる。ポイントｓ_１、ｓ_２及びｓ_３は、距離Δｓ（Ｃ_１、Ｃ_２）にわたってカメラＣ_２の画像をシフトさせ、距離Δｓ（Ｃ_１、Ｃ_３）にわたってカメラＣ_３の画像をシフトさせることにより位置合わせされる。視差のため３つの投影されたポイント間の距離は、観察されたポイントＰの距離に直接関係する。画像座標の差と距離との間の関係は、以下の式に従う。
Δｓ＝−Δｕ（ｆ／ｚ）
（４）

例えば、カメラＣ_１とＣ_２とを比較して、Δｓ＝ｓ_２−ｓ_１及びΔｕ＝ｕ_２−ｕ_１を規定し、ここで、ｕ_１及びｕ_２は図４に示されるようにカメラセンターＣ_１及びＣ_２それぞれの水平座標である。

視差シフトと対象物距離との間の線形関係は、スタック内の全ての画像、この例ではカメラ１、２及び３の画像が適切に揃えられる、すなわち、ポイントＰの投影が一致するようにシフトされるときだけ、ポイントＰが鋭く見えるように、水平方向及び垂直方向両方において有効である。位置合わせされた画像スタックの画素値の蓄積は、結果的に、ポイントＰで合成的に再フォーカスされる画像になる。その上、視差シフトと対象物距離との間の線形関係のため、式（４）により示唆されるように、ポイントＰと同じ距離を持つ全てのポイントは、合成的にフォーカスされる画像においてシャープに見える。

この例では、カメラＣ_１＝（ｕ_１，ｖ_１）の位置は、他の全てのカメラに対する基準として暗に考えられていて、（Δｕ_ｋ，Δｖ_ｋ）＝（ｕ_ｋ−ｕ_１，ｖ_ｋ−ｖ_１）。カメラＣ_１に対する結果として、（Δｕ_１、Δｖ_１）＝（０、０）。また、結果として、同じことが、その画像座標系に対して成り立ち、（Δｓ_ｋ，Δｔ_ｋ）＝（ｓ_ｋ−ｓ_１，ｔ_ｋ−ｔ_１）。またカメラＣ_１に対して、（Δｓ_１、Δｔ_１）＝（０、０）。基準としてカメラセンターＣ_１の位置を使用して、距離ｚでフォーカスされ合成された画像、Ｉ_１、ｚ（ｓ，ｔ）は、各画像Ｉ_ｋをベクトル（Δｓ_ｋ，Δｔ_ｋ）^Ｔで並進した後に、全てのカメラ画像蓄積から以下の式に従う。

（５）
ここで、Ｎはカメラの数であり、各並進ベクトルは、以下の式に従う。

（６）
表記（）^Ｔはマトリックス又はベクトル転置操作を識別する。

全てのフォーカス撮像へのアプリケーションを予想して、シフトされたデルタ関数での畳み込みに関する並進のプロセスを以下の式で表わすことにより、カメラ画像シフトのより形式的な表記をここで導入する。

（７）
ここで、表記＊は畳み込みを示し、

（８）
ここで、フィルタカーネル

は、畳み込みの後ベクトル（Δｓ_ｋ，Δｔ_ｋ）^Ｔにわたる出力画像フレームの並進された位置に入力データが現れるようにするシフトされたδ関数である。
Ｔ_ａ，ｂ（ｓ、ｔ）＝δ（ｓ−ａ，ｔ−ｂ）
（９）
δ関数は、インパルス反応関数として、以下のように規定される。

（１０）
式（９）によるフィルタカーネルのグラフィック描写が、図７に示される。

最初は明らかに扱いにくいにもかかわらず、再フォーカス画像Ｉ_１，ｚ（ｓ，ｔ）の計算のため式（５）、（６）を組み合わせる。

（１１）

上記式において、カメラＣ_１の位置は、基準としてとられた。

カメラＣ_１を基準カメラとして選ぶ代わりに、式１１は、合成的な再フォーカス画像Ｉ_ｚが、基準位置として任意のカメラ位置を使用して計算できることを示す。

この基準カメラ位置は、アレイの本当のカメラの何れかと一致する必要もない。Ｃ_０＝（ｕ_０，ｖ_０）として、基準カメラ中心ＲＣＣと呼ぶだろう。基準カメラ中心ＲＣＣの物理的重要性は、通常既存のカメラの平面内にある位置（ｕ_０，ｖ_０）に位置される仮想カメラの中心を記述するということである。このように、Ｃ_０は、この仮想カメラの光中心として機能し、仮想カメラの画像平面上の透視投影の中心を定める。この仮想観察位置の任意の選択にもかかわらず、仮想カメラは、距離ｚに位置されるカメラ中心の平面に平行な平面上に合成フォーカスを保持する。

発明の方法及びシステムは、（限定されないが）周辺カメラアレイを使用するとき、特に有効である。スクリーン周辺にあるカメラは、ディスプレイの周辺部の任意の位置に置かれる、新規な非既存のカメラからのカメラ画像を合成するための入力を提供する。これは、図８に示される。図８は、コンピュータディスプレイの周辺部に置かれる周辺カメラアレイの模式的正面図を示す。（ｕ，ｖ）として示される座標は、アレイの平面内の各カメラの位置を示す。ＤＰはディスプレイフレームを表わし、ＡＤＡは活性ディスプレイ領域を表わす。

要約すると、仮想基準カメラ中心ＲＣＣがＣ_０＝（ｕ_０，ｖ_０）に置かれると仮定する場合、活性ディスプレイ領域において、距離ｚで合成的に再フォーカスされるとき、このカメラからの視界を計算できる。

（１２）

図９は、一組のアレイカメラ画像Ｉ_ｋを用いて、仮想カメラ位置（ｕ_０，ｖ_０）から、合成的にフォーカスされた出力画像Ｉ_０の計算のブロック図を与える。仮想カメラ位置は、ブロック図の入力であり、信号Ｃ_０により表される。各画像シフトベクトル（Δｓ_ｋ，Δｔ_ｋ）は、式（６）によって規定される。図８は、一組のアレイカメラ画像Ｉ_Ｋを使用して、仮想カメラ位置（ｕ_０，ｖ_０）から、合成的にフォーカスされた出力画像Ｉ０の計算のブロック図を供給する。各画像シフトベクトル（Δｓ_ｋ，Δｔ_ｋ）は、式（６）によって規定される。仮想カメラ位置は、この方法のための入力である。

畳み込みに基づいた画像並進の実行を使用して、式（１２）を以下の式として書くことができる。

（１３）
ここで、

（１４）

畳み込みベースの実行を使用して、図１０に示されるようなブロック図を構築する。

図１０は、一組のアレイカメラ画像Ｉ_ｋを使用して、仮想カメラ位置（ｕ_０，ｖ_０）から、合成的にフォーカスされた出力画像Ｉ_０の計算のブロック図を示す。仮想カメラ位置は、ブロック図の入力であり、信号Ｃ_０により表される。図は、式１３及び式１４による実行を示す。（Δｓ_ｋ，Δｔ_ｋ）にわたる各画像シフトは、式９によって規定されるカーネルＴ_{Δｓｋ，Δｔｋ}での畳み込みにより実施される。

図９及び図１０は、カメラのアレイの入力データを使用した再フォーカス画像を提供し、ここで、方法は入力として仮想カメラ位置ＲＣＣ及び焦点距離ｚを持つ。

結果として生じる画像データＩ_０（ｓ，ｔ）の他の使用から独立して、図９及び図１０に例示される方法自体が、新規な発明の方法及び斯様な方法が用いられる装置を提供することは注記される。カメラアレイの課題は、一般に、合成された画像の極めて小さい被写界深度である。これは、カメラアレイの寸法により決定される合成開口の大きな寸法に起因する。

図１１は、カメラのアレイによって収集されるライトフィールドデータが鼻（左）及び耳（右）に再フォーカスされた画像を示す。

再フォーカスされた画像の各々に対して、被写界深度（ＤｏＦ）が頭全体に対してあまりに小さいことは明らかである。

充分な被写界深度ＤｏＦを持つ画像を得るために、従来技術として、カットアンドペースト方法、すなわち合成写真方法を使用できる。しかしながら、充分なＤｏＦを持つ画像を作るために、シーンの深度モデルが必要とされる。深度マップで、出力画像の各ピクセルに対する再フォーカス距離が決定される。斯様な深度マップの推定は、計算的に厳しい作業である。更にまた、小さなエラーによって良く見えるアーチファクトが生じるので、推定された深度マップは十分に正確ではない。

図１２は、推定された深度マップを持つ全フォーカス画像を作成する試みを示す。深度推定の小さな誤りによってさえ可視のアーチファクトが生じることは明らかである。

本発明は、全フォーカス撮像を可能にする他のルートをとる。

本発明の方法は、カメラアレイの限られた焦点深度を取扱うが、これは明確な深度推定に基づかないし、焦点スタックデータの反復的な分類にも基づかない。

本発明の方法は、別々のカメラ画像が焦点変動の間再結合されるので、別々のカメラ画像の各々の画素値の合成された蓄積の収集的な使用に基づく。カメラ画像当たりの特定の蓄積されたピクセルグループのこの特定の使用は、非常に拡張された被写界深度を持つカメラ画像を合成するための計算的に非常に効率的なやり方を提供する。これは、カメラ―アレイでの「全フォーカス」画像を作る新規なやり方を可能にする。上述されたように、カメラアレイとプレンオプティックカメラとの間の対応があるので、当該方法はプレンオプティックカメラセットアップに等しく適用できる。

単一のカメラに対して後述されるように、焦点変化概念は、被写界深度を拡張可能にする。点光源、レンズ及びセンサからなる概念上のカメラモデルを考える。レンズは、画像平面で点光源からの光をフォーカスする。画像平面の位置は、点光源とレンズとの間の距離に依存する。センサ平面が画像平面と一致する場合、センサはシャープな画像を受信する。さもなければ、画像はセンサ上にぼやけて現れる（図１３乃至図１５を参照）。

図１３は、デフォーカスによる画像のぼやけを示す。レンズＬによりフォーカスされる点光源ＰＳに対する画像平面ＩＰは、センサ平面ＳＰと一致しない。図１４は、センサとレンズとの間の距離を変化させる、掃引フォーカスを例示する。センサは、画像平面の前の位置から画像平面の後ろの位置まで移動し、よって、フォーカスを掃引する。図１５は、レンズＬの焦点距離を変化させる、掃引フォーカスを例示し、センサレーンＳＰは１つの位置にとどまるが、レンズＬの焦点距離を変化させることにより、画像平面はセンサ平面の前の位置から後ろの位置へ移動される。

従来の撮像では、センサの位置は固定されているので、特定の公称の距離にある対象物だけがセンサ上にシャープに現れる。他の距離にある対象物は、センサ上にデフォーカスで現れ、ここで、非焦点ぼやけの量はセンサと公称の画像平面との間の距離に比例する。

いわゆる「掃引フォーカス」カメラにおいて、センサ平面は露出の間、画像平面の範囲にわたって掃引するか（図１４）、又は、代わりに、画像平面はセンサ平面周辺の位置の範囲にわたって掃引する（図１５）。従来のカメラとは対照的に、シャープなデータ及びぼやけたデータの混合が露出の間に蓄積するので、対象物がセンサ上に鋭く現れることができる単一の距離がない。蓄積されたぼやけは、対象物距離にかかわらず、画像の全ての対象物をぼやけて見せる。しかしながら、蓄積されたぼやけは、シーンの対象物の距離に仮想的に不変であるように見える。結果として、単一の空間不変の逆フィルタは、蓄積されたぼやけた画像からシャープな画像を回復させるのに十分である。回復された画像内の対象物は、カメラまでの距離にかかわらず、全てシャープに見える。

掃引フォーカスカメラが画像をどのようにぼかすかについて良く理解するために、カメラから特定の距離での単一の点光源の撮像を考える。このとき、対象物までの距離からのぼやけ効果の依存性が考察される。

以下に、掃引フォーカス概念の２つの異なる実行が考察される。第１の実行において、センサが光軸に沿って並進する（図１３を参照）。第２の実行は、センサの軸並進がレンズの焦点距離の等価な変化により置き換えられる（好ましくは固定された倍率を持つ）可変焦点レンズの使用を有する（図１５を参照）。両方の実行において、センサは、対象物が完全にフォーカスしている画像平面を通じて掃引する。よって、対象物は、１つの時点でだけフォーカスし、残りの捕捉時間の間、多かれ少なかれデフォーカスである。デフォーカスの量は、センサと画像平面との間の距離に正比例する（図１３）。瞬時のぼやけは、ほとんどの場合ディスクであるレンズアパーチャの形状を持つ均一なカーネルとシャープな画像との畳み込みとして描かれる。センサが画像平面を通じて掃引するとき、ぼやけカーネルは空間的にスケーリングされる。カーネルの半径は、最初に、センサ平面と画像平面とが一致する位置で、（実質的に）ゼロに減少し、その後再び増大する。以下において、ぼやけカーネルＫの半径Ｒが時刻ｔで線形に変化し、出発ぼやけ半径及び終了ぼやけ半径が等しい線形フォーカス掃引が考察される。図１６を参照されたい。図１６を観察することにより、ぼやけている図が画像平面の方へ向かって指している２つの円錐の形状を持つことがわかる。システムがセンサ上に作る全体的ぼやけは、線形に増大する半径を持つディスクカーネルにわたる時間的統合である。このシステムカーネルの実例は、実効システムぼやけカーネルを示す図１７及び対数スケールで実効システムぼやけカーネルを示す図１８に与えられている。システムカーネルの形状は、シャープなフォーカス画像に対応するディラックデルタと従来のカメラの平坦なディスクデフォーカスカーネルとの中間であることがわかる。

明らかに、この場合、最善の画像は単一の平坦な対象物に正確にカメラの焦点を合わせることにより得られるので、掃引焦点カメラは、従来のカメラ上の既知の距離で単一の平坦な対象物の撮像に対する何れの利点も提供しない。しかしながら、以下において、対象物までの正確な距離が知られていないとき、又は、シーン内にカメラまでの異なる距離にある幾つかの対象物があるとき、画像が対象となる全ての対象物のシャープな画像を提供するため充分な被写界深度を必要とするので利点が明白になることを示すだろう。従来のカメラに対して、デフォーカスの量は、画像平面までの距離で線形に増大する。カメラまでの１つの特定の距離にある対象物は、シャープに撮像されるが、対象物がカメラから更に離れたり近くになるにつれて、ぼやけが増大する。以下に、掃引焦点カメラ設計のぼやけの量が対象物とカメラとの距離の変化にそれほど影響されない、又は、換言すれば、レンズからの距離にかかわらず、任意の対象物に対してぼやけは多かれ少なかれ同じであることを示すだろう。

対象物までの距離が公称の距離とは異なるが、依然掃引範囲までカバーされる（すなわち、カメラは、掃引の間、正確に中間ではないが、対象物画像平面を横切る）場合を考察する。これは、センサが実際の画像平面を横切るときの時間的オフセットに至るだろう。よって、実際の画像平面周辺の二重円錐ぼやけ図の形状は、同じままであるが、出発ぼやけ半径及び終了ぼやけ半径は異なる（図１９を参照）。図２０及び図２１は、システムカーネルと、システムカーネルの対数を示す図１６及び図１７と同様である。システムカーネルは点光源により供給されるぼやけた画像であり、よって、関数はまた点広がり関数とも呼ばれ、すなわちポイントが仮想出力画像上にどのように広がるかの関数である。

カメラまでの距離にかかわらず、各対象物が、ある特定の時間でシャープにフォーカスされるのが見え、更に、この時間の周りで同じぼやけ効果を経験するだろう。各時間内（図１８の水平スライス）におけるぼやけカーネルのエネルギーが一定であることに留意されたい。対象物が画像平面に近いとき、フィルタエネルギーは、シャープなフォーカスの瞬間がディラックデルタカーネルに一致するように非常に集中される。時空の統合領域のこの部分は、時間的統合の結果を支配する。従って、対象物は、カメラまでの距離にかかわらず、センサ上で同様にぼやける。システムカーネル間の小さな差は、画像の詳細を変更しないまま、比較的中央下部の空間的周波数だけに影響を及ぼす。掃引焦点カーネルのスペクトルは、非常に類似した振幅プロフィールを持つ。

掃引焦点カーネルの最大の利点の１つは、逆のオペレーションが全ての空間的周波数のために存在するように、周波数応答で「ゼロ」を持たないということであり、よって、掃引カーネルが良好に規定された簡潔な逆フィルタを可能にする。標準カーネルに対して、これは可能ではない。

図２２及び図２３は、この効果を例示する。図２２は、以下に掃引焦点カメラに対するカーネルのスペクトル特性を例示する。２次元のカーネルのフーリエ変換が円形開口に対して等方性であるので、図２２は、単一の空間方向に対応する変換の断面だけを示す。ラインは、掃引範囲の振幅とオフセットとの間の様々な比率に対応する。図２３は、従来のカメラに対する同じカーネルのスペクトル特性を示す。

掃引焦点カーネルのスペクトルが非常に同様の振幅プロフィールを持つ一方、従来のカメラの振幅プロフィールが全く異なることがわかる。従来のカメラにおいて、単一の関数で任意の正確さにカーネルの周波数挙動を特徴づけることは、可能ではない。掃引カメラにおいて、単一の関数を使用することは可能である。これは、効果的なデコンボルーションを可能にする。

掃引焦点カメラのぼやけ効果がほとんど実際のカメラと対象物との距離に依存しないので、画像は同じ逆フィルタ、すなわち全く同一の点広がり逆関数を使用して効率的にぼやけを除くことができ、よって、局所的な深度推定の必要性を回避する。

結果として、掃引途中でフォーカスされる対象物のぼやけカーネルに対応する同じ逆フィルタで、獲得され統合されたぼやけた画像を処理することにより非常に良好な結果を得ることが可能である。

図２４は、ゼロピクセルと３０ピクセルとの間のぼやけ半径を通って掃引するカメラに対応する掃引焦点カーネルに対する逆フィルタの断面を例示する。

図２５は、公称の対象物平面（ラインＡ）から掃引振幅の０．８（ラインＢ）までの対象物オフセットに対応する逆フィルタが実際に同じであることを示すことにより、これを確認する。

これは、掃引焦点アプローチを説明する。発明者は、同じポジティブな効果がカメラアレイを使用して得られることに気が付いた。

発明者は、プレンオプティックカメラで、よって、上述されたように、カメラの拡張されたアレイで、数値的に多くの再フォーカス画像を生成することが可能であることに気が付いた。多くの再フォーカス画像は、掃引カメラにより撮られる画像と数学的に同じであるか又は非常に類似している。再フォーカスは、例えば図９及び図１０で上述されたように画像捕捉装置のアレイの様々な画像をシフトしたり加えたりすることになる。上述されたように、シフトは、再フォーカスがなされる平面の位置と比例し、特定の画像捕捉装置と視野との間の距離に比例する。よって、多くの再フォーカス画像を供給することは、フォーカス掃引動作と概念的に同じ又は類似している。

掃引フォーカスアプローチによりなされるようにちょうど、統合された画像を提供するために焦点スタックを合成できる。斯様に合成された画像は、非常にぼやけている。再フォーカス画像の各々に対して、画像の一部だけが焦点が合っていて、すなわち、フォーカスしている平面に存在する対象物の部分に焦点が合っていて、対象物の残りは焦点がずれている。焦点スタックを統合すること、すなわち、全てのデータを加算することは、実質的に同じシステムカーネルで、すなわち実質的に同じ点広がり関数で、至る所でぼやける画像を提供する。このとき、ちょうど掃引焦点アプローチと同様に、画像をデコンボルーションし、合成オールフォーカス画像を得るために、同じ点広がり逆関数を使用できる。

カメラのアレイを使用することにより（単一のカメラは定位置を持つので、単一のカメラにより得られることができない）本発明で使われる付加的な利点は、仮想カメラ位置を選択できることであり、すなわち、仮想カメラ位置からオールフォーカス画像を構築できることである。これは、定位置を持つ掃引焦点カメラが提供しない利点である。

統合された画像は、単一の点広がり関数（ＰＳＦ）でデコンボルーションできる。このデコンボルーションは、統合範囲にわたって、すなわち焦点スタックの被写界深度にわたって焦点が合っている画像に結果としてなる。ＤｏＦが非常に改良される一方で、深度マップが推定されることを必要としない。点広がり関数は、インパルス応答関数とも呼ばれている。点広がり関数は、インパルス関数のスメアを供給する。対象物の任意の画像は、対象物データとインパルス関数との畳み込みの結果である。焦点スタックを統合することにより作られる画像内の対象物のぼやけた画像は、再フォーカス及び統合の応答関数と対象物との畳み込みの結果である。

デコンボルーションする計算が単純な１つの方法は、フーリエ空間で表される、第１及び第２の関数の畳み込みのフーリエ変換が、第１の関数のフーリエ変換と第２の関数のフーリエ変換との積であるという事実を利用することである。よって、デコンボルーションすることは、ぼやけた画像のフーリエ変換を分けることになり、前記画像は、点広がり関数のフーリエ変換により、対象物と点広がり関数との畳み込みにより形成される。このとき、対象物のフーリエ変換を得る。対象物の「きれいになった」画像は、逆フーリエ変換を結果として生じる関数に適用することにより得られる。（フーリエ変換を適用し、関数を分けて、逆フーリエ変換を適用する必要があるので、計算によるぼやけを別にして）対象物の鮮明な画像が結果である。

例として、ディスプレイ画面の周りの４つのカメラを有するシステムが採用される。

通常のカメラにおいて、デフォーカスぼやけは、全体の開口領域からの光線の線形蓄積であるとみなされる。同様のやり方で、カメラアレイの合成的にフォーカスされた画像は、別々の画像の線形蓄積から生じる。全体のアレイは、カメラパターンの形状及びアレイのサイズを持つ開口を持つ単一のカメラとして機能する。周辺カメラアレイの場合、開口は、矩形のアウトラインに沿って分散されたひとまとまりのドットである。合成焦点面にない対象物は、この離散的カーネルでぼやけ、矩形の形状で対象物の離散的コピーの蓄積を作る。この状況は図２６及び図２７に例示され、図２６は、４つのカメラ画像Ｉ_１、Ｉ_２、Ｉ_３及びＩ_４と仮想カメラ位置Ｃ_０で合成的にフォーカスされた画像Ｉ０とを持つアレイの画像の模式的な描写である。座標（ｓ，ｔ）は、各カメラフレームの対象物の位置（三角形）を示し、座標（ｕ，ｖ）はカメラアレイの平面内の各カメラセンターの位置（丸）を示す。位置（ｕ_０，ｖ_０）で示された仮想カメラの画像は、画像をシフトさせることなく、４つの入力画像の蓄積から起こるだろう。画像をシフトさせないことは、無限で仮想カメラ画像を合成的にフォーカスすることになる。三角形は、カメラ１、２、３及び４により撮られる画像の対象物の位置を示す。Ｐ’_１、Ｐ’_２等は、全４つの画像の蓄積としての出力画像内の前記対象物の位置を示す。仮想カメラ位置は、これら図のための入力である。

図２７は、出力画像への個別のカメラ寄与の位置の合成的な再フォーカスの効果を例示する。ポイントＰの撮影距離（対象物距離）の正確な距離は、ｚ_ｐにより示される。上から下まで、合成焦点距離ｚは、無限（ｚ＝∞）、対象物距離より（ずっと）大きく、４つの画像が一致する焦点距離である対象物距離（ｚ＝ｚ_ｐ）に等しく、また、対象物距離より小さく設定される。普通のデフォーカスぼやけの代わりに、誤ってフォーカスされた対象物は複数の重畳されたコピーとして現れる。

カメラアレイからの画像で焦点掃引のプロセスを合成するとき、開口の離散的性質は、重畳されたコピーの画像の統合に結果としてなる。これは、点光源に対する合成焦点距離ｚ＞ｚ_ｐから本当の対象物距離ｚ＝ｚ_ｐまでにわたる合成焦点掃引から、結果として生じる出力画像を例示する図２８に図示される。システムカーネルは、単一のポイントｚ＝ｚ_ｐに収束する４つのラインにより形成される。ｚ_ｐ＜ｚからの掃引に対して、単一のポイントから分かれる４つのラインが、結果である。累積的な点広がり関数は、仮想カメラ位置（ｕ_０、ｖ_０）、カメラのアレイのカメラ位置（ｕ_１，ｖ_１；ｕ_２，ｖ_２等）及び数、並びに掃引ｚ_ｍｉｎからｚ_ｍａｘの関数である。６つのカメラに対して、累積的な点広がり関数は６つの「腕」を持ち、８つのカメラに対して８つの「腕」を持つ等である。

図２９は、仮想カメラ位置がディスプレイ画面の中心に非常に近い、離散的焦点ステップでの１２のカメラアレイに対する結果として生じる累積的な点広がり関数を示す。

各仮想カメラ位置及びカメラの各アレイに対して、累積的な点広がり関数が確立できる。

ちょうど焦点掃引アプローチに対するように、点広がり関数は、対象物の実際の距離にそれほど依存せず、単一の点広がり逆関数が、高い正確さで全てのポイントに対して正確である画像をデコンボルーションするために用いられる。

合成焦点掃引の結果を持つ出力画像を計算するプロセスは、様々なやり方で計算できる。第１の実行は、多くの焦点距離を通じてステップすることにあって、図３０のブロック図に模式的に示されるように、計算を実施する。仮想カメラ位置は、ブロック図のための入力であって、仮想カメラ位置ｕ_０，ｖ_０を表わす信号Ｃ_０により表わされる。ここで、異なってフォーカスされる画像の蓄積は、十分に小さな増加量を使用して、最も近い距離ｚ_ｍｉｎと最も遠い距離ｚ_ｍａｘとの間の合成焦点距離の値の範囲を通ってステッピングすることにより得られる。図３０において、別々の離散的距離値は、指標値ｚ_１、ｚ_２、．．．ｚ_Ｍにより示される。点線の長方形のブロック図の部分は、合成的にフォーカスされた画像を供給するため図１０に示されるようなスキームを表わす。Ｉ_０ｚ１（ｓ，ｔ）は焦点距離ｚ_１の合成的にフォーカスする画像を表わし、Ｉ_０ｚ２（ｓ，ｔ）は焦点距離ｚ_２の合成的にフォーカスする画像を表わす等である。

は、加算器ＳＵＭで実施される、合成的に再フォーカスされる仮想カメラ画像の蓄積を表わす。これは、非常にぼやけた画像である。しかしながら、上述されたように、この非常にぼやけた画像を点広がり関数でデコンボルーションすることにより、合成オールフォーカス画像が得られる。

は最終的な合成オールフォーカス画像を表わし、ＩＰＳＦは累積的な点広がり関数の逆関数である。

累積的な点広がり関数を決定するパラメータは、仮想カメラ位置Ｃ_０＝（ｕ_０，ｖ_０）及びｚ_ｍｉｎからｚ_ｍａｘまでの合成焦点範囲である。ここでまた、仮想出力画像と呼ばれる、この合成オールフォーカス画像は、通常、データ信号の形式である。このデータ信号は、画像表示装置、又は画像データ処理装置へ送られる。仮想出力画像に、例えばメタデータとして、又はフラグの形式で、データ信号付加的情報が加えられる。斯様な付加的なデータは、好ましくは実施例において、仮想カメラ位置及び／又は注視方向を有する。中心を外れた仮想カメラ位置から撮られる人の画像は、中心仮想カメラ位置からアレイに関して、中心を外れた席にいる人から撮られる画像と、ほぼ区別がつかない。データ信号情報に関連する、又はデータ信号情報内にある仮想カメラ位置Ｃ_０を供給することにより、識別可能である。他の付加的情報は、アレイ内のカメラの配置である。

図３０は、Ｍ個の合成的に再フォーカスされた画像の範囲の蓄積による合成焦点掃引の多少しらみつぶし的な計算を示す。変換のための様々な実施例があり、多くは結果的に線形オペレーションになる。説明を簡単にするため、累積的なＰＳＦの逆関数での畳み込みを使用する変換が、ここで示される。

第１の実行は、多くの焦点距離を通じてステッピングを行って、図３０に示されるように、計算を実施する。ここで、異なったフォーカス画像の蓄積は、十分に小さな増加量を使用して、最も近い距離ｚ_ｍｉｎと最も遠い距離ｚ_ｍａｘとの間の合成焦点距離の値の範囲を通じてステッピングを行うことにより得られる。図３０において、別々の離散的距離値は、指標値ｚ_１、ｚ_２、．．．ｚ_Ｍにより示される。全ての計算された距離に対する合成的にフォーカスされた画像の累算された合計が、

により示される。これは、合成焦点掃引の後の累積された画像である。式（１３）の畳み込みに基づいた並進を使用して、合成焦点掃引後の累積された画像は、以下の式から生じる。

（１５）
Ｔ_ａ，ｂは、以下に繰り返し示される式（９）で早めに規定されていて、インパルス応答関数を並進する。
Ｔ_ａ，ｂ（ｓ、ｔ）＝δ（ｓ−ａ）δ（ｔ−ｂ）
（９）
並進ベクトルは、以下に繰り返し示される式（１４）で前に規定されている。

（１４）
畳み込みベースの実行を使用して、以下に示されるブロック図を構成する。

充分な合成焦点距離値ｚを使用するとすると、累積的なＰＳＦは、図２８に示されるように、通常、「星」形状を採用し、星のスポークはアレイ内にあるカメラと同数である。

オールフォーカス再構成

は、様々なやり方で

から得られる。掃引焦点カメラアレイの実効ＰＳＦの逆周波数応答との線形フィルタの畳み込みが、図３０に示される。

図２８は、特定の距離の空間の単一のポイントの寄与が直線のラインとして投影される出力画像に、どのように合成焦点掃引が結果としてなるかを示す。各ラインは、単一のアレイのカメラに対応する。各ライン自体は、合成される焦点掃引システムの累積的なＰＳＦへの寄与を形成する。合成焦点掃引に基づいた仮想カメラ画像の計算は、完全に線形である。これは、計算の結果を変えることなく、様々なオペレーションの順番を変えることができることを意味する。

（１６）
Ｔ_ａ，ｂは、（９）で規定されたインパルス応答関数を並進する。

各カメラ画像Ｉｋは、ここで、インパルス応答関数を並進する和と畳み込まれ、一連のデルタ関数のラインを基本的に形成する。合成掃引が焦点の連続的変化に近い必要があるので、インパルス応答関数を並進する和は、単一のインパルス応答

として処理できる連続した線を形成する。

（１７）
ここで、開始ポイント及び終了ポイントそれぞれのベクトル（Δｓ'_ｋ、Δｔ'_ｋ）^Ｔ及び（Δｓ"_ｋ、Δｔ"_ｋ）^Ｔは、合成焦点範囲の開始及び終了それぞれの値ｚ'及びｚ"により規定される。

（１８）
焦点掃引は物理的又は合成的であって連続のプロセスなので、ライン形状の畳み込みに対するより正確な式は、リーマン統合の使用を必要とする。

（１９）

よって、図３０において、開始ポイントがアレイの個別のカメラからのデータであり、多くの合成的にフォーカスされた画像Ｉ_ｏｚｉｋ（ｓ，ｔ）が作られ、

を作るために加算されるブロック図が示されるのに対し、図３１に示されるように、ライン形状の畳み込みでアレイのカメラの画像データを畳み込むこともできる。ライン形状の畳み込みを使用することは、実際に、スタックの無限の数の再フォーカス画像を使用することに等しい方法になるので、経路Ｓを使用する後者の方法が、実際に、上記で明らかにされているように、無限の数の合成的にフォーカスされた画像を使用することに数学的に等しい。数学的に等価であるにもかかわらず、各画像が直接畳み込まれるので、計算速度が増大できる。経路Ｓがインパルス関数の並進の和である所において、当該方法は再フォーカス画像のスタックを使用することに等しい。

経路畳み込みを使用することは、計算の速度を増大させる。

図３１は、式１９で定められるフィルタカーネルを示す。

図３２は、この速い正確な実行のブロックスキームを示す。

図３２は、距離ｚ＝ｚ'からｚ＝ｚ"までの連続範囲で合成的にフォーカスされる合成オールフォーカス画像

の効率的な計算を示す。

から

へ変換する様々な実施例があり、これらの多くは結果的に線形オペレーションになる。説明を簡単にするため、累積的なＰＳＦの逆関数との畳み込みを使用している変換がここで示される。

図３０に模式的に示される第１の実施例は、以下の通りに説明できる。
1.カメラのアレイから（又はプレンオプティックカメラから）ライトフィールドデータを繰り返し再フォーカスさせることにより、焦点スタック（Ｉ_０ｚ１（ｓ，ｔ）、Ｉ_０ｚ２（ｓ，ｔ）等）を作る。

特定の深度にライトフィールドデータを再フォーカスさせる一つの技術は、視点から距離に比例して個別のカメラ画像をシフトさせ、その後シフトされた画像を加算することである。これは、各別個の焦点距離に対して繰り返される。
2.

を形成する焦点スタック（深度方向に沿った和）を統合する。
3.例えばユニットパルスδを含む画像にステップ１及びステップ２を実施し、焦点スタックを統合することにより、点広がり関数（ＰＳＦ）を生成する。
4.例えばＦＦＴ領域内での直接の分割、又はウィーナー若しくはルーシーリチャードソンデコンボルーションのような他のデコンボルーション方法で、ステップ３からＰＳＦを用いて、ステップ２の統合された画像をデコンボルーションする。

この第１の実施例は、非常に有効であるが、大きな計算パワーを必要とする。

しかしながら、合成焦点掃引を含む仮想カメラ画像の計算は、完全に線形である。これは、上述されたように、計算の結果を変えることなく、様々なオペレーションの順番を変えることができることを意味する。

十分な焦点スタックを生成し、その後統合する代わりに、統合された画像を直接生成することができ、これにより図３２に図示されるように、多くの計算を節約する。

斯様な実施例において、以下の通りに計算を再び順番付けできる。
aアレイの各画像捕捉装置に対する仮想カメラ位置に関する画像シフトの投影経路を生成するステップ（式１９）。
b畳み込まれた画像Ｉ_{ｃｏｎｖ１}（ｓ，ｔ），Ｉ_{ｃｏｎｖ２}（ｓ，ｔ）を形成するためにそれぞれの投影経路と前記個別の画像を畳み込むステップ。
c前記統合されたぼやけた画像を形成するために畳み込まれた画像を加算するステップ。
中間の結果は、前述の実施例のステップ１及びステップ２と同一である。上述されたように、これは一致ではないが、２つの実施例は数学的に等価であり、これらは数学的に同じ計算を表わし、計算の結果を変えずに、様々なオペレーションの順番が変えられた。しかしながら、後者の方法は、特に経路が連続関数であるとき、より速くより正確である。
ｄ前記投影経路の統合により点広がり関数を生成するステップ（式１７）。
ｅ例えばＦＦＴ領域内での直接の分割、又はウィーナー若しくはルーシーリチャードソンデコンボルーションのような他のデコンボルーション方法で、点広がり逆関数を用いて、統合された画像をデコンボルーションするステップ。

この第２の実施例のステップｃにおいて供給される統合された画像は、第１の実施例のステップｂの統合された画像に対応し、すなわち、これは、（十分な焦点スタック自体がなされなかった場合であっても）様々な深度で再フォーカスされた画像のスタックを統合することにより作られる画像に対応する。

図３３は、１２台のカメラに対する投影経路ＰＰを例示し、中心仮想カメラ位置に対して、左側のグラフ、中心でない仮想カメラ位置に対して、右側のグラフを示す。仮想カメラ位置は、円で示される。各経路上に統合は等しく、よって、より短い経路は、より高い振幅を持つ。図３３は、また、２つの仮想カメラ位置に対する点広がり関数ＰＳＦを例示し、最後に左側の一番下で、中央に置かれた仮想カメラ位置に対する点広がり関数の等角図を例示する。仮想カメラ位置がカメラのアレイに関して定められ、経路は仮想カメラ位置に関して定められることがわかる。

十分な焦点スタックを生成し、その後統合する代わりに、アレイの画像捕捉装置からの個別の画像は、それぞれの投影経路で畳み込まれる。結果として生成された画像は、あたかも十分な焦点スタックが作られて、その後統合されたかのような画像である。第２の実施例による方法は、第１の実施例と比較して、必要な計算の数を強力に低減する。図３２に例示される第２の実施例は、代替の必要としているより少ないコンピュータパワーのために、図３０に図示されるように、様々な深度で再フォーカスされた画像のスタックを統合することにより画像を作ることに対応する画像を供給するルートを供給する。次のステップ、点広がり逆関数ＩＰＳＦを使用するデコンボルーションは、第１及び第２の実施例両方の部分である。第２の実施例は、より少ない計算パワーしか必要としないので、このことが重要であるシステム、装置又は状況に対して特定の関連がある。画像間の時間は制限されているので、リアルタイムアプリケーションは、これらの一つを形成する。この方法は、また、その速度のおかげで、特に３Ｄアプリケーションに適している。仮想カメラ位置ｕ_０，ｖ_０は、当該方法のための入力であり、任意の位置に選ばれる。よって、わずかに異なるカメラ位置から２つの画像を作ることも可能であり、これによって、オール焦点左目及び右目画像を作ることができる。これは、本発明の実施例の何れにとっても真実であるが、少ない処理パワーが必要とされる実施例によりよく適している。異なるカメラ位置からの２つ以上のオールフォーカス画像は、カメラの同じアレイからの同一データから作ることができる。これは、同一データを並列処理することによりできる。

アレイが比較的多くの数のカメラを有する実施例において、実施例では、異なる視点からの画像を供給するために、アレイは、２つのサブアレイに分割される。例えば、アレイが１６台のカメラを持つ実施例では、そのうちの８台は、「右目」カメラ位置からオールフォーカス画像を作り、残りの８台は「左目」カメラ位置からオールフォーカス画像を作るために使用できる。代わりに、カメラが高いフレームレートで画像を記録する実施例において、奇数フレームは一方のタイプの画像を作り、偶数フレームは他方のタイプの画像を作るために用いられる。

図３０及び図３２は、焦点スタックに対応する画像が作られるスキームを提供する。この画像は、その後デコンボルーションされる。使用される点広がり関数は、選択されるカメラ位置及び焦点範囲に依存する。

点広がり関数は、各仮想カメラ位置ｕ_０，ｖ_０及び焦点範囲（ｚ_ｍｉｎからｚ_ｍａｘまで）に対して計算されるか、又は、代わりに、点広がり関数のためのパラメータが仮想カメラ位置及び焦点範囲の関数として与えられるテーブルが使用できる。

使用されるカメラがパラメータでもある実施例において、点広がり関数は、使用されるカメラの関数である。用いられるべきカメラの選択は、多くのアプリケーションに対して有用である。
-サブアレイが画像の一方を生成するために使われ、他のサブアレイが画像の他方を生成するために使われる左右画像のアプリケーション。
-使用されるカメラの数が、規定されたシャープな画像を作るために選択できる高解像度−低解像のアプリケーション。これは、必要な計算パワー及び利用可能な計算パワーのバランスをとるために有利である。
-一つ以上のカメラの故障を考慮すること。アレイがｘ台のカメラを有し、点広がり関数は、全てのカメラが機能していると仮定している場合、これらカメラの１台のカメラのデータの損失は、完全に正しくない点広がり関数に至るだろう。多数のカメラが用いられる所で、これは画像品質の認識可能なロスには多分至らないだろう。しかしながら、カメラの機能を調べて、使用中のカメラに点広がり関数を採用することにより、一つ以上のカメラが故障する場合に、より良好な結果が得られることができる。

これらの実施例の何れの実施例においても、システムは、アレイの個別のカメラより高い解像度で、出力画像を生成できる。付加的なシャープさから利益を享受するために、カメラ画像は、好ましくはサンプリング偽信号を呈する。これらのカメラ画像は、ピクセル反復によってアップスケールされる。システムの残りは、他の実施例のものに等しい。

Ｘ―Ｙステージに取り付けられるカメラを用いて、再構成方法を検証した。このセットアップで、カメラの最適な数及び配置を評価できる。以下は、現在の実行からの幾つかのサンプル画像である。これは、比較的低い解像度カメラ画像のアレイから高解像度画像を得ることを可能にする。図３０及び図３２のスキーム（又は、他の任意のスキーム）との違いは、画像データを入力する前に、カメラ画像がピクセル反復によりアップスケールされるということであり、よって例えば、１０２４＊１０２４データを２０４８＊２０４８ピクセルのアレイにし、各ピクセルが２倍になる。各個別のカメラに対する解像度増大は、もちろん偽であるが、最終画像の解像度の増大の効果は真である。

上記例において、仮想カメラ位置ｕ０、ｖ０が選択される。ライトフィールドの概念は、仮想カメラ位置を選択することとは別に、注視方向を選択可能にする。カメラのアレイからの全体の情報は、特定の注視方向を見ているアレイの各カメラへ仮想カメラが割り当てられるように、再編成でき、すなわち、特定の注視方向を見ているカメラのための画像データを作るための変換がデータに適用される。このとき、これらのカメラデータは、図３０及び図３２に図示されるように、スキームのための入力である。この結果は、合成的にフォーカスされた画像が、領域を持つ角度の下で構成される、又は、換言すれば、焦点スタックは注視方向を持つということと、結果として生じる画像は、選択された注視方向を見ている仮想カメラ位置からの画像であるということとである。

どのように仮想カメラ位置に対する画像を合成するべきかが上述されている。以下では、仮想カメラの位置を決定又は選択するための幾つかの方法、及び本発明の可能性が利用されるシステムが与えられる。

顕微鏡：
仮想カメラは、最初に視野の中央に配置される。位置は、その後、ユーザ制御で修正できる（対象物の「周り」を見るために）。これらのシステムにおいて、システムは、仮想カメラ位置の入力のための手段を有する。

３Ｄ可能なスクリーンと組み合わせて、２つ（以上）の視野を生成し、これにより立体視を提供することが好ましい。好ましくは、ユーザは、３Ｄ効果を最適化するため視野間の分離の量を調整できる。これらのシステムにおいて、システムは、２つの仮想カメラ位置間の違いを生成するための入力を有する。

同じ好ましい実施例（すなわち、視点及び立体視をを選択する）は、外科医がカメラ画像に基づいて処置する（ミクロ）手術のようなシステムのためにも非常に有効である。同じことが、遠隔で危険物が扱われなければならないシステムに対して当てはまる。システムは、オペレータが視点を選択し、リアルタイムで正確な３Ｄオールフォーカス画像を得ることができる。

テレビ会議
テレプレゼンスセットアップにおいて、対話の各参加者は、誰がアドレスしているかを知るために、自然なアイコンタクトを成し遂げることは重要である。例えば、仮想円卓周辺に参加者を配置することができるので、トポロジはスクリーン上へのマッピングのために簡単である（図３４Ａ及び図３４Ｂを参照）。各参加者は、スクリーン上の各参加者の頭（好ましくは目）に対応する仮想カメラ位置から生成される、他の加入者へ、ビデオストリームを送る。このように、システムＡがシステムＢへストリームＡＢ（システムＡ上のＢのスクリーン位置の仮想カメラ）を送り、システムＣへストリームＡＣ（ディスプレイＡ上のＣのスクリーン位置の仮想カメラ）を送る。図３４Ａは、非常に模式的なセットアップを与え、図３４Ｂは、より詳細を示す。

システムＡからシステムＢ及びＣへそれぞれ送られる画像データに対して（ｕ_０，ｖ_０）Ｂ、（ｕ_０，ｖ_０）Ｃそれぞれで図３４Ｂに示される仮想カメラ位置は、ディスプレイＡ上の人Ｂ及びＣの頭（目）の位置に基づいて、システムＡにより決定される。目の決定された位置は、信号Ｃ_０Ｂ及びＣ_０Ｃを提供し、ここで、これらの信号はＡのスクリーン上で、それぞれＢの目及びＣの目の位置を示す。Ａのシステムは、視点（ｕ_０，ｖ_０）Ｂ、すなわちＢの目から見られる仮想像を作るために入力信号Ｃ_０Ｂを使用し、システムＢへ仮想出力画像のためのデータを送る。システムＡは、

すなわち（ｕ_０，ｖ_０）Ｂから見られる仮想像をシステムＢへ送る。システムＡの前の人が人Ｂの目のスクリーンを見るとき、人Ｂは、人Ａとの直接のアイコンタクトに気付くだろう。システムＡは、

すなわち（ｕ_０，ｖ_０）Ｃから見られる仮想像をシステムＣへ送る。人Ｃは直接のアイコンタクトに気付かないだろう。全ての必要なオペレーションがシステムＡで実施できるので、本発明のこの実施例において、これは既存の通信会議システムに対して旧版互換性を持つ、すなわち、斯様な実施例において、遠隔参加者Ｂ及びＣだけが本当のアイコンタクトを経験できるが、Ｂ及びＣは従来のシステムの前に着席できる。しかしながら、全ての参加者Ａ、Ｂ及びＣが本発明のような仮想カメラ位置を生成するための手段を使用するとき、アイコンタクトの方向は、一貫したやり方で全ての人により知覚される。

仮想カメラ位置は、好ましくは、画面上に現れるので受信者の目の位置と一致する。この位置は、手動で選択できるか、又は最も好ましくは、ビオラ及びジョーンズにより提案される（P.Viola and M.Jones, "Rapid object detection using a boosted cascade of simple features", in Proc. CVPR2001を参照）ようなコンピュータビジョンアルゴリズムにより自動的に検出できる。何れかの人間のインタラクションを必要とすることなく、目の自動的な動的検出が追跡でき、よって、目の自動更新される位置及び動きは、ライブのアイコンタクトを本当に与える。顔認識アルゴリズムが、目検出、又は例えば角膜若しくは網膜上の光の反射により目の位置をマークするシステムのために用いられる。

全ての参加者が仮想カメラ位置を生成するための手段の前で着席するとき、固有の視点が各参加者に対して生成されるので、誰もが誰が会話中に誰とアドレスしているかを知り、本当のアイコンタクトが可能である。また、参加者の１人がテーブルのヘッドにいる会議を再形成することもできる。この場合、１人の参加者から他の参加者への情報ストリームは、テーブルの参加者の位置に関する情報を有しなければならないか、又は、テーブル配置が設定されるべきである。

代わりに、会議の間に、例えば一時的に事項を説明している人をテーブルのヘッドに配置するために、テーブル座席は、変えられる。システムは、参加者又は秘書のような外部の人の１人がテレビ会議の参加者の席を制御する手段を有する。円形又は矩形のテーブルを使用する代わりに、法廷ルーム設定又はレクチャールーム設定のような異なる設定も使用できる。実施例のシステムは、会議中又は会議前に、座席の配置だけでなく設定を選択する手段を有する。

３Ｄスクリーン
ステレオスクリーンのために、各目の位置に一つの２つの視点が生成される。正確な目の位置がない場合、頭部位置（又は、スクリーン／窓の中心）が採用でき、仮想カメラ位置を実現するため小さなオフセットが、加算／減算される。標準の眼間距離は、ほぼ７．５ｃｍである。実施例のシステムは、頭部位置を決めるための手段を有する。

自動立体的なスクリーンのために、表示視点に対応する複数の視点が生成できる。ここでは同様に、各視点を作るために、位置オフセットが加算／減算される。

図３０及び図３２のブロックスキームにより例示される上記２つの実施例は、点広がり関数ＰＳＦを使用することに基づき、ここで、第２の実施例は、少ない計算パワーしか必要とせず、ある意味では、第１の実施例の計算ショートカットを提供する。

システムの様々な実施例が説明される。

発明者は、同じ通常の概念に基づいて、可能な限りの他の計算を簡略化したものがあると気が付いた。

図３２を参照すると、逆フィルタ（蓄積ＰＳＦの逆関数との畳み込み）及びカメラ特有のカーネルを画像データとの単一の畳み込みに結合できる。このように、固有のフィルタカーネルが、カメラごとに生成される。合成オールフォーカス画像は、フィルタリングされたアレイカメラ画像の和から起こる。

このスキームは、図３５に例示される。利点は、単一の畳み込みが必要とされることである。畳み込み及び加算は交換可能であり、よって、畳み込み及び加算のシーケンスは変更できる。このように、（Ｉ_ｉ＊Ｓ_ｉ）＊ＩＰＳＦ＝（Ｓ_ｉ＊ＩＰＳＦ）＊Ｉ_ｉであり、ここで、Ｉ_ｉが画像であり、データＳ_ｉは経路にわたる畳み込みであり、ＩＰＳＦは点広がり逆関数である。合成オールフォーカス画像は、フィルタリングされたアレイカメラの和から、直接生じる。効果的に、図３２及び図３５のスキームは、数学的に同じである。

Ｓ_ｉ＊ＩＰＳＦは、画像データに依存していない。

更にワンステップ進むことができる。カメラ特有のコンボリューションカーネルＳ_ｉ＊ＩＰＳＦは、一組のカメラ特有の、回転される１Ｄ畳み込みにより近似できる。この実行は、個別のコンボリューションカーネル（Ｓ_ｉ＊ＩＰＳＦ）の（近似の）可分性に基づく。各２Ｄコンボリューションカーネルは、それぞれのカメラ位置に応じて回転される、一対の直交する１Ｄコンボリューションカーネル（Ｓ_ｉ'及びＨＰ_ｉ）で近似される。

フィルタカーネルＳ_１．．．Ｓ_Ｎ（すなわち投影経路）は、回転される１Ｄボックスフィルタとして記述され、すなわちＳ_ｉ＝Ｒ_ｉ・Ｓ_ｉ'と記述でき、ここでＳ_ｉ'は１Ｄカーネルを示し、Ｒ_ｉは回転マトリックスを示す。ボックスフィルタは、その経路に沿って高周波を減衰させ、従って、この方向のＩＰＳＦの効果（ハイパス挙動を持つ）を抑制する。ボックスフィルタＳ_ｉで畳み込まれたＩＰＳＦの残りのハイパス効果は、主にボックスフィルタ（すなわち投影経路）に対して直交であり、回転される１ＤカーネルＲ_ｉ・ＨＰ_ｉに単純化でき、ここで、ＨＰ_ｉは１Ｄカーネルを示す。

要約すると以下の通りである。Ｓ_ｉ＊ＩＰＳＦは、回転される１対の１Ｄコンボリューションカーネル（Ｓ_ｉ'及びＨＰ_ｉ）で近似される。

（２０）
ここで、Ｒ_ｉはカメラ位置ｕ_ｉ、ｖ_ｉ、ｕ_０、ｖ_０から導出される回転マトリックスを示す。回転角度φは以下の式により与えられる。
ｔａｎ（φ_ｉ）＝（ｖ_ｉ−ｖ_０）／（ｕ_ｉ−ｕ_０）
（２１）
ボックスフィルタＳｉ（投影経路）の長さは以下の式により与えられる。

（２２）
ボックスフィルタＳ_ｉの大きさは、１／||Ｓ_ｉ||である。

コンボリューションカーネルＨＰ_ｉは、ハイパスフィルタ挙動を持ち、周波数応答として近似的に｜ｆ｜（周波数の絶対値）を生じ、Ｖ字型の大きさの応答を引き起こす。
・カーネルＨＰ_ｉは、以下の方法の１つにより導出できる。
・（ＩＰＳＦのＲａｄｏｎ変換のような）カメラアングルφに沿って、生成されたＩＰＳＦを統合する。
・Ｒａｄｏｎと同等とみなし、好ましくはフィルタ長||Ｓ_ｉ||を持つＲａｍ―Ｌａｋフィルタを使用する。
・一定のハイパスフィルタ、例えば［−２ ５ ―２］を使用する。
・Ｒ_ｉ ^―１・（Ｓ_ｉ＊ＩＰＳＦ）の単一の値分解。Ｓ_ｉ及びＨＰ_ｉが水平及び垂直軸に位置合わせされるように、回転マトリックスＲ_ｉ ^―１は、２Ｄカーネルを回転させるために用いられるので、これによって、分解を単純化する。
・周波数ベースの方法（フーリエ空間でスライスする）

試行錯誤方法ももちろん可能であり、ここで、厳密な方法の結果は近似の方法と比較され、フィルタのパラメータが精細に調整される。

２つの畳み込みは、任意のシーケンスで実施でき、すなわち最初に投影経路との畳み込みと、次に投影経路と直交するフィルタＨＰ_ｉとの畳み込みを実行するか、又は逆もまた同じである。

図３６は、ハイパスフィルタ（ＨＰ）との畳み込みが、それぞれの経路Ｓとの畳み込みの後、実施されるブロックスキームを例示する。

図３６は、フィルタリングされた逆投影に基づいて、最小の焦点距離から最大の焦点距離まで、距離の連続的範囲で合成的にフォーカスされる合成オールフォーカス画像の速い近似計算を例示する。

第１の態様と同様に、畳み込みのシーケンスは変更できる。

よって、本発明のこの態様は、様々な実施例で実施できる。
第１の実施例は、以下により与えられる。
a.アレイの各画像捕捉装置に対する画像シフトの投影経路を生成すること。
b.個別のカメラ画像をそれぞれの投影経路と畳み込むこと。
c.その後、各画像捕捉装置の画像を投影経路と直交するハイパスフィルタと畳み込むこと。

これは、図３６に例示される実施例である。

第２の実施例は、以下により与えられる。
a.アレイの各画像捕捉装置に対する画像シフトの投影経路を生成すること。
b.各画像捕捉装置の画像を投影経路と直交するハイパスフィルタと畳み込むこと。
c.その後、個別のカメラ画像をそれぞれの投影経路と畳み込むこと。

これは、畳み込みのシーケンスを切り換えたことになる。
第３実施例は、以下により与えられる。
a.アレイの各画像捕捉装置に対する画像シフトの投影経路を生成すること。当該経路は、アレイに関する仮想カメラ位置に関して決定される。
b.それぞれの投影経路を当該経路に直交するハイパスフィルタと畳み込むことにより各画像に対する畳み込みフィルタを生成すること。
c.個別のカメラ画像をｂで生成されたそれぞれのフィルタと畳み込むこと。

この実施例は、図３５と類似している。

本発明のこの態様の利点は、方法が非常に急速であるという事実であり、不利な点は計算が概算であるということである。これは、幾らかの正確さを犠牲にして、更に計算パワーを低減する。

固定のパラメータを持つフィルタが使用できるが、好ましくは、ハイパスフィルタは、投影経路、特に投影経路の長さの関数であるパラメータを持つ。

畳み込みカーネルが一組の回転される１Ｄフィルタへ分解されることは、投影経路及びハイパスフィルタが本当に１次元であるように、回転を取り除くことにより、更にシステムを最適化するために意味がある。画像を回転させることは計算的により高価なようであるが、斯様なオペレーションは現代のグラフィックスカードで容易に利用可能であり、ここで、ほとんど計算労力を必要とせずに、コストは単純な座標変換へ減少される一方で、フィルタリングオペレーションのための後続の計算労力は強く低減される。

結果として生じるスキームは、図３７に例示される。

図３７において、ブロックＲ_ｉ＊Ｓ_ｉ及びＲ_ｉ＊ＨＰは、純粋な水平及び垂直１Ｄフィルタであることを注記する。図３７は、好ましい実施例を例示する。

図３８は、本発明による方法の結果を例示する。上半分は、ディスプレイ画面の周辺の２４台のカメラにより撮られる２４個の画像を模式的に示す。下半分は、オールフォーカス画像が得られることを示し、様々な仮想カメラ位置から撮られる画像が示され、それぞれ中央の仮想カメラ位置、左右の仮想カメラ位置に対する画像である。

図３９は、ディスプレイ画面周辺の１６台のカメラのアレイを持つシステム印象を提供する。大きな窓に描写された受信している参加者は、仮想図視点ＶＰから、ビデオストリームを受信する。注視されるとき、参加者は直接のアイコンタクトに気が付く。

本発明の方法は、プレンオプティックカメラにより実施できる。

拡張される焦点深度は、例えば顕微鏡及びデジタル病理学に対して非常に有効である。

単一の捕捉は、大部分又は全体のサンプル深度範囲を含むことができ、例えば顕微鏡の正確なフォーカシングのニーズを減らす。データレート及びサンプリング時間が低減される。

本発明の方法は、例えばコンピュータスクリーン周辺にある個別のカメラのアレイによっても実施できる。これは、とりわけ、スクリーン表面内の仮想カメラ位置を可能にする。計算パワーの低減された要求は、スクリーンの表面内の仮想視点の作成を単純化し、その結果、リアルタイムでの実施を可能にする。

好ましい実施例において、スクリーンの周りのカメラの数は、少なくとも４台、好ましくは８台以上である。ＰＳＦの正確な決定及び仮想視点の正確な決定のため、４台以上のカメラが有効である。均一に分散された比較的多くの数のカメラが使用される実施例において、方法は、実施例において上述されたようにカメラアレイの２つのサブセットを交互に使用することを有する。２つのサブセットがわずかに異なる仮想視点を持つ場合、リアルタイムオール焦点３Ｄ記録が可能である。

本発明は、所与の例示的な実施例に制限されない。

請求項において、括弧内の何れの参照符号も、請求項を制限するものとして解釈されない。

用語「有する」は、請求項にリストされるもの以外の別の要素又はステップの存在を除外しない。本発明は、上述されたように様々な異なる好ましい実施例の特徴の組合せにより実行されてもよい。

カメラは、画像を記録するための任意の装置である。これは、通信のような他の目的にも使用される装置の一部でもよいし、斯様な通信装置に取り付けられる、一体化される、又は協働する装置の一部でもよい。

方法のステップを実施するための手段は、ハードウェア、ソフトウェア又はこれらの任意の組み合わせの形でもよい。本発明の様々な実施例によるシステム及び装置において、方法のステップを実施するための手段が供給される。明細書又は請求項の方法のステップの一つ以上のステップを実施する「ための手段」と記載されているところで、当該手段は、ステップの全てを実施するための複合手段、又は、各々が方法のステップの一つ以上を実施するための手段である多くの手段に対する略語でもよい。よって、「統合するための手段」は、ソフトウェア、ハードウェア又はこれらの組み合わせの何れかとして「統合器」も使われる。「生成するための手段」は生成のための生成器と呼ばれ、「畳み込むための手段」は畳み込み器と呼ばれ、「加算するための手段」は加算器と呼ばれ、「構成するための手段」は構成器と呼ばれ、「デコンボルーションするための手段」はデコンボルバーと呼ばれ、本発明の概念の範囲内で、これらは、ソフトウェア、ハードウェア又は他の任意のウェアの一部でもよい。様々な手段は、説明の容易さのために別々であるとして説明された。これは、本発明が別々のユニットである手段に限定されることを意味するわけではなく、これらの機能は、合成された装置又はソフトウェアの部分に組み込まれることができる。

方法及びシステムが利用される所で、何れの手段も、カメラの近く若しくはカメラ内に、又はカメラが接続されるシーンの近くの装置にあることができる。しかしながら、システムが遠隔で制御されるので、画像データは、遠隔でも分析又は処理できる。データを扱うための手段は、何れの態様でも、同じ位置に位置されている必要はない。データ処置の幾つかは、特に図３５のような、カメラからのデータが単一の畳み込みで畳み込まれる実施例において、カメラに位置される又はカメラ近くの手段により実施できるのに対し、和すなわち加算のようなより通常のデータ処置はＣＰＵの手段により実施できる。個別のカメラの画像データが処置を受け、例えばそれぞれの経路（Ｓ）で個別の画像を畳み込む実施例は、本発明の斯様な実施例において、これらの処置が、カメラ付近の、カメラにアタッチされた、又はカメラと一体化された手段によりなされる画像を捕捉した後、直ちに実施できるので、この点で有利である。これは、オペレーションの速度を増大する。

本発明は、プログラムがコンピュータで動くとき、本発明による方法を実施するためのプログラムコード手段を有するコンピュータプログラム、本発明による方法を実施するためのコンピュータ可読媒体に格納されるプログラムコード手段を有するコンピュータプログラムにも関する。

「各画像捕捉装置」という記載がある所では、本発明の方法で用いられる及び／又はシステムでアクティブである各装置が意味される。カメラの大きなアレイが例えばディスプレイ画面周辺に存在するとき、アレイはサブアレイに副分割され、一つ以上のサブアレイが本発明を実施するが、必ずしも本発明の同じ実施例でなくてもよい。システムがＮ個の画像捕捉装置のアレイを有するとき、例えば収集され処理及び／又は送られなければならないデータの量を減らすために、画像捕捉装置の一部（Ｍ＜Ｎ）だけが使用されることも可能である。これは、意図された受信装置から受け取られるデータに応じてなされてもよい。例えば、仮想出力画像が限られた解像度だけを持つ例えば携帯機器のような装置に送られるべき場合、高品質画像を生成するためのニーズがなく、受信側で限られた解像度だけが利用可能で、よって、画像を供給する方法で使用される画像捕捉装置の数が制限されてもよいとすると、例えばディスプレイ画面周辺のカメラの半分又は１／４だけ、例えば１６台のうち８台だけを使用してもよい。

要約すると、本発明は、以下のように説明できる。

画像捕捉装置のアレイから仮想出力画像を供給するための方法及びシステムにおいて、画像データ（Ｉ_１（ｓ，ｔ）、Ｉ_２（ｓ，ｔ））は、装置（Ｃ_１、Ｃ_２）からとられる。この画像データは、関数、例えば経路（Ｓ）で画像データ（Ｉ_１（ｓ，ｔ）、Ｉ_２（ｓ，ｔ））を畳みこみ、その後、加算（ＳＵＭ）の後又は前で、オールフォーカス画像データ

を作るために、これらを、点広がり逆関数（ＩＰＳＦ）又はそれと等価若しくは同様のフィルタ（ＨＰ）でデコンボルーションすることにより処理される。これは、位置が入力方法及びシステムを形成する当該仮想カメラ位置に関してなされる。特に、２つ以上のインタラクティブ（副）システムが用いられるとき、当該方法及びシステムは有利である。本発明は、このとき、リアルタイムの現実的なアイコンタクトシミュレーションを可能にする。

Claims (26)

1. 異なる視点からの複数の個別の画像を捕捉するための画像捕捉装置のアレイにより供給される個別の入力画像の入力画像データから仮想出力画像のための出力画像データを作る方法であって、シーンの複数の深度レイヤに基づいて前記個別の入力画像の対応する画素値の加算ステップ及び逆フィルタリングステップを有する方法において、仮想カメラ位置が仮想カメラ位置を表わす入力仮想カメラ位置信号により供給され、加算及び逆フィルタリングステップが、前記仮想カメラ位置から見てるように仮想出力画像のための画像データを作るために、前記仮想カメラ位置に依存して実施されることを特徴とする、方法。
2. 加算及び逆フィルタリングステップが、前記個別の画像の前記入力画像データから、複数の深度で合成的にフォーカスされる複数の画像のための画像データを構成するステップと、統合されたぼやけた画像に対する画像データを形成するために様々な深度で前記合成的にフォーカスされる複数の画像の画像データを加算するステップと、その後、前記個別の画像の入力画像データから、仮想画像に対する画像データを作るため点広がり逆関数を使用して、前記統合されたぼやけた画像をデコンボルーションするステップとを有する、請求項１に記載の方法。
3. ａ前記仮想カメラ位置に前記個別の入力画像を位置合わせするために、特定の画像捕捉装置の位置と前記仮想カメラ位置との間の距離に比例して、特定の深度に依存して、前記画像捕捉装置により供給される前記個別の入力画像をシフトさせるステップを複数の深度に対して実施するステップと、b前記複数の深度で合成的にフォーカスされる画像の画像データを形成するために、各深度でシフトされた画像に対する画像データを加算するステップと、ｃ前記統合されたぼやけた画像を形成するために複数の合成的にフォーカスされる画像を加算するステップと、ｄ画素に対する予想されるぼやけカーネルを統合することにより点広がり関数を生成するステップと、e前記入力仮想カメラ位置信号により供給される仮想カメラ位置で前記仮想出力画像に対する画像データを作るため、前記点広がり関数の逆関数を用いて、統合されたぼやけた画像をデコンボルーションするステップとを有する、請求項２に記載の方法。
4. 加算及び逆フィルタリングのステップが、a前記アレイの各画像捕捉装置に対する仮想カメラ位置に関する画像シフトの投影経路を生成するステップであって、画像捕捉装置の画像を複数の深度で前記仮想カメラ位置と位置合わせするため、インパルス応答関数の並進の和である当該投影経路を生成するステップと、b畳み込まれた画像を形成するためにそれぞれの投影経路と前記個別の画像を畳み込むステップと、c前記統合されたぼやけた画像を形成するために畳み込まれた画像を加算するステップと、ｄ前記投影経路の統合により点広がり関数を生成するステップと、e前記入力された仮想カメラ位置信号により供給される仮想カメラ位置で前記仮想出力画像に対する画像データを作るため、前記点広がり関数の逆関数を用いて、統合されたぼやけた画像をデコンボルーションするステップとを有する、請求項１に記載の方法。
5. 加算及び逆フィルタリングステップが、a前記アレイの各画像捕捉装置に対して仮想カメラ位置に関する画像シフトの投影経路を生成するステップであって、画像捕捉装置の画像を複数の深度で前記仮想カメラ位置と位置合わせするため、インパルス応答関数の並進の和である当該投影経路を生成するステップと、b前記投影経路の統合により点広がり関数を生成するステップと、c各画像に対して、それぞれの投影経路を点広がり逆関数と畳み込むステップと、d畳み込まれた画像を供給する点広がり逆関数と経路との畳みこみで各画像を畳み込むステップと、e前記入力仮想カメラ位置信号により供給される前記仮想カメラ位置で前記仮想出力画像に対する画像データを作るため畳み込まれた画像を加算するステップとを有する、請求項１に記載の方法。
6. 加算及び逆フィルタリングのステップが、a前記仮想カメラ位置に関して決定される、前記アレイの各画像捕捉装置に対する画像シフトの投影経路を生成するステップであって、画像捕捉装置の画像を複数の深度で前記仮想カメラ位置と位置合わせするため、インパルス応答関数の並進の和である当該投影経路を生成するステップと、bそれぞれの投影経路と前記個別の画像を畳み込むステップと、c各画像捕捉装置の画像を前記投影経路と直交するハイパスフィルタと畳み込むステップと、d前記入力仮想カメラ位置信号により供給される前記仮想カメラ位置で前記仮想出力画像に対する画像データを作るため畳み込まれた画像を加算するステップとを有する、請求項１に記載の方法。
7. 加算及び逆フィルタリングのステップが、a前記仮想カメラ位置に関して決定される、前記アレイの各画像捕捉装置に対する画像シフトの投影経路を生成するステップであって、画像捕捉装置の画像を複数の深度で前記仮想カメラ位置と位置合わせするため、インパルス応答関数の並進の和である当該投影経路を生成するステップと、bそれぞれの投影経路を当該投影経路と直交するハイパスフィルタと畳み込むことにより、各画像に対する畳み込みフィルタを生成するステップと、c前記個別の入力画像をｂで生成されたそれぞれの畳みこみフィルタと畳み込むステップと、d前記入力仮想カメラ位置信号により供給される前記仮想カメラ位置で前記仮想出力画像に対する画像データを作るため畳み込まれた画像を加算するステップとを有する、請求項１に記載の方法。
8. 複数の仮想視点が画像捕捉装置のアレイにより捕捉された一組の画像から同時に生成される、請求項１乃至７の何れか一項に記載の方法。
9. 画像捕捉装置の前記アレイがディスプレイ画面の周辺のカメラのアレイであり、前記仮想カメラ位置が前記ディスプレイ画面のポイントである、請求項１乃至８の何れか一項に記載の方法。
10. 少なくとも一つの仮想カメラ位置が前記ディスプレイ画面上の目の位置を測定することにより決定される、請求項９に記載の方法。
11. 前記少なくとも一つの仮想カメラ位置が目検出位置手段により自動的且つ動的に決定される、請求項１０に記載の方法。
12. 左右の目の仮想カメラ位置のための２つの仮想カメラ位置が、２つの仮想カメラ位置での２つの仮想出力画像を提供するために供給される、請求項１乃至１１の何れか一項に記載の方法。
13. プログラムがコンピュータ上で動くとき、請求項１乃至１２の何れか一項に記載の方法を実施するためのプログラムコード手段を有する、コンピュータプログラム。
14. プログラムがコンピュータ上で動くとき、請求項１乃至１２の何れか一項に記載の方法を実施するためのコンピュータ可読媒体に格納されたプログラムコード手段を有するコンピュータプログラム。
15. 異なる視点からの画像を捕捉するための画像捕捉装置のアレイを有し、画像捕捉装置のアレイにより得られる入力画像から出力画像を構成するためのシステムであって、前記システムは、前記アレイの画像捕捉装置から画像データを捕捉するための手段を有し、前記システムは、シーンの複数の深度レイヤに基づいて個別の入力画像の対応する画素値の加算及び逆フィルタリングを実施するための手段を有する前記システムにおいて、前記システムは、仮想カメラ位置を表わす入力仮想カメラ位置信号により、選択される仮想カメラ位置を供給するための手段を有し、前記加算及び逆フィルタリングを実施するための手段が、選択された前記仮想カメラ位置の関数として、前記入力仮想カメラ位置信号により供給される前記仮想カメラ位置での仮想出力画像のための画像データを作るために実施することを特徴とする、システム。
16. 前記加算及び逆フィルタリングのための手段は、前記個別の画像の前記入力画像データから、複数の深度で合成的にフォーカスされる複数の画像のための画像データを構成する手段と、統合されたぼやけた画像に対する画像データを形成するために様々な深度で前記合成的にフォーカスされる複数の画像の画像データを加算する手段と、前記個別の画像の入力画像データから、仮想画像に対する画像データを作るため点広がり逆関数を使用して、前記統合されたぼやけた画像をデコンボルーションするための手段とを有する、請求項１５に記載のシステム。
17. ａ複数の深度に対して、前記仮想カメラ位置に前記個別の入力画像を位置合わせするために、特定の深度に依存して、且つ特定の画像捕捉装置の位置と前記仮想カメラ位置との間の距離に比例して、前記画像捕捉装置により供給される前記個別の入力画像をシフトさせるための手段と、b前記複数の深度で合成的にフォーカスされる画像の画像データを形成するために、各深度でシフトされた画像に対する画像データを加算するための手段と、ｃ前記統合されたぼやけた画像を形成するために複数の合成的にフォーカスされる画像を加算するための手段と、ｄ画素に対する予想されるぼやけカーネルを統合することにより点広がり関数を生成するための手段と、e前記入力仮想カメラ位置信号により供給される仮想カメラ位置で前記仮想出力画像に対する画像データを作るため、前記点広がり関数の逆関数を用いて、統合されたぼやけた画像をデコンボルーションするための手段とを有する、請求項１６に記載のシステム。
18. 前記加算及び逆フィルタリングを実施するための手段が、a前記アレイの各画像捕捉装置に対する仮想カメラ位置に関する画像シフトの投影経路を生成するための手段であって、画像捕捉装置の画像を複数の深度で前記仮想カメラ位置と位置合わせするため、インパルス応答関数の並進の和である当該投影経路を生成するための手段と、b畳み込まれた画像を形成するためにそれぞれの投影経路と前記個別の画像を畳み込むための手段と、c統合されたぼやけた画像を形成するために畳み込まれた画像を加算するための手段と、ｄ前記投影経路の統合により点広がり関数を生成するための手段と、e前記入力仮想カメラ位置信号により供給される仮想カメラ位置で前記仮想出力画像に対する画像データを作るため、前記点広がり関数の逆関数を用いて、統合されたぼやけた画像をデコンボルーションするための手段とを有する、請求項１５に記載のシステム。
19. 前記加算及び逆フィルタリングを実施するための手段が、a前記アレイの各画像捕捉装置に対する仮想カメラ位置に関する画像シフトの投影経路を生成するための手段であって、画像捕捉装置の画像を複数の深度で前記仮想カメラ位置と位置合わせするため、インパルス応答関数の並進の和である当該投影経路を生成するための手段と、b前記投影経路の統合により点広がり関数を生成するための手段と、c各画像に対して、それぞれの投影経路を点広がり逆関数と畳み込むための手段と、d畳み込まれた画像を供給する点広がり逆関数と経路との畳みこみで各画像を畳み込むための手段と、e前記入力仮想カメラ位置信号により供給される前記仮想カメラ位置で前記仮想出力画像に対する画像データを作るため畳み込まれた画像を加算するための手段とを有する、請求項１５に記載のシステム。
20. 前記加算及び逆フィルタリングを実施するための手段が、a前記仮想カメラ位置に関して決定される、前記アレイの各画像捕捉装置に対する画像シフトの投影経路を生成するための手段であって、画像捕捉装置の画像を複数の深度で前記仮想カメラ位置と位置合わせするため、インパルス応答関数の並進の和である当該投影経路を生成するための手段と、bそれぞれの投影経路と前記個別の画像を畳み込むための手段と、c各画像捕捉装置の画像を前記投影経路と直交するハイパスフィルタと畳み込むための手段と、d前記入力仮想カメラ位置信号により供給される前記仮想カメラ位置で前記仮想出力画像に対する画像データを作るため畳み込まれた画像を加算するための手段とを有する、請求項１５に記載のシステム。
21. 前記加算及び逆フィルタリングを実施するための手段が、a前記仮想カメラ位置に関して決定される、前記アレイの各画像捕捉装置に対する画像シフトの投影経路を生成するための手段であって、画像捕捉装置の画像を複数の深度で前記仮想カメラ位置と位置合わせするため、インパルス応答関数の並進の和である当該投影経路を生成するための手段と、bそれぞれの投影経路を当該投影経路と直交するハイパスフィルタと畳み込むことにより、各画像に対する畳み込みフィルタを生成するための手段と、c前記個別の入力画像をｂで生成されたそれぞれの畳みこみフィルタと畳み込むための手段と、d前記入力仮想カメラ位置信号により供給される前記仮想カメラ位置で前記仮想出力画像に対する画像データを作るため畳み込まれた画像を加算するための手段とを有する、請求項１５に記載のシステム。
22. 画像捕捉装置の前記アレイがディスプレイ画面の周辺のカメラのアレイであり、前記仮想カメラ位置がディスプレイ画面のポイントである、請求項１５乃至２１の何れか一項に記載のシステム。
23. 前記システムは、各サブシステムがディスプレイ画面の周辺のカメラのアレイを有する２つのインタラクティブな当該サブシステムを有し、前記サブシステムの１つのサブシステムのディスプレイ画面の仮想カメラ位置が、他方のサブシステムの観察者の目の位置を測定することにより前記他方のサブシステムにより決定される、請求項２２に記載のシステム。
24. 前記システムは、レンズと画像センサと、前記レンズと前記画像センサとの間にあるマイクロレンズアレイとを持つプレンオプティックカメラを有し、前記プレンオプティックカメラは画像捕捉装置の前記アレイを有する、請求項１５乃至２１の何れか一項に記載のシステム。
25. 前記アレイが２つ以上のサブアレに副分割される、請求項１５乃至２４の何れか一項に記載のシステム。
26. 異なる仮想カメラ位置を前記サブアレイ各々に割り当てる、請求項２５に記載のシステム。

Images