JP2009518877A - ３次元ライトフィールドを取得し、表示するための方法およびシステム - Google Patents

Abstract

【課題】この発明方法およびシステムはライトフィールドを取得して表示する。
【解決手段】連続したライトフィールドが、カメラによって取得された３次元シーンの入力ライトフィールドの入力サンプルから、取得パラメータ化により、再構成される。連続したライトフィールドは、表示パラメータ化により再パラメータ化され、その後、表示パラメータ化を有する出力サンプルを生成するために、プレフィルタリングされ、そしてサンプリングされる。出力サンプルは、３次元表示装置を使用して、出力ライトフィールドとして表示される。
【選択図】図１Ａ

Description

この発明は、一般に、ライトフィールドを取得し、表示することに関し、特に、カメラのアレイでライトフィールドを取得し、およびオートマルティスコーピック（自動多視点）表示装置に表示するために、このライトフィールドを再サンプリングすることに関する。

現実世界の３次元シーンのイメージ（画像）を取得して、現実的な３次元画像としてそれらを表示することが望まれている。自動多視点ディスプレイは、束縛されない視聴、すなわちビューイングゾーン（見る領域）の任意の位置からの高解像度立体画像の眼鏡無しでの視聴を提供する。自動多視点ディスプレイは視野角に基づく、異なる強度および色のビュー（視点）依存ピクセルを含む。従来の高解像度ディスプレイとパララックスバリアとを使用することにより、視点依存ピクセルを実施することができる。

典型的な自動多視点ディスプレイでは、画像はパララックスバリアを通して、レンズ状シート或いは一体形レンズシートに映し出される。マルチビューオートステレオスコーピィ（多視点自動立体鏡）の光学原理は１世紀以上に亘って知られている（Ｏｋｏｓｈｉ、３元イメージング（撮像）技術、アカデミックプレス社、１９７６）。近年、高解像度の実用的なディスプレイが利用可能になってきている。その結果、３次元テレビが再び注目されている。

ところで、自動多視点ディスプレイには、幾つかの問題がある。第一に、動いている視聴者は不穏な視覚的アーティファクトを見る。第二に、アーティファクトの無い３次元画像の取得は難しい。
放送および映画産業における写真家、ビデオ撮影家、および専門家は３次元画像を記録するのに必要とされる複雑なセットアップ（構成装備）になじみがない。現在、従来の２次元テレビに対して有るような、マルチカメラパラメータ、配置、および制作後の処理に対するガイドライン（指針）もスタンダード（標準）も無い。

特に、ほとんどの実用的な場合には、イメージセンサ（撮像素子）、例えばカメラ、におけるピクセル（画素）は、１対１の方法で、表示装置におけるピクセルに直接マップ（写像）されない。これは映像データの再サンプリングを必要とする。再サンプリングは、視覚的アーティファクトが最小にされるような方法で、行われる必要がある。自動多視点ディスプレイに対してライトフィールドを有効に再サンプリングするための従来技術は全く無い。

３次元ディスプレイ用のほとんどの従来のアンチエイリアシングは、波動光学を使用する。全ての知られている方法は、オクルージョンおよび鏡面を正しく扱わない。その上、それらの方法は、適切なフィルタリングのためにピクセル毎のシーン深度（奥行き）を必要とする。深度情報がないとき、それらの方法は、保守的な最悪条件手法およびシーンにおける最大深度に基づくフィルタに頼る。実際には、これは、それらの方法の実施を非常に浅い深度を有するシーンに制限する。

一般に、自動多視点ディスプレイは、静的な或いは経時的に変動するライトフィールドを発する。ライトフィールドはオクルーダ（遮蔽物）の無い空間の領域における位置および方向の関数としてのラジアンス（放射輝度）を表している。ライトフィールドの周波数分析はプレノプティックサンプリング理論を使用して行われる。そこでは、シーンのスペクトルが物体深度の関数として分析される。これは、ほとんどのライトフィールドがエイリアス化される（輪郭がギザギザになる）ことを明らかにする。エイリアシングを取り除いて、元のスペクトルを可能な限り保存するために、再構成フィルタを適用できる。

自動多視点ディスプレイの上にライトフィールドを表示するのに再パラメータ化を使用できる。ところが、再パラメータ化はディスプレイのエイリアシングに対処しない。
再構成フィルタを広い開口フィルタにより改善することができる。これにより、焦点面上でシャープネス（鮮明度）を犠牲にすることなく、より大きな被写界深度で３次元画像を生成することができる。

従来の方法のいずれも、自動多視点ディスプレイに対するサンプリングおよびアンチエイリアシングに対処していない。従来の方法は、ディスプレイのサンプリングレートを考慮に入れておらず、再構成の間、サンプリングされたライトフィールドからエイリアシングを取り除くという問題を考慮しているだけである。

この発明は、テレビおよびデジタルエンターテインメントに対して使用できる３次元ディスプレイ（表示）システムを提供する。そのような表示システムは、高品質のライトフィールドデータを必要とする。カメラアレイを使用してライトフィールドが取得され、離散的自動多視点ディスプレイ上にそのライトフィールドがレンダリングされる。しかし、ほとんどいつも、取得装置とディスプレイ装置とは、異なるサンプリングパターンを有する。

したがって、この発明はライトフィールドデータを再サンプリングする。ところで、再サンプリングは、エイリアシングアーティファクトの傾向がある。ライトフィールドデータの表示で最も不穏なアーティファクトは、インターパースペクティブ（相互透視）なエイリアシングによって引き起こされる。

この発明は、そのようなエイリアシングを最小にする、ライトフィールドの再サンプリング方法を提供する。本方法は、自動多視点ディスプレイ（表示）装置上へのライトフィールドの高品質な表示を保証する。本方法は、ライトフィールド再構成フィルタと、ディスプレイ（表示）装置のサンプリンググリッド（格子）によって決定されるディスプレイ（表示）プレフィルタとを結合する。

従来の方法と比べて、この発明の再サンプリング方法は、深度情報を必要としない。この発明方法は、高品質のレンダリングを生成するために、効率的に複数のフィルタリングステージを結合する。この発明方法は、レンズのディスプレイ画面またはパララックス‐バリアディスプレイ画面上にライトフィールドを表示するために使用できる。

［システム概要］
図１は、この発明の実施の形態１によるライトフィールド取得システム１００を示している。複数のカメラ１１５は、シーン１１０の一連のイメージ１０１、例えば、ビデオ（映像）、を取得する。それらのカメラは、水平な線形アレイとして配置され得る。好ましくは、カメラは互いに同期を取られている。入力画像系列は、この発明の方法１０５により処理される。その処理は、一連の出力画像１０２を生成するために、再構成、再サンプリング、プリ（前置）フィルタリング、およびサンプリングの各工程を含む。そして、出力画像が、複数のプロジェクタ１２５により自動多視点表示装置１２０に表示される。また、それらのプロジェクタは、互いに同期され、且つ水平な線形アレイとして配置されうる。表示装置１２０は、プロジェクタとビューイングゾーン（視聴域）１３０とに対面する側で、上下方向に指向されたレンズ状スクリーン１２２の上に設けられたパララックスバリア１２１を含む。

取得された入力画像１０１における離散的な入力サンプルには低い空間分解能と高い角度分解能があり、また、表示された出力画像１０２における離散的な出力サンプルには、高い空間分解能と低い角度分解能があるので、アーティファクトの無い表示を生成するために、再サンプリングが必要である。

［方法の概要］
図１Ｂに示されているように、本方法１０５は３つの工程で進む。一般に、我々は信号およびフィルタを周波数ドメイン（領域）で表す。まず最初に、連続信号１５２が入力画像１０１から再構成１５０される。我々は公知の再構成フィルタを適用する。次に、我々は、信号を表示座標へ再パラメータ化１６０して、再パラメータ化されたライトフィールド１６１を生成する。その後、最後の工程１７０では、信号は、ディスプレイ（表示）ピクセル格子のナイキスト限界に適合させるために、プレ（前置）フィルタにかけられて、出力画像として表示ピクセル格子に抽出される。

［表示パラメータ化］
図２は、マルチビューオートマルティスコーピック（多視点自動立体）表示装置１２０に対するパラメータ化を示している。このパラメータ化は、あらゆる配置場所と方向に対してビューイングゾーン１３０でライトアレイ（光配列）を再生させることを試みる。
我々は２つの平面の交差部で光線をパラメータ化する。表示装置１２０に対して、我々は、パララックスバリア面１２１をｔ座標として、および高解像スクリーン１２２をｖ座標として使用する。なお、光線のｖ座標はｔ平面との交差部に対すものである。スクリーン１２２のピクセル間隔はΔｖ、バリア１２１の空隙の間隔はΔｔ、スクリーンとバリアの間の間隔はｆであり、また、深度は、一般的に、ｚで示される。

１箇所でｔ−平面と交差する全ての光線は１つのマルチビューピクセルに対応し、また、ｖ−平面との各交差部は視点依存サブピクセルである。我々は、マルチビューピクセルの個数を空間分解能と呼び、１マルチビューピクセル当たりの視点依存サブピクセルの個数を角度分解能と呼ぶ。

図３に示されているように、表示光線は光線空間で、より高次元の格子を形成する。ほとんどの先行する物理的な表示は、図３に示されているように、４辺形のサンプリング格子に対応しない。図２の各光線は、図３の１つのサンプル点３０１に対応している。ほとんどの自動多視点表示は、ホリゾンタルパララックス（地平視差）のみを与える、すなわちディスプレイはｖ−平面上の水平方向にのみサンプルを行う。したがって、我々はｔ−平面上の各走査線を独立して処理でき、それは２次元光線空間に通じる。

我々は、ｖ＝ｃｏｎｓｔで１片の光線空間を表すのに、「ディスプレイビュー」という用語を使用する。なお、ディスプレイビューはシーンの平行射影である。一般性を損なわなければ、私たちは、平面ｖおよびｔの間の距離ｆが１に正規化されると仮定する。３次元ディスプレイのこのような光線空間の解釈は、我々がそれらのバンド幅、被写界深度、およびプリフィルタリングを理解することを可能にする。

［バンド幅］
図４に示されているように、図３のサンプリング格子はディスプレイで表すことができるバンド幅に厳しい限界値を課す。これはナイキスト限界として知られている。私たちは、角度的および空間的な周波数をφおよびθで表し、サンプル間隔をΔｖおよびΔｔで表す。
そして、表示バンド幅Ｈは次式（１）で与えられる。

［被写界深度］
ディスプレイの被写界深度は、φおよびθ軸の任意の相対的なスケーリングを有する、四角形状のバンド幅の対角線により与えられる。我々は、通常、空間的方向（θ軸）において、角度的方向（φ軸）におけるよりも２桁大きな、それら２軸の相対的な分解能を反映するスケーリング（尺度）を選択した。

一定深度のシーンのライトフィールドのスペクトルすなわちレイスペース（光線空間）信号のスペクトルは線φ／ｚ＋θ＝０で与えられる。ここで、ｚは、図２に示されるように、ｔ−平面からの距離である。深度｜ｚ｜≦Δｔ／Δｖのシーンに対して、スペクトル線は四角形状の表示バンド幅と左右の垂直な境界で交差する。これは、これらのシーンが表示の最も高い空間分解能θ＝π／Δｔで示され得ることを意味する。しかし、｜ｚ｜＞Δｔ／Δｖのシーンに対しては、スペクトルは表示バンド幅と水平境界で交差する。その結果、それらの空間周波数はθ＝π／Δｖに減少する。これは表示の空間分解能よりも低いので、これらのシーンはぼやけて見えるであろう。

この振る舞いは、写真被写界深度の影響およびライトフィールド写真術における正確な再焦点合わせ領域と同様である。領域｜ｚ｜≦Δｔ／Δｖは、３次元ディスプレイにより最大の空間分解能で再生されることができる領域である。我々は、これをディスプレイの被写界深度と呼ぶ。ライトフィールド写真術と同様に、被写界深度は、１／Δｖすなわち角度寸法におけるナイキスト限界値に比例する。

利用可能な表示は非常に小さな角度バンド幅を有するので、表示は浅い被写界深度を示す。例えば、Δｖ＝０．０６２５ｍｍおよびΔｔ＝２ｍｍであれば、被写界深度は±３２ｍｍだけである。これは、表示面から３２ｍｍより大きな距離に在るように見える如何なるシーン要素もぼやけることを意味する。視点依存サブピクセルに対してピッチが０．２５ｍｍであり、高解像スクリーンとパララックスバリアとの間の距離が４ｍｍであれば、これは８つのビュー（視点）と約２５度の視野に対応する。これは非常に小さい範囲のように思われるが、ビューイング（視聴）ゾーンにおいて数メータまでの視聴距離に対して奥行（深度）知覚の説得力がある幻想を引き起こすのには十分である。

与えられたディスプレイに対してシーンを特徴付けるために、ディスプレイの被写界深度に対してシーン深度を特定することが有用である。興味深いことには、被写界深度に対するシーン深度の比率（ｄ（ｚ）＝ｚΔｖ／Δｔ）はディスプレイ上のビューの間のディスパリティ（視差）に対応する。この定義によれば、最大視差ｄ＜１を有するシーンはディスプレイの被写界深度内に在る。所与の視差ｄ＞１は、空間帯域幅が１／ｄの比率だけ減少されることを意味する。

［プレ（前置）フィルタリング］
連続信号をサンプリングするとき、エイリアシングを避けるために、信号をバンド制限する必要がある。式（１）から、これが、３次元ディスプレイに対して、四角形状の表示バンド幅の外側の入力の全ての部分を捨てる表示プレフィルタＨのスペクトルに入力スペクトルを掛けるという簡単な事柄であることが分かる（図４の右を参照）。なお、このプレフィルタは、表示格子によるエイリアシングだけを扱い、ライトフィールド取得の間に起こり得るエイリアシングを考慮しないことに注意すべきである。

３次元ディスプレイの従来のバンド幅分析は、この発明の実施の形態による信号処理とは対照的に、ほとんど波動光学または幾何学的基準に基づいている。波動光学は、回折効果を研究するためには役に立つが、回折限界から遠く離れて作動する離散的な３次元ディスプレイを分析するのには有効でない。

我々の手法と対照的に、従来の技術は、シーン深度に関する明白な知識を必要とする表示バンド幅のモデルを導き出す。それらの従来技術は、２次元入力画像の深度に依存するフィルタリングを提唱する。各２次元ビューを個別に帯域制限することは、フィルタリングが空間的に変動することを要求されるので、難しい。１つの解は、そのシーンにおける最大深度に相当する線形フィルタを各ビューに適用することである。ところで、それは、利用可能な表示バンド幅の大部分を浪費し、酷くぼやけた結果に通じる。対照的に、我々の方法では、プレフィルタリングは、光線空間での直線的な操作である。

我々のプリフィルタリングを行わなければ、エイリアシングはゴーストアーティファクトとして現れる。我々の再サンプリングは、ゼロディスパリティ（ゼロ視差）平面の周りの、すなわちディスプレイの光線空間パラメータ化におけるｔ−平面の周りの、空間周波数を保存する。

［３次元ディスプレイのための再サンプリング］
以上で、自動多視点ディスプレイのバンド幅を分析し、エイリアシングを避けるために連続入力信号をどのようにプレフィルタリングする必要があるかについて分析した。しかし、実際には、ライトフィールドはサンプル信号として表わされ、通常、それらサンプル信号は、カメラアレイを使用して取得される。サンプリングされたライトフィールドを自動多視点ディスプレイ上に示すために、入力ライトフィールドのサンプル１０１が、そのディスプレイのサンプル１０２すなわちピクセルにマップされる必要がある。

残念ながら、カメラアレイや自動多視点ディスプレイなどの典型的なライトフィールド取得装置のサンプリングパターンは、光線と１対１対応にならない。したがって、自動多視点ディスプレイ上にライトフィールドを示すことは、再サンプリング操作を含む。

さて、ライトフィールド取得およびライトフィールド表示中に関わる両サンプリング工程、すなわち、シーン取得中に起こるサンプリング、およびカメラのサンプルを表示ピクセルにマッピングするときに行われるサンプリング、によるエイリアシングアーティファクトを避ける再サンプリングフレームワークついて説明する。

我々の技術は、Ｈｅｃｋｂｅｒｔにより記述され、本明細書中に引用により援用される再サンプリング方法論（Ｆｕｎｄａｍｅｎｔａｌｓ ｏｆ Ｔｅｘｔｕｒｅ Ｍａｐｐｉｎｇ ａｎｄ Ｉｍａｇｅ Ｗａｒｐｉｎｇ， Ｕｃｂ／ｃｓｄ ８９／５１６， Ｕ．Ｃ． Ｂｅｒｋｅｌｅｙ， １９８９）に基づいている。ところで、その再サンプリングは、コンピュータグラフィックにおけるテクスチャマッピングのためのものである。対照的に、我々は、現実世界のライトフィールドを再サンプリングする。

我々は、どのようにして入力ライトフィールドを再パラメータ化して、それをディスプレイと同じ座標系で表わすかについて説明する。これは、以下に述べるように、我々が再構成とプリフィルタリングとを結合する再サンプリングフィルタを導き出すのを可能にする。

［再パラメータ化］
我々の結合された再サンプリングフィルタを導き出す前に、我々は、入力ライトフィールドおよび３次元ディスプレイに対する共通のパラメータ化を確立する必要がある。我々は、以後の説明を、ライトフィールドパラメータ化がディスプレイに平行である最も一般的な場合に制限する。

カメラおよび焦点面の入力座標は、ｔ_ｉｎおよびｖ_ｉｎによってそれぞれ指定され、ｔ_ｉｎ軸からの距離または深度はｚ_ｉｎにより指定され、サンプリング間距離はΔｔ_ｉｎおよびΔｖ_ｉｎにより指定される。また、ｔ_ｉｎ軸はカメラベースラインとも呼ばれる。同様に、我々は、ディスプレイ座標ｔ_ｄ、ｖ_ｄ、ｚ_ｄ、Δｔ_ｄ、およびΔｖ_ｄを使用する。一般性を損なわなければ、我々は、ディスプレイ入力および入力ライトフィールドの両方に対するｔ−平面およびｖ−平面間の距離が１に正規化されるものと仮定する。

入力およびディスプレイ座標の関係は単一のパラメータｆ_ｉｎにより与えられ、それはカメラ平面ｔ_ｉｎとディスプレイのゼロ視差平面ｔ_ｄとの間の距離である。この変換は光線空間におけるシャー（ずれ）に対応している。

Ｍはこの式の中央部における２×２マトリクスである。
自動多視点ディスプレイは、通常、高い空間分解能、例えば１走査線当たり数百のマルチビュー（多視点）ピクセル、および低い角度分解能、例えば、約１０の視点依存サブピクセルを有する。対照的に、取得されたライトフィールドは、低い空間分解能、例えば数十のカメラ、および高い角度分解能、例えば１走査線当たり数百のピクセルを有する。

図５に示されているように、これは、非常に異方性であり、且つお互いに対してねじれた２つのサンプリング格子に通じる。図５では、サンプル５０１はディスプレイ走査線サンプルを表し、またサンプル５０２はカメラ走査線サンプルを表す。

［結合された再サンプリングフィルタ］
図６は、再サンプリング方法をさらに詳細に示す。左側が入力パラメータ化であり、右側が出力パラメータ化であり、下側が取得空間から表示空間までの再パラメータ化である。図６は、象徴的に入力スペクトル６１１、レプリカ６１２、およびフィルタ６１３を示している。

図６に示されるように、３次元ディスプレイアンチエイリアシングのための再サンプリング方法は、周波数ドメイン（領域）における信号およびフィルタを表す３つの工程で進む。まず最初に、連続信号が、角度および空間周波数φ_ｉｎおよびθ_ｉｎで表される、最初の入力パラメータ化６０１で与えられた入力データ１０１から再構成１５０される。

この工程におけるエイリアシングの問題を避け、入力信号の最適な利用を図るために注意しなければならない。我々はライトフィールドレンダリングのために公知の再構成フィルタを適用する。（Ｓｔｅｗａｒｔ ｅｔ ａｌ、”Ａ ｎｅｗ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｆｉｌｔｅｒ ｆｏｒ ｕｎｄｅｒｓａｍｐｌｅｄ ｌｉｇｈｔ ｆｉｅｌｄｓ”、 Ｅｕｒｏｇｒａｐｈｉｃｓ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｒｅｎｄｅｒｉｎｇ，ＡＣＭ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ Ｐｒｏｃｅｅｄｉｎｇ Ｓｅｒｉｅｓ，ｐｐ．１５０−１５６，２００３、およびＣｈａｉ ｅｔ ａｌ、”Ｐｌｅｎｏｐｔｉｃ ｓａｍｐｌｉｎｇ”、Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ，ＳＩＧＧＲＡＰＨ ２０００ Ｐｒｏｃｅｅｄｉｎｇｓ、ｐｐ．３０７−３１８を参照。両者を本明細書中に引用により援用する。）

これらの技術は、隣接するレプリカと重なり合う領域を捨てつつ、サンプリングされたスペクトルから中央のレプリカの最大領域を抽出する。

次に、我々は、上述のマッピングを使用して、再構成された信号を、φ_ｄおよびθ_ｄによって表されたディスプレイ座標６２１へ再パラメータ化１６０する。

そして、最後の工程１７０では、信号は、上述のように、表示ピクセル格子のナイキスト限界に適合させるために、プレフィルタされて、表示ピクセル格子にサンプルされる。プリフィルタリングは、ディスプレイ座標におけるサンプル信号のレプリカが重なり合わないことを保証する。これのより、ぼやけ（ブレ）効果が避けられる。

我々は、いま、上述した３つの工程を結合することによって、統合された再サンプリングフィルタを導き出す。我々は、実用化に対してより役に立つ空間領域で作業する。我々は以下の通り作業を進める。

１．入力ライトフィールド１０１のサンプルξ_ｉ，ｊを考えると、我々は連続したライトフィールドｌ_ｉｎ１５２を再構成１５０する。

ここで、ｒはライトフィールド再構成カーネルを表す。
２．式（２）を使用して、我々は、次式（４）により、再構成されたライトフィールド１５２をディスプレイ座標１６１へ再パラメータ化１６０する。

３．ディスプレイ座標で表わされた、再構成されたライトフィールドを、ディスプレイプレフィルタｈで畳み込んで、次式（５）のバンド（帯域）限定された信号（以下、バンド限定信号と呼ぶ）を生成する。

この信号をディスプレイグリッド（表示格子）上にサンプリングする場合、如何なるエイリアシングアーティファクトも発生しない。

上記の３つの工程を結合することによって、次式（６）のように、バンド限定信号を入力サンプルの加重和として表す。

重み付けカーネルρは、所謂、再サンプリングフィルタである。それは、ディスプレイ座標で表された再構成カーネルのコンボルーション（畳み込み）として定義され、そのプレフィルタは次式（７）により表される。

我々は、従来のガウス関数を使用して、全てのライトフィールド再サンプリングフィルタを実施した。

再構成フィルタとプレフィルタの両方が高異方性であるので、できるだけ信号帯域幅を保持するために、慎重にフィルタを調整する。なお、式（２）は［φ_ｉｎ、θ_ｉｎ］＝［φｓ、θ_ｄ］Ｍ^−１を含意することに注意すべきである。したがって、入力スペクトルは垂直軸に沿って剪断される。

また、我々は、線θ_ｉｎｆ_ｉｎ＋φ_ｉｎ＝０（深度ｚ_ｉｎ＝ｆ_ｉｎに相当する）がディスプレイのゼロ視差平面にマップされることに注目する。したがって、入力座標で表されるディスプレイの被写界深度は、カメラからの距離ｆ_ｉｎ＝Δｔ／Δｖにある。これは、カメラ平面とディスプレイ平面との間の距離ｆ_ｉｎが、対象となる物体に対して、ｚ_ｉｎ−ｆ_ｉｎ＝ｚｄ＜Δｔ／Δｖとなるように選択されることを意味する。

［ベースラインおよび被写界深度］
上述したような、入力ライトフィールドと出力ライトフィールドとの関係は、ディスプレイが均等にスケーリングされたシーンに対するバーチャル（仮想）ウィンドウとして働くことを含意する。ディスプレイは、異なった、通常はより小さな、スケール（縮尺）でシーンのライトフィールドを再生させる。しかし、これを実現するのは、しばしば、望ましくないし、実際に可能でもない。

シーンの深度領域が比較的浅いディスプレイの被写界深度を遙かに超えていることは、珍しくない。このことは、シーンの大部分がディスプレイバンド幅の外側であることを意味し、それは酷くぼけたビューにつながる恐れがある。さらに、野外のセット等のように、対象物体がカメラから遠く離れているシーンに対して、上記仮定は、非常に大きなカメラベースラインが必要とされることを意味する。また、それは、ディスプレイの観察者によって見られる一対の立体ビューが、現実のシーンにおける観察者の２つの目より遙かに離れている、物理的に遠く離れているカメラに相当することを意味するであろう。

これらの問題は、カメラベースラインの寸法を変えることによって、解決できる。これは、シーンの表示された深度を減少させる入力ライトフィールドの追加の１次変換として表すことができる。この追加の自由度により、我々が、焦点の合うことを必要とする入力シーンにおける望ましい深度範囲を特定することが可能になる。我々は、この深度範囲をディスプレイ被写界深度にマッピングする、所要のベースラインスケーリングを推論する。

［ベースラインのスケーリング］
図７に示されるように、取得の間にカメラベースラインｔ_ｉｎ７０１を変更することは、表示された構成を変換することに対応する。図７では、実線は取得ジオメトリを示しており、また点線はディスプレイしジオメトリを示している。

観察者７１０は、与えられた位置で、ベースラインの中心により近いカメラによって取得される透視図を見る。すなわち、我々は、ベースライン平面ｔ_ｉｎとの交差部が倍率ｓ＞１によりスケーリング（拡大）され、ディスプレイのゼロ視差平面との交差部（すなわちｔ_ｄ−平面）が保存されるように、各取得されたカメラ光線を再マッピングする。

このマッピングは入力光線空間の線形（１次）変換に対応しており、また、光線空間の如何なる線形（１次）変換もシーンジオメトリの射影変換に対応する。図７に示された変換のために、射影変換は次式（８）のようになる。

すなわち、シーンにおける点（ｘ、ｚ）は点（ｘ’／ｗ’、ｚ’／ｗ’）にマッピングされる。また、図７にシーンジオメトリの射影変換を示す。このシーン変換は、ステレオビュー融合を支援するのに使用される立体ディスプレイで使用される深度削減法と密接に関連する。この変換は無限のポイント、すなわちｚ＝∞、を有限の深さｚ’／ｗ’＝（ｆ_ｉｎｓ／（ｓ−１＋ｆ_ｉｎ）へ移動する。

さらに、ｓが無限へ近づくとき、ｚ’／ｗ’はｆ_ｉｎに近づく。これは、シーン深度がディスプレイのゼロ視差平面に向かって圧縮されることを意味する。我々は、図７に示されるマッピングを含めることにより、ディスプレイ座標から入力座標への変換を一般化する。この変換は次式（９）のようになる。

我々は、このマッピングが自由なパラメータｆ_ｉｎおよびｓによって決定されることを強調するために、それをＭ（ｆ_ｉｎ、ｓ）と呼ぶ。

［シーン被写界深度の制御］
実際的な適用では、ユーザは、シーンにおける所与の深度範囲がディスプレイの被写界深度にマッピングされて、シャープ（鮮明）に見えることが保証されることを望んでいる。限定された深度範囲内のシーン要素のバンド幅が２つのスペクトル線で制限されていることを想起すべきである。さらに、ディスプレイの被写界深度は、四角形状のバンド幅の対角線により与えられる。式（９）の２つのフリー（自由）パラメータ、ベースラインをスケーリング（拡大、縮小）するためのｓ、およびシーンに対してディスプレイのゼロ視差平面を位置決めするためのｆ_ｉｎを使用して、我々はこれらの２組の線を配列して、期待される効果を発揮するマッピングを決定する。

我々は、２つの対応するペア（対）のスペクトル線を等しくすることにより、マッピングを決定する。すなわち、第１のペアはディスプレイ座標にマッピングされた、ユーザにより特定された深度範囲を限定し、また第２のペアはディスプレイの被写界深度を定義する。我々は、ユーザがディスプレイ上に焦点を結ぶように望む、最小および最大のシーン深度ｚ_ｍｉｎおよびｚ_ｍａｘをｚ_{ｆｒｏｎｔ}およびｚ_ｂａｃｋで表す。パラメータｓおよびｆ_ｉｎに対する解は、それぞれ次式（１０）、（１１）で表される。

［取得の最適化］
３次元ディスプレイ上に示されるライトフィールドのスペクトルとエイリアシングは、カメラの数、それらの間隔、それらの開口、シーン深度範囲、およびディスプレイ解像度等の多くの取得パラメータおよびディスプレイパラメータに依存する。３次元映写技師の決定は、芸術的な選択、物理的制約、および取得バンド幅とディスプレイバンド幅との最適利用の願望、の組合せによって行われる。したがって、我々は、これらの要素がどのように相互作用して、３次元ディスプレイに対する最終的なスペクトルおよびエイリアシングにどのように影響を及ぼすかを分析する。

まず最初に、我々は、カメラ開口の、取得されたバンド幅に対する影響について説明する。次に、我々は、全ての取得パラメータとディスプレイパラメータの結果について説明し、取得の間、パラメータの選択を最適化するのに、どうようにこの分析を使用できるかを示す。

［有限開口カメラ］
上述したチャイ外は、理想化されたピンホールカメラで取得されたライトフィールドのスペクトルについて述べた。ここで、我々は、現実のカメラの有限開口がピンホールライトフィールドのスペクトルにバンド（帯域）制限効果を持つことを示す。我々の導出は、図２、３、５および７に示したものと若干異なるパラメータ化に基づいている。

図８Ａに示すように、我々は、カメラの共通の焦点面としてｔ−平面を選択し、またｔ_ｉｎを距離ｄだけ離れたレンズ８０１の平面として、ｖ−平面をカメラセンサを含む平面として、それぞれ選択する。平面ｖ_ｉｎおよびｔ_ｉｎは、上述したように、距離１だけ離れている。

我々は、大きさａの開口がカメラセンサから距離ｆだけ離れてレンズ上に存在すると仮定する。これは正確には現実のレンズに対する場合ではないが、誤差は我々の目的に対しては無視しうるものである。薄肉のレンズモデルによると、センサ平面で取得された如何なる光線ｌ（ｖ、ｔ）も、次式（１２）に示すように、レンズを透過する全ての光線ｌバー（ｖ、ｔ）の重み付け積分に対応する。

ここで、積分範囲は、図８Ａに示されるように、開口に対応し、また、αはセンサ平面の法線と光線との間の角度である。我々は、４次元ライトフィールドの代わりに２次元ライトフィールドで、且つ２次元レンズおよびセンサの代わりに１次元レンズおよびセンサで作業しているが、我々の導出はより高い次元の場合にも等しく適用される。

そして、我々がｖ−平面に平行な平面でレンズを「摺動させる」と仮定すると、これを畳み込み（１３）として表すことができる。

ここでｂ（ｖ、ｔ）は開口フィルタである。我々は、ｃｏｓ^４の項を無視して、ｂを次式（１４）のように定義する。

フーリエドメイン（領域）では、式（１３）における畳み込みはシーンライトフィールドとカメラ開口フィルタのスペクトルの積である。我々は、図８Ｂに示されるように、θに沿って変換（移動）されたφにおける正弦基数関数（ｓｉｎｃ）であるカメラ開口フィルタのスペクトルを、θに沿って変換（移動）されたφにおける幅２πｄ／（ａ（ｆ＋ｄ））のボックス８０２により近似する。

上記の再サンプリングに対して使用されたと同様の変換を使用して、我々はいま座標を入力ライトフィールドのパラメータ化に戻し、その結果、図８Ｃに示されたバンド幅８０３をもたらす。距離ｄにフォーカスされた有限開口ａを有するレンズを通して観察された連続したライトフィールドは、幅２π／ａおよび傾き−ｄの剪断されたスラブ（平板）にバンド限定される。

［バンド幅利用および最小サンプリング］
実際的応用では、利用可能なカメラの数は制限される。また、カメラの配置も制約されうる。したがって、制限され且つ制約された資源に対する最適な装置構成を決定することが望まれる。我々の再サンプリング技術で、セットアップを推測することができる。我々は、取得パラメータを考慮して、再サンプリングフィルタの最適な「形状」を決定し、ディスプレイバンド幅に対するその再サンプリングフィルタのバンド幅を分析することができる。

我々は、サンプリングされた入力信号１０１におけるエイリアシングが、利用可能なバンド幅を減少させる主な要因であることに気付いた。カメラの定数を考えて、このバンド幅を増大させるための２つの主なオプションがある。まず最初に、我々はカメラベースラインを減少させることができ、これにより、ディスプレイにマッピングされるとき、シーンの深度を小さくする。この場合、入力スペクトルは深度減少で角度方向φ_ｄにより狭くなる。明らかに、カメラベースラインをあまりにも減少させすぎると、シーン深度が感じ取れなくなる恐れがある。２番目に、我々はカメラ開口を増大させることができる。しかし、カメラ開口が大き過ぎると、取得された被写界深度がディスプレイ被写界深度より浅くなる恐れがある。我々は、カメラの焦点深度がｆ_ｉｎに等しくなるように選択する。それは、取得された入力スペクトルのスラブが四角形状のディスプレイバンド幅に平行であることを意味する。

代わりのセットアップでは、与えられたシーンを取得し、物体を或る程度のフォーカス深度に保つことが、望ましい。したがって、ターゲットとなるディスプレイに高品質の結果を実現するために必要とされる最小のサンプリングレートが決定される。直観的には、再構成エイリアシングがディスプレイのバンド幅内に現れないとき、サンプリングレートは与えられたディスプレイに対して充分である。取得サンプリングレートをこの評価基準を超えて増大させても、出力品質は向上しない。

我々は、入力座標からディスプレイ座標へのマッピングを決定する、焦点距離ｆ_ｉｎとベースラインスケーリングｓを決定するために、式（１１）を使用する。次に、我々は、入力スペクトルのレプリカの最もタイトなパッキングを見出すことによって、非中心レプリカのいずれもがディスプレイプレフィルタと重なり合わないように、最小のサンプリングレートを導き出す、すなわち、カメラの最小数および最小分解能を導き出す。これにより、所要のカメラの個数をディスプレイの角度分解能に減少させることが可能である。しかし、これを実現するのは、より大きなカメラ開口が必要とされるので、しばしば非実用的である。

この発明は、３次元ディスプレイ装置に対して、ライトフィールドをサンプリングしてエイリアス化するための方法およびシステムを提供する。この方法は、問題を信号処理方法で処理できるようにする光線空間分析に基づいている。この発明は、３次元ディスプレイのバンド幅を決定し、浅い被写界深度の挙動について説明し、線形フィルタリング光線空間によりアンチエイリアシングを実現することができることを示した。この発明は、３次元ディスプレイ上でエイリアス化せずに、制限された分解能で取得された高品質のシーンをレンダリングすることを可能にする再サンプリングアルゴリズムを提供する。

ディスプレイの被写界深度にマッピングされるべきであるシーンにおける深度範囲をユーザが特定するのを許容することによって、我々は現在のディスプレイの浅い被写界深度の影響を最小にする。この発明は、所与の取得およびディスプレイコンフィグレーション（構成）により提供され得る画像品質を分析するのに使用できる。

高品質ディスプレイに対して、最小のサンプリング条件が導き出される。この発明はマルチ−ビュー取得および３次元ディスプレイ装置のより良好なエンジニアリング（工学的処理）を可能にする。

この発明は好適な実施の形態を例に挙げて説明したが、この発明の精神および範囲内で種々の他の改変および変更を行うことができることを理解すべきである。したがって、添付の特許請求の範囲の目的は、この発明の真実の精神および範囲に含まれるような全ての変形例および変更例をカバーすることである。

この発明の実施の形態１による、３次元表示装置上に３次元ライトフィールドを取得して表示するためのシステムを概略的に示す平面図である。 この発明の実施の形態１による、ライトフィールドを再サンプリング、アンチエイリアシングする方法のフローチャートである。 この発明の実施の形態１による、ディスプレイ（表示）パラメータ化の概略図である。 この発明の実施の形態１による、４辺形のサンプリンググリッド（格子）である。 この発明の実施の形態１による、バンド（帯域）幅要件に関する概略図である。 この発明の実施の形態１による、カメラとディスプレイ装置の走査線のサンプルを重ね合わせた概略図である。 この発明の実施の形態１による、サンプリングおよびフィルタリング方法の概略図である。 この発明の実施の形態１による、ライトフィールド取得ジオメトリからライトフィールド表示ジオメトリまでの変態の概略図である。 この発明の実施の形態１による、カメラのパラメータ平面の概略図である。 この発明の実施の形態１による、カメラ開口フィルタのスペクトルの近似の概略図である。 図８Ｂに示された、スペクトルのバンド幅の概略図である。

Claims (14)

1. 取得パラメータ化により、複数のカメラによって取得された３次元シーンの入力ライトフィールドの入力サンプルから連続するライトフィールドを再構成する工程と、
   ディスプレイパラメータ化により、連続するライトフィールドを再パラメータ化する工程と、
   前記再パラメータ化されたライトフィールドをプレフィルタリングし、そのプレフィルタリングされたライトフィールドをサンプリングして、ディスプレイパラメータ化を有する出力サンプルを生成し、そして３次元表示装置を使用してその出力サンプルを出力ライトフィールドとして表示する工程と、
   を備える、ライトフィールドを取得して表示するためのコンピュータにより実施される方法。
2. 前記プレフィルタリングは、ディスプレイパラメータ化によるディスプレイバンド幅のナイキスト限界値に適合する、請求項１に記載の方法。
3. 前記３次元表示装置は自動多視点表示装置である、請求項１に記載の方法。
4. 前記入力サンプルは、複数のカメラによって取得された画像の順序の形式である，請求項１に記載の方法。
5. 前記複数のカメラは水平な線形アレイとして配置される、請求項１に記載の方法。
6. ３次元表示装置は複数のプロジェクタを含み、またディスプレイスクリーンは垂直に指向されたレンズ状スクリーンの前側に取り付けられたパララックスバリアを含む、請求項１に記載の方法。
7. ディスプレイパラメータ化は、ｔ座標を定義するパララックスバリアのｔ平面、およびｖ座標を定義するレンズ状スクリーンのｖ平面によって、部分的に定義され、また、レンズ状スクリーンのピクセル間隔はΔｖ、パララックスバリアの空隙の間隔はΔｔ、レンズ状スクリーンとパララックスバリアとの間の離隔距離はｆであり、深度はｚである、請求項１に記載の方法。
8. １つの位置で前記ｔ平面と交差する出力ライトフィールドの光線は１つのマルチビューピクセルに対応し、前記光線のｖ平面との各交点はビュー依存サブピクセルであり、前記マルチビューピクセルの数は空間分解能を定義し、マルチビューピクセル当たりのビュー依存サブピクセルの数はディスプレイパラメータ化の角度分解能を定義する、請求項７に記載の方法。
9. ディスプレイバンド幅は、次式
   

   

   により制限される、請求項７に記載の方法。
10. 特定のカメラおよびその焦点面の入力座標はそれぞれｔ_ｉｎおよびｖ_ｉｎであり、ｔ_ｉｎ軸からの距離はｚ_ｉｎであり、サンプリング間距離はΔｔ_ｉｎおよびΔｖ_ｉｎであり、対応するディスプレイ座標はｔ_ｄ、ｖ_ｄ、ｚ_ｄ、Δｔ_ｄ、およびΔｖ_ｄであり、入力ライトフィールドと出力光の両方に対するｔ平面とｖ平面との間の距離は１に正規化され、再パラメータ化は、次式
    

    

    により定義される、取得パラメータ化とディスプレイパラメータ化との関係を使用する、請求項７に記載の方法。
11. 入力ライトフィールドの入力サンプルはξ_ｉ、ｊであり、再構成化は、次式
    

    

    によって行われ、再パラメータ化は、次式
    

    

    により行われ、そしてプレフィルタリングは、次式
    

    

    により行われる、請求項１０に記載の方法。
12. 入力サンプルの加重和としてのバンド制限された信号は再サンプルリングフィルタρを使用して、次式
    

    

    により実行される、請求項１１に記載の方法。
13. ρは、次式
    

    

    で表される、請求項１２に記載の方法。
14. ３次元シーンの入力ライトフィールドを取得するように構成された複数のカメラと、
    取得パラメータ化により、前記入力ライトフィールドの入力サンプルから連続するライトフィールドを再構成する手段と、
    ディスプレイパラメータ化により、連続するライトフィールドを再パラメータ化する手段と、
    再パラメータ化されたライトフィールドをプレフィルタリングし、プレフィルタリングされたライトフィールドをサンプリングしてディスプレイパラメータ化を有する出力サンプルを生成する手段と、
    前記出力サンプルを出力ライトフィールドとして表示するように構成された３次元表示装置と、
    を備える、ライトフィールドを取得して表示するシステム。

Images