JP2013038775A - 高速反射屈折式ライトフィールドレンダリングのための光線画像モデル化 - Google Patents

Abstract

【課題】ライトフィールドを取得する単純かつ経済的な反射屈折式カメラ及び方法を提供する。
【解決手段】反射屈折式カメラが、光線構造絵素（レイクセル）の２Ｄアレイとして定義される光線画像を作製することによって３Ｄシーンから画像のライトフィールドを作り出す。各レイクセルは光強度、ミラー反射ロケーション、及びミラー入射光の光線方向を取得する。次に、対応するレイクセルを組み合わせることによって光線画像から３Ｄ画像がレンダリングされる。
【選択図】図２５

Description

本発明は反射屈折式カメラの技術分野に関する。より具体的には、本発明は、現実世界のシーンのライトフィールドを取得するための反射屈折式カメラの利用に関する。

コンピューターにより生成される３次元、すなわち３Ｄ、画像が研究及びエンタテインメント等の種々の応用分野において望ましい。３Ｄ画像をレンダリングする方法は種々ある。例えば、様々な素材、及び光のセットで構成される幾何プリミティブから成るシーンが３次元グラフィックスシステムに入力されてよく、システムは次に、この情報に基づき出力画像を計算し、レンダリングする。しかし、このアプローチは非常に大きなコンピューター利用量と労力を要する。

代替のアプローチは、画像ベースのレンダリングと呼ばれてよく、既存のあらかじめ取得された画像のセットに基づき、環境の、異なる、すなわち新しい、視像を生成する。このアプローチは、２次元、すなわち２Ｄ、画像の集合から３Ｄ画像をレンダリングするために用いられてよい。実際、複数の２Ｄ視像からの３Ｄシーンの再構成は恐らく、コンピュータービジョンにおいて最も探求されている問題の１つである。これは通例、処理デバイスが、共通シーンの２つ以上の画像内の対応する物体を一致させることができることを必要とする。次に、古典的ステレオマッチングアルゴリズムはピンホールカメラモデルを用いて奥行きを推測する。

コンピュータービジョンの技術分野では、２つ以上の画像に共通する物体（あるいは物体特徴又は特徴点）のこの一致はしばしば対応一致（又は対応問題）と呼ばれる。第２の画像は、第１の画像を撮影したカメラが移動した後、時間が経過した後、かつ／又は撮像された物体が移動した後に撮影されたとして、対応一致は、第１の画像のどの部分が第２の画像のどの部分に対応する（すなわち一致する）のかを見いだそうと試みる。例えば、第１の画像は、第１の観視角度から第１の視野、ＦＯＶ（field-of-vision）、によって撮影される現実世界のシーンのものであってよく、第２の画像は、第２の観視角度から第２のＦＯＶによって撮影される同じシーンのものであってよい。第１及び第２のＦＯＶは少なくとも部分的に重複するとすれば、対応一致は第１及び第２の画像の重複部分内の共通特徴点の一致に言及する。

それ故、対応一致は、コンピュータービジョンにおける、特に、立体視、ビュー合成、及び３Ｄ（又は透視法）再構成における、主要な問題である。２つの観視角度から撮影された２つの画像内の多数の画像特徴、又は物体、を一致させたとすれば、次に、立体視像合成、又は３Ｄ再構成を達成するべく、一致した画像特徴同士の間の位置関係を特定するために、エピポーラ幾何が用いられてよい。

エピポーラ幾何とは基本的に立体視の幾何である。例えば図１では、２台のカメラ１１及び１３が、大きい方の球１９及び小さい方の球２１から成る共通３Ｄシーン１０の２つの２Ｄ画像１５及び１７をそれぞれ作り出す。２Ｄ画像１５及び１７は２つの別個の観視角度２３及び２５から撮影される。エピポーラ幾何は３Ｄシーン１０（例えば球１９及び２１）内の点同士（例えば球１９及び２１）の間の幾何学的関係、並びに２Ｄ画像１５及び１７におけるそれらの相対投影を記述する。これらの幾何学的関係は、以下においてより完全に記載されるエピポーラ拘束、又はステレオ拘束、の基盤である、像点間の拘束を生じさせる。

図１は水平視差を示しており、カメラ１１の視点からは、（２Ｄ画像１５に示されるように）小さい方の球２１が大きい方の球１９の前にあるように見えるが、カメラ１３の視点からは、（２Ｄ画像１７に示されるように）小さい方の球２１が大きい方の球１９の側方に少し離れてあるように見える。それにもかかわらず、２Ｄ画像１５及び１７は両方とも同じ３Ｄシーン１０のものであるので、どちらも大きい方の球１９及び小さい方の球２１の相対位置の真実の表現である。それ故、カメラ１１、カメラ１３、小さい方の球２１及び大きい方の球１９の間の位置関係は２Ｄ画像１５及び１７に対する幾何学的拘束を確立し、それにより、エピポーラ、又はステレオ、拘束が分かりさえすれば、２Ｄ画像１５及び１７を与えられるだけで３Ｄシーン１０を再構成することが可能になる。

エピポーラ幾何はピンホールカメラモデルに基づいており、その単純化された表現が図２に示されている。ピンホールカメラモデルでは、カメラが、各カメラの焦点にそれぞれある左の点Ｏ_L及び右の点Ｏ_R等の点によって表される。点Ｐ_Oは、本例では２本の十字交差線によって表されている、イメージングされる３Ｄシーン内の関心のある点（すなわち物体）を表す。

通例、画像平面（すなわちイメージングされる３Ｄシーンの２Ｄ表現が取得される平面）はカメラの焦点の後方にあり、反転している。説明を容易にするためかつ、反転した取得画像の複雑化を回避するために、取得画像の非反転表現を示すべく、２つの仮想画像平面、ＩｍｇＬ及びＩｍｇＲ、はそれらのそれぞれの焦点、Ｏ_L及びＯ_R、の前方に示されている。これらの仮想画像平面は、３Ｄシーンが観視される窓と考えてよい。点Ｐ_Lは点Ｐ_Oの、左の仮想画像ＩｍｇＬ上への２Ｄ投影であり、点Ｐ_Rは点Ｐ_Oの、右の仮想画像ＩｍｇＲ上への２Ｄ投影である。本技術分野において周知のように、３Ｄから２Ｄへのこの変換は透視投影、又は画像投影と呼ばれてよく、ピンホールカメラモデルによって記述される。この投影演算を、カメラから発出しその焦点を通過する光線によってモデル化することが一般的である。各モデル化された発出光線は取得画像内の単一の点に対応しよう。本例では、これらの発出光線は点線２７及び２９によって示されている。

エピポーラ幾何は、各カメラの互いに対する位置に関する拘束も定義する。これは、焦点Ｏ_L及びＯ_Rの相対位置を用いてなされてよい。第１のカメラの焦点は第２のカメラの画像平面上の別個の点上に投影し、バイスバーサ。本例では、焦点Ｏ_Rは仮想画像平面ＩｍｇＬ上の像点Ｅ_L上に投影し、焦点Ｏ_Lは仮想画像平面ＩｍｇＲ上の像点Ｅ_R上に投影する。像点Ｅ_L及びＥ_Rはエピポール、又はエピポール点と呼ばれる。エピポール、及びそれらの投影源の焦点は単一の線、すなわち線３１、上にある。

点Ｐ_Oは焦点Ｏ_Lの真正面にあるので、焦点Ｏ_Lから点Ｐ_Oへの線２７は仮想画像平面ＩｍｇＬ内の単一の点Ｐ_Lとして見られる。これは、図１の画像１５において、小さい方の球２１が大きい方の球１９の前にあるように見える態様と同様である。しかし、焦点Ｏ_Rからは、Ｏ_Lから点Ｐ_Oへの同じ線２７は像点Ｅ_Rから点Ｐ_Rへの変位線３３を見られている。これは、図１の画像１７において、小さい方の球２１が大きい方の球１９の側方に変位されているように見える態様と同様である。この変位線３３はエピポーラ線と呼ばれてよい。逆に、焦点Ｏ_Rからは、線２９は仮想画像平面ＩｍｇＲ内の単一の点Ｐ_Rとして見られるが、焦点Ｏ_Lからは、線２９は仮想画像平面ＩｍｇＬ上の変位線、又はエピポーラ線、３５として見られる。

このように、エピポーラ幾何は三角法の基盤を形成する。例えば、カメラＯ_R及びＯ_Lの相対的平行移動及び回転が分かっているとすると、左の仮想画像平面ＩｍｇＬ上の投影点Ｐ_Lが分かれば、右の仮想画像平面ＩｍｇＲ上のエピポーラ線３３はエピポーラ幾何によって分かる。さらに、点Ｐ_Oは右の仮想画像平面ＩｍｇＲ上に、この特定のエピポーラ線３３上にある点Ｐ_Rにおいて投影しなければならない。本質的に、１つの画像平面内で観察される各点について、同じ点がもう１つの画像平面内で、既知のエピポーラ線上に観察されなければならない。これが、異なる画像平面上の対応する像点が満たさなければならないエピポーラ拘束を与える。

別のエピポーラ拘束が以下のように定義されてよい。投影点Ｐ_L及びＰ_Rが分かれば、それらの対応する投影線２７及び２９も分かる。さらに、投影点Ｐ_L及びＰ_Rが同じ３Ｄ点Ｐ_Oに対応するならば、それらの投影線２７及び２９は正確に３Ｄ点Ｐ_Oにおいて交差しなければならない。これは、３Ｄ点Ｐ_Oの３次元位置は２つの投影点Ｐ_L及びＰ_Rの２Ｄ座標から算出されることができることを意味する。このプロセスは三角法と呼ばれる。

エピポーラ幾何はホモグラフィ、すなわち射影変換、の基盤も形成する。ホモグラフィは、観察者の視点が変化すると、観察される物体の認知される位置はどうなるのかを記述する。図３に、これの例が示されている。同図では、正方形１２の形状が、２つの画像投影１４及び１６においては、２つの異なる視点Ｖ１及びＶ２からそれぞれ観視される通りに歪んで示されている。先と同じく、画像平面１４及び１６は、正方形１２が観視される窓と考えられてよい。

ホモグラフィは、画像投影１４及び１６並びに正方形１２の間で共通の点を特定しよう（すなわち点の位置合わせ）。例えば、正方形１２の４つの隅Ａ、Ｂ、Ｃ及びＤは画像投影１４内の点Ａ’、Ｂ’、Ｃ’及びＤ’に対応し、画像投影１６内の点Ａ”、Ｂ”、Ｃ”及びＤ”に対応する。それ故、画像投影１４内の点Ａ’、Ｂ’、Ｃ’及びＤ’はそれぞれ画像投影１６内の点Ａ”、Ｂ”、Ｃ”及びＤ”に対応する。

ピンホールモデルが適用されるとすれば、エピポーラ幾何は、ホモグラフィが、空間内の同じ平面表面の任意の２つの画像を関係付けることを可能にし、それは、画像の偏位修正、画像の位置合わせ、又は２つの画像間のカメラモーション（回転及び平行移動）の計算を可能にする。推定されたホモグラフィ行列からカメラの回転及び平行移動が抽出されれば、この情報はナビゲーションのために用いられてもよいし、あるいは３Ｄ物体のモデルを、それらが、正しい遠近をもってレンダリングされ、元のシーンの一部であったように見えるように画像又は映像に挿入するために用いられてもよい。

例えば、図４では、カメラ２２及び２４が立方体２６の３Ｄシーンの写真を異なる視点から各々撮影する。カメラ２２の視点からは、立方体２６は、２Ｄ画像２８に示される通りに見え、カメラ２４の視点からは、立方体２６は、２Ｄ画像３０に示される通りに見える。ホモグラフィは、相関する点を特定することを可能にする。相関する点のうちのいくつかは説明の目的のために点線によって示されている。画像３２に示されるように、これは、２Ｄ画像２８及び３０の両方が縫い合わせられ、３Ｄ画像を作り出すことを可能にする。それ故、画像の対の間の対応を自動的に見いだすことが立体視の古典的問題となっているが、残念ながら、この作業を達成するために利用可能なアルゴリズムは常に正しい対応を見いだすとは限らない場合がある。

３Ｄ画像を作製し操作する（特にコンピュータービジョンの分野における）別の方法はボクセルの利用である。ボクセル（すなわちボリューム画素又はボリューム絵素）とは、画素が２次元空間上の値を表す態様（すなわちビットマップ）と同様の、３次元空間内の正規格子上の値を表すボリューム要素である。ボクセルは医療及び科学データの可視化及び解析、並びにビデオゲーム及びコンピューターシミュレーションにおける地形の表現において頻繁に用いられる。

図５（Ａ）に、３Ｄ画像のボクセル表現の例が示されている。ティーポットＴＢはティーポットＴＡのボクセル表現である。ボクセルを包含するボリュームは、直接的なボリュームレンダリングによるか、又は所与の閾値の等高線をたどる多角形等値面の抽出によって可視化されることができる。ボクセルがどのように定義されるのかにかかわりなく、ボクセルは一般に、３Ｄ画像の操作を容易にするボリューム情報を包含する。ボクセル表現の解像度はボクセルのサイズによって決まる。例えば、図５（Ｂ）はティーポットＴＡのより高い解像度のボクセル画像ＴＣを示す。それ故、ボリュームディスプレイには、それらの解像度を記述するためにボクセルを用いるものがある。例えば、ディスプレイが５１２×５１２×５１２ボクセルを表示することができてよかろう。ボクセル解像度が高いほど、３Ｄ表現はきめ細かくなる。

３Ｄ物体の透視表現をレンダリングする別の方法は、物体の周りの直接取得ライトフィールドによるものである。ライトフィールドとは、空間内のあらゆる点を通ってあらゆる方向に進む光の量を記述する関数である。図６を参照すると、コンセプトが幾何光学に限定されるならば、すなわちインコヒーレント光、及び光の波長よりも大きい物体に限定されるならば、光の基本的キャリアは光の光線、又は光線である。光線に沿って進む光の量についての尺度は放射輝度であり、Ｌによって示されており、ワット（Ｗ）毎ステラジアン（ｓｒ）毎平方メートル（ｍ²）単位で測られる。ステラジアンは立体角の尺度であり、平方メートルは断面積の尺度である。

光の不変の配置によって照明される３次元空間の領域内のすべてのこうした光線に沿った放射輝度はプレノプティック関数と呼ばれる。プレノプティック照明関数は、コンピュータービジョン及びコンピューターグラフィックスにおいて任意の時点における任意の観視角度における任意のあり得る観視位置からのシーンの画像を表現するために用いられる理想的関数である。図６（Ｂ）に示されるように、空間内の光線は３つの座標、ｘ、ｙ、及びｚ並びに２つの角度θ及びφによってパラメーター化されることができるので、それは５次元関数である。ただし、時間、波長、及び偏光角を追加の変数と見なせば、より高次元の関数が得ることであってよい。

ライトフィールドは、１つの点に突き当たる方向毎に１つずつのベクトルであって、それらの放射輝度に比例する長さを有する、ベクトルの無限の集合として扱われてもよい。これらのベクトルを、光のあらゆる集合にわたって、又は方向の全球にわたって積分すると、単一のスカラー値−その点における総放射照度、及び合成された方向を生じさせる。例えば、図６（Ｃ）は、２つの光源Ｉ_A及びＩ_Bから発出し、点Ｐ’に突き当たる２つの光の光線ｒ_A及びｒ_Bを示す。光の光線ｒ_A及びｒ_BはベクトルＤ_A及びＤ_Bを生じさせ、これらのベクトルは結合してベクトルＤ’を定義し、ベクトルＤ’は点Ｐ’における総放射照度を記述する。３Ｄ空間におけるベクトル値関数はベクトル放射照度場と呼ばれてよく、場内の各点におけるベクトル方向は、その点に配される平坦表面に、それを最も明るく照明するように向かい合うことになろう配向として解釈されることができる。

しかし、コンピューターグラフィックスの技術分野における実際の適用のためには、ライトフィールドを記述するために用いられる次元数を減らすことが有益である。物体が収縮包装されている等、３Ｄシーン内のロケーションが物体（すなわち研究対象の被写体）の凸包の外側に限定されるならば、その場合、ライト関数は冗長情報を包含することになろう。なぜなら、光線に沿った放射輝度は、それが物体とぶつかるまで、その全長経路に沿った点間で一定のままであるからである。冗長情報は１次元であり、４次元関数を残すことが見いだされている。この関数は光場、４Ｄライトフィールド又はルミグラフと呼ばれることもある。正式には、４Ｄライトフィールドは、何もない空間中の光線に沿った放射輝度として定義される。この、次元数を減らした定義を用いると、プレノプティック関数はデジタルカメラを用いて測られることができる。このことのより完全な説明がＬｅｖｏｙへの米国特許第６，０９７，３９４号において提供されており、同文献はその全体が本願明細書において参照により援用されている。

Ｌｅｖｏｙは、図６（Ｄ）に示されているように、ライトフィールド内の光線のセットは２平面パラメーター化を用いてパラメーター化されてよいことを説明している。先に説明されたように、このパラメーター化は、透視イメージングの解析幾何学に密接に関連するという利点を有する。実際、２平面ライトフィールドについて考える簡単な方法は、ｕｖ平面上の観察者の位置から各々撮影される、ｓｔ平面（及びそれに跨がって又はそれを越えて位置してよいあらゆる物体）の透視画像の集合として考えることである。このようにしてパラメーター化されたライトフィールドはライトスラブと呼ばれることもある。図７（Ａ）に、これの例が示されている。この場合では、ｕｖ平面上の複数のカメラＣ１ないしＣｎが、ｓｔ平面の複数の視像（すなわち透視画像）を提供することによってライトスラブＬＳを作り出す。

コンピューターグラフィックスにおいては、ライトフィールドは通例、３Ｄモデルをレンダリングすることによるか又は実際のシーンを撮影することによって作られる。いずれの場合でも、ライトフィールドを作るために、多数の視点集合から複数の視像が得られなければならない。用いられるパラメーター化に依存して、この集合は通例、線、円、平面、球、又は他の形状のいくらかの部分に広がることになる。例えば図７（Ｂ）では、ライトフィールドの中心にある円筒Ｃの周りのライトフィールドを取得するために４つの光スラップＬＳ１ないしＬＳ４が用いられる。このように、ライトフィールドを写真により取得することは種々の観視角度からの多くの画像及び複雑な機構を必要とする。これは多くの場合、特に日常的な使用のためには、ライトフィールドの作製を複雑にしてしまう。

先に説明されたように、コンピューターアプリケーションにおいて３Ｄ画像をレンダリングすることに向けた複数のアプローチがある。しかし、ライトフィールドの融通性（レンダリングされる３Ｄ画像の視点及び焦点を変更する能力等）、及び取得されたデジタル画像の利用によって作り出されるというそれらの能力の故に、ライトフィールドが特に興味深い。しかし、ライトフィールドの利用は、それらの、種々の観視角度から撮影される３Ｄ被写体の複数のデジタル画像の必要性によって複雑になる。

種々の観視角度から複数の画像を生成するためのイメージングデバイスの数（又は単一のイメージングデバイスが繰り返し用いられる回数）を減らす１つの方法は反射屈折式カメラの利用である。反射屈折式カメラ、又はシステム、はピンホールカメラよりも広い視野から被写体をイメージングし、かくして、異なるＦＯＶからの複数の画像の必要性を低減することができる。しかし、反射屈折式カメラシステムはピンホールカメラモデルには該当しない。したがって、それらは、上述の３Ｄレンダリング方法が基づくエピポーラ幾何に支配されない。これは、反射屈折式カメラシステムを、３Ｄ画像を生成する上述の方法には適さないものにする。ピンホールモデルの方法を、上述されたように、反射屈折式カメラに直接適用しようと試みてもよいが、結果は固有誤差を有し、歪みを呈しがちであり、最適なものとはならないことになる。

本発明の目的は、ライトフィールドを取得する単純かつ経済的な方法を提供することである。

本発明の別の目的は、２Ｄ取得画像から透視画像をレンダリングするために必要なカメラの数を減らすことである。

本発明のさらに別の目的は、ライトフィールドの取得において、及び３Ｄ画像の作製において反射屈折光学系を利用する方法を提供することである。

上述の目的は、所望の３Ｄシーンを反射するためにミラーアレイ状に配列される複数の曲面ミラーと、曲面ミラーの光線画像を取得するデジタルイメージングシステムであって、光線画像の各々は光線構造絵素（レイクセル（ray-xel））の２次元アレイであり、各それぞれのレイクセルは所定の色モデルによる光強度尺度、ミラー反射ロケーション座標、及びミラー入射光線方向座標を含む、デジタルイメージングシステムと、を有する反射屈折式カメラシステムであって、光強度尺度は、それぞれのレイクセルにおいて受けられる光強度を示し、ミラー反射ロケーション座標は、対応する曲面ミラー上の表面ロケーションであって、該表面ロケーションから、反射された光の光線が、対応する曲面ミラーからそれぞれのレイクセルに進む、表面ロケーションを示し、反射された光の光線は、３Ｄシーン内の点から表面ロケーションに入射する光の光線の反射であり、ミラー入射光線方向座標は、３Ｄシーン内の点から表面ロケーションへの入射する光の光線のベクトル方向を示す、反射屈折式カメラシステムにおいて達成される。

好ましくは、この反射屈折式カメラシステムでは、デジタルイメージングシステムはピンホールカメラを含む。代替的に、デジタルイメージングシステムはピンホールカメラである。さらに代替的に、デジタルイメージングシステムは、処理デバイスと通信するピンホールカメラを含む。

好ましくは、上述の反射屈折式カメラシステムは非中心性である。すなわち、曲面ミラーは任意の曲率を有する。

加えて、所定の色モデルはＲＧＢ色モデルである。

本デジタルイメージングシステムは、３Ｄシーン内の点に対応するレイクセルからの情報を組み合わせることによって３Ｄシーン内の点についてのライトフィールドをレンダリングしてよい。１つの実施形態では、各レイクセルのミラー入射光線方向情報はライトフィールドの形成において組み合わせられる。

代替的に、デジタルイメージングシステムは、互いに対応する光線画像内のすべてのレイクセルのすべてのレイクセル情報を組み合わせることによって３Ｄシーンのライトフィールド画像をレンダリングする。

加えて、デジタルイメージングシステムは、（ａ）取得された光線画像内の対応するレイクセルからのレイクセル情報を組み合わせることによって被写界深度画像をレンダリングすること、（ｂ）曲面ミラーのうちの選択された１つについての透視画像をレンダリングすること、（ｃ）グラフカット技法を用いて奥行きマップを回復すること、及び、（ｄ）レンダリングされた透視画像をギルドとして用いるガイドフィルタリングによって奥行きマップを後処理すること、によって２Ｄ光線画像から奥行きマップをレンダリングしてよい。

この場合、ステップ（ｃ）は、第１の光線画像内の各レイクセルについての探索領域を、第２の光線画像内の高さ２ε及び幅ｄ_max ^xの窓として定義することであって、ただし、ｄ_max ^xは最大水平方向不一致であり、εは第１の光線画像内の点Ｐの、第２の光線画像上の伸張歪みである、定義することと；特定のラベル付けｆについてのエネルギー関数を、

Ｅ（ｆ）＝Ｅ_d（ｆ）＋Ｅ_occ（ｆ）＋Ｅ_s（ｆ）＋Ｅ_reproj（ｆ）
として定義することであって、ただし、Ｅ_dは、色整合性を測るデータ項であり、Ｅ_occは遮蔽項であり、Ｅ_sは平滑項であり、Ｅ_reprojは、

として再投影誤差を定義し、

は光線画像内のすべての点についての、点ｐからｐ＋［ｄｘ，ｄｙ］までの最も近い距離の合計を求める、定義することと、を含んでよい。

上述の目的は、反射屈折式カメラにおいてライトフィールドをレンダリングする方法であって、該方法は、所望の３Ｄシーンを反射するためにミラーアレイ状に配列される複数の曲面ミラーを設けることと、曲面ミラーの光線画像を取得するデジタルイメージングシステムであって、光線画像の各々は光線構造絵素（レイクセル）の２次元アレイであり、各それぞれのレイクセルは所定の色モデルによる光強度尺度、ミラー反射ロケーション座標、及びミラー入射光線方向座標を含み、ただし、光強度尺度は、それぞれのレイクセルにおいて受けられる光強度を示し、ミラー反射ロケーション座標は、対応する曲面ミラー上の表面ロケーションであって、表面ロケーションから、反射された光の光線が、対応する曲面ミラーからそれぞれのレイクセルに進む、表面ロケーションを示し、反射された光の光線は、３Ｄシーン内の点から表面ロケーションに入射する光の光線の反射であり、ミラー入射光線方向座標は、３Ｄシーン内の点から表面ロケーションへの入射する光の光線のベクトル方向を示す、デジタルイメージングシステムを設けることと、３Ｄシーン内の点に対応するレイクセルからの情報を組み合わせることによって３Ｄシーン内の点についてのライトフィールドをレンダリングする；を有する方法でも達成される。

このアプローチでは、各レイクセルのミラー入射光線方向情報はライトフィールドの形成において組み合わせられる。１つの実施形態では、互いに対応する光線画像内のすべてのレイクセルのレイクセル情報を組み合わせることによって３Ｄシーンがレンダリングされる。

好ましくは、反射屈折式カメラシステムは非中心である。すなわち、曲面ミラーは任意の曲率を有する。

同様に、好ましくは、所定の色モデルはＲＧＢ色モデルである。

さらに好ましくは、デジタルイメージングシステムは、（ａ）取得された光線画像内の対応するレイクセルからのレイクセル情報を組み合わせることによって被写界深度画像をレンダリングすること、（ｂ）曲面ミラーのうちの選択された１つについての透視画像をレンダリングすること、（ｃ）グラフカット技法を用いて奥行きマップを回復すること、及びレンダリングされた透視画像をギルドとして用いるガイドフィルタリングによって奥行きマップを後処理すること、によって光線画像から奥行きマップをさらにレンダリングする。

好ましくは、このアプローチでは、ステップ（ｃ）は、第１の光線画像内の各レイクセルについての探索領域を、第２の光線画像内の高さ２ε及び幅ｄ_max ^xの窓として定義することであって、ただし、ｄ_max ^xは最大水平方向不一致であり、εは第１の光線画像内の点Ｐの、第２の光線画像上の伸張歪みである、定義することと；特定のラベル付けｆについてのエネルギー関数を、

Ｅ（ｆ）＝Ｅ_d（ｆ）＋Ｅ_occ（ｆ）＋Ｅ_s（ｆ）＋Ｅ_reproj（ｆ）
として定義することであって、ただし、Ｅ_dは、色整合性を測るデータ項であり、Ｅ_occは遮蔽項であり、Ｅ_sは平滑項であり、Ｅ_reprojは、

として再投影誤差を定義し、

は光線画像内のすべての点についての、点ｐからｐ＋［ｄｘ，ｄｙ］までの最も近い距離の合計を求める、定義することと、を含む。

添付の図面と併せて以下の記載及びクレームを参照することによって、本発明のより完全な理解とともに他の目的及び達成が明らかになり理解されるようになる。

エピポーラ立体モデルの基盤としての水平視差を示す。 ステレオ拘束を記述するエピポーラ幾何の単純化された適用である。 ホモグラフィの原理を示す。 ２つの２Ｄ画像から３Ｄ画像をレンダリングするホモグラフィの利用を示す。 ボクセルを示す。 ライトフィールドの原理を示す。 ライトフィールドを作製する方法を示す。 反射屈折式カメラ機構の単純化された例を示す。 ３種類の反射屈折式カメラを示す。 反射屈折式カメラにおけるホモグラフィの利用を示す。 図１０（Ａ）の反射屈折式カメラを用いて得られた結果を比較する。 反射屈折式カメラを用いてライトフィールドを作り出すアプローチの原理を示す。 図１２（Ａ）及び図１２（Ｂ）の反射屈折式カメラの機構及び結果を示す。 反射屈折式カメラを用いてボクセルを作製する機構を示す。 本発明による反射屈折式カメラを示す。 イプシロン線の基盤としての、反射屈折式カメラ機構内の点の垂直歪みを示す。 一般線形カメラ（General Linear Camera、ＧＬＣ）の枠組みの一般的な記述を提供する。 ＧＬＣ投影による、３Ｄ点Ｐ［ｘ，ｙ，ｚ］の、画素［ｕ，ｖ］への対応付けを示す。 イプシロンステレオモデルの基盤を示す。 反射屈折式カメラにおけるイプシロンステレオ拘束の利用を示す。 本発明による反射屈折式較正プロセスの一部を示す。 本発明による反射屈折式カメラの単純化された機構を示す。 ライトフィールドの取得における、本発明による反射屈折式カメラの利用を示す。 本発明によって取得されたライトフィールド画像を示す。 本発明による光線画像を用いた３Ｄ画像のレンダリングを説明するブロック図である。 図１５のミラーアレイ内の選択されたミラーのレンダリングされた透視画像を示す。 グラフカット技法へのイプシロンステレオ拘束の組み込みを示す。 初期奥行きマップを示す。 図２６の透視画像をガイドとして用いて図２８の奥行きマップをガイドフィルタリングした後の最終的な奥行きマップを示す。

対応一致は、コンピュータービジョンにおける、特に、立体、ビュー合成、及び３Ｄ再構成における、主要な問題である。実際、ステレオマッチングは恐らく、コンピュータービジョンにおいて最も研究されている３Ｄシーン再構成方法である。ほとんどの既存のアプローチは、入力カメラは、単一の比較的狭い透視像を提供する透視投影カメラであることを仮定する。さらに、ピンホールカメラモデルによって定義される透視投影カメラの利用が通例仮定されるので、ほとんどの研究努力は、異なるカメラモデルには関連しない課題を扱うことに重点を置いている。例えば、ほとんどの研究はテクスチャ、ノイズ、鏡面性、及び遮蔽境界に重点を置いている。これらの方法は、２つの画像が、純粋な水平視差を有するように偏位修正されることを可能にするエピポーラ幾何の存在を仮定し、それ故、ステレオ拘束を受ける。

最近、マルチ透視投影カメラを用いる３Ｄ再構成への関心が大きくなってきている。マルチ透視投影カメラは、ピンホールカメラを用いて可能であるよりも広い透視像を提供し、かつ／又は複数の同時透視像を提供する。残念ながら、マルチ透視投影カメラは通例、ピンホールカメラモデルに従わない。したがって、１対のマルチ透視投影カメラはエピポーラ拘束を満たさないであろう。それ故、ピンホールカメラ用に開発された３Ｄ再構成技法は一般的にマルチ透視投影カメラには直接転用可能でない。

反射屈折式カメラはマルチ透視投影カメラの一種であり、それ故、ピンホールカメラモデルには従わない。したがって、このようなカメラについては厳格なステレオ拘束が存在しなくてもよい。反射屈折光学系は、レンズ（屈折光学）及び曲面ミラー（反射光学）を用いて光学系内で屈折及び反射を組み合わせる。マルチ透視投影反射屈折式カメラ（又はカメラシステム／機構）は、ピンホールカメラモデル機構を用いて達成可能であるよりも視野、ＦＯＶ、が広いという利点を有する。

図８に、反射屈折式カメラ機構６１の単純化された例が示されている。透視投影カメラ６５（又はピンホールカメラ等の、３Ｄシーンの２Ｄ透視投影画像を作製するための単一透視投影カメラ）は、曲面ミラー６３と組み合わせられ、基本的な反射屈折式（又は反射屈折式全方位）カメラを構成する。放物線状又は双曲線状であってよい曲面ミラー６３はカメラ６５の視野を増大させるが、カメラ６５によって取得される画像を歪ませる。説明の目的のために、カメラ６５の前方に仮想画像平面６７が、単純化された投影外形６９とともに示されている。単純化された投影は、ミラー６３から仮想画像平面６７上に投影されるｘ形状のメーカーの中心を示している。

反射屈折式カメラにはいくつかの基本的な種類がある。図９（Ａ）を参照すると、現実世界のシーンからカメラ７６（カメラの焦点によって表されている）にやって来る光学的光線７１ａ〜７１ｄがミラー７３上で反射し、特異点７５において交差し、該特異点７５が単一の実効的視点を構成する場合には、カメラ−ミラー系は中心系である。特異点７５における交差は、ミラー７３に球面形状を与えることによって達成されることができる。

それ故、中心反射屈折式カメラは、単一の実効的視点を生じさせる球形ドーム状ミラーを有するものとして特徴付けられることができる。それらの単一の実効的視点（及びそれ故、一様な歪み）の故に、従来技術の試みには、曲面ミラー７３によって生じる画像歪みを補償するように取得画像を操作することによって立体特性を中心反射屈折式カメラに拡張することに向けてなされているものがある。しかし、このような系は通例、カメラ及びミラーの軸同士を注意深く一致させること、及びミラーがその軸に関して回転対称である（すなわち球形）ことを必要とする。完全を期すために、このアプローチの例が以下に示されているが、それらの厳格な機構要件はそれらの適用を制限する。

図９（Ｂ）に示されるように、別の種類の反射屈折式カメラは非中心（すなわち非単一の実効的視点）系である。この場合においては、現実世界のシーンからカメラ８６に向けてやって来る光学的光線８１ａないし８１ｄはミラー８３上で反射するが、特異点において交差することは要求されない。非中心反射屈折式カメラの方がそれらのより厳密性の低い要件の故に中心反射屈折式カメラよりも構築が簡単で低コストになろうが、非中心反射屈折式カメラは、ステレオ拘束を適用しようとする試みをいずれも複雑にする。中心反射屈折式カメラ７６の画像平面７７上の投影点７０ａ〜７０ｄは非中心反射屈折式カメラ８６の画像平面８７上の投影点８０ａ〜８０ｄとは異なったように歪むであろうこと、それ故、図９（Ａ）に示されるもの等の中心系用に設計されたアプリケーションは一般的に、図９（Ｂ）又は図９（Ｃ）のもの等の非中心系には直接適用可能ではなかろうことに留意すべきである。

図９（Ｃ）は別の種類の非中心系を示す。図９（Ｃ）の系では、現実世界のシーンからカメラ９６にやって来る反射光線９１ａ〜９１ｄはミラー９３の軸９８に平行である。平行光線９１ａ〜９１ｄはカメラの光学的中心９６に向かって集束しないので、カメラの光学的中心９６にあるカメラのＣＣＤ平面上に画像を集中させるためにカメラとミラー９３との間に正射投影レンズ９７が配されよう。

反射屈折式カメラからの画像を解析すること（すなわちそのデジタル処理）の困難にもかかわらず、それらの増大した視野の故に、自動システムでの反射屈折式カメラ（隣接する曲面ミラーのアレイを有するものを含む）の利用が望ましい。

図１０（Ａ）及び図１０（Ｂ）に、３Ｄ画像の作製における中心反射屈折式カメラの利用の例が示されている。図１０（Ａ）を参照すると、ピンホールカメラ４０、及び支持平面３８上に支持される正方形配列の球面ミラー３６のミラーアレイ３６Ａを提供することによって中心反射屈折光学系が構築される。４つの隅マーカー４２Ａないし４２Ｄが正方形ミラーアレイ３６Ａの外周を提供し、球面ミラー３６同士の間には複数の内側マーカー４４が提供される。４つの外側マーカーは、カメラ４０及び支持平面３８の、互いに対する配向を割り出すために用いられる。内側マーカー４４及び球面ミラー３６の、隅マーカー４２Ａ〜４２Ｄに対する相対位置は分かっているから、内側マーカー４４の位置が算出され、それにより、ミラー３６の相対位置が割り出される。

次に、ピンホールベースのホモグラフィが用いられ、支持平面３８に対するカメラ４０の観視角度を補償し、それにより、ミラーアレイ３６Ａに対する観視角度カメラ４０の補償も提供する。例えば、図１０（Ｂ）は、支持平面３８の、カメラ４０に対する誇張された傾斜を示す。しかし、４つの隅マーカー４２Ａ〜４２Ｄを特定すること、及びホモグラフィの利用によって、カメラ４０の観視角度は補償されることができ、ミラー３６の相対位置が確定されることができる。このアプローチは、ミラー３６が完全に円形かつ球面（すなわち中心反射屈折光学系）であることを仮定しかつ、この較正プロセスにおけるミラー反射を無視する。

図１１（Ａ）ないし図１１（Ｃ）に、このアプローチによって得られる結果の例が示されている。図１１（Ａ）は、図１０（Ａ）の反射屈折光学系によってイメージングされるサンプル被写体、すなわち鳥の巣箱、を示し、図１１（Ｂ）は、ミラーアレイ３６Ａの１つのミラー３６において観視される通りの１つの画像の例を示す。図１１（Ｃ）に、ミラーアレイ３６Ａ内の異なるミラーの寄与を組み合わせることによって、ホモグラフィを用いて３Ｄ画像を再構成することの結果が示されている。このアプローチは多数の仮定をし、曲面ミラーの歪み効果の一部を無視するので、図１１（Ｃ）における結果としてできる３Ｄ再構成は、本当の画像１１（Ａ）に対する、一定比率の歪みをいくらか呈する、ノイズのある画像となる。

先に説明されているように、透視投影カメラを用いて取得されるライトフィールドは広く研究されており、それらのための高速レンダリングアルゴリズムが開発されている。したがって、反射屈折光学系の恩恵をライトフィールドのアプリケーションと組み合わせることが有益であろう。しかし、一般に、ライトフィールドアルゴリズムは透視投影、すなわちピンホールベースの、カメラのために開発されており、このようなアルゴリズムは非透視投影反射屈折式カメラのために直接用いられることはできない。

しかし、反射屈折光学系を用いてライトフィールドを取得しようとする試みが、Ｔａｇｕｃｈｉらによる「軸方向円錐：広角度ライトフィールドレンダリング用の球面反射屈折式カメラのモデル化（Axial-Cones: Modeling Spherical Catadioptric Cameras for Wide-Angle Light Field Rendering）」、ＳＩＧＧＲＡＰＨ ＡＳＩＡ、２０１０年に提案されている。図１０（Ａ）の以前の例におけるのと同様に、Ｔａｇｕｃｈｉらのアプローチも、完全に円形かつ球面のミラーの予測可能な歪みをうまく利用するために、中心反射屈折光学系に限定されている。Ｔａｇｕｃｈｉらは各球面ミラーを、ミラーの軸に沿って順々に連なる一連の仮想ピンホールカメラとしてシミュレートしている。こうすると、仮想ピンホールカメラに、エピポーラ幾何に基づく立体技法が適用されることができる。

Ｔａｇｕｃｈｉらによると、反射屈折式イメージングシステムはそれらの広角度イメージングの故に望ましいのではあるが、それらは、透視投影（すなわちピンホールベースの）カメラ用に設計されたアルゴリズムが用いられることを許さないマルチ透視画像を作る。有効利用の反射屈折光学系は正確な幾何学的光線モデル化及び高速アルゴリズムを必要としようが、Ｔａｇｕｃｈｉらは、一般的な（及びより具体的には、非中心）反射屈折光学系のためのこのようなアルゴリズムは存在しないと説明している。それ故、既存のピンホールベースのアルゴリズムを活用するために、Ｔａｇｕｃｈｉらは、中心反射屈折式カメラを、ピンホールカメラモデルに各々従う軸方向円錐カメラと呼ばれるものの集合群としてモデル化することを提案している。各球面ミラーは軸方向円錐カメラのそれぞれの集合によってモデル化されよう。図１２に、このアプローチの例が示されている。

図１２（Ａ）及び図１２（Ｂ）を参照すると、図１２（Ａ）に示されるように、球面ミラーのための軸方向円錐をモデル化する幾何学が用いられる。図１２（Ｂ）に示されるように、球面ミラー５０の、指定された軸方向円錐方向に沿って複数の仮想ピンホールカメラがモデル化される。各ミラーについて、異なる光線円錐を各々有する複数の仮想透視投影カメラが、指定された軸に沿って方向付けられてモデル化され、各ミラーの指定された軸は異なる視点を規定する。このようにして、既存のピンホールベースのライトフィールドアルゴリズムは複数の仮想透視投影カメラと併用されてよい。

図１３（Ａ）はＴａｇｕｃｈｉらのシステムのための機構を示し、図１３（Ｂ）は、球面ミラーの正方形状アレイをより近くで見たものを示す。図１３（Ｃ）は、Ｔａｇｕｃｈｉらの機構を用いて得られるいくつかの結果を示す。結果は、使用可能なライトフィールドを本当に取得しているが、結果は、ミラーの曲率に由来する相当な歪みも示してみせている。

上述の反射屈折機構は中心反射屈折光学系に限定され、それらはエピポーラ幾何を、図１０及び図１１の例におけるように（反射屈折式カメラがステレオ拘束に従わないことに由来する固有誤差を無視しつつ）直接適用するか、又は１２及び１３の例におけるように（各曲面ミラーを、指定された軸方向円錐方向に沿った仮想ピンホールカメラの集合としてシミュレートすることによって）間接的に適用しようと試みる。

ステレオマッチングに対する別の代替のアプローチはボリューム再構成である。本技術分野において周知のように、ボリューム再構成は、スペースカービング等の方法を用いて、まずシーンをボクセルに離散化し、次にボクセルをそれらの視認性及び入力画像との整合性に基づき刈り込んでよい。出願人は、Ｄｉｎｇ（本発明の発明者）らによる「マルチ透視ステレオマッチング及びボリューム再構成（Multiperspective Stereo Matching and Volumetric Reconstruction）」、コンピュータービジョン、２００９ ＩＥＥＥ １２ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ、２００９年９月２９日〜２００９年１０月２日、１８２７〜１８３４ページにおいてこのようなアプローチを示している。同文献は、その全体が本願明細書において参照により援用されている。

ピンホールカメラモデルはマルチ透視投影カメラに適用されないので、Ｄｉｎｇらのアプローチはより包括的な一般線形カメラモデルを利用する。本技術分野において周知のように、一般線形カメラモデルは多くの既存のマルチ透視投影カメラ（プッシュブルーム及びクロススリットカメラ等）を光線の２Ｄアフィン部分空間として一様にモデル化することができる。まず、各マルチ透視投影カメラは、任意のマルチ透視投影カメラの１次近似のためのツールとして用いられる区分的基本一般線形カメラすなわちＧＬＣに分解される。このアプローチはシーンをボクセルに離散化し、ＧＬＣ逆投影を適用して各ボクセルを入力マルチ透視投影カメラ上に対応付ける。

図１４（Ａ）に、複数のマルチ透視投影カメラ画像から３Ｄシーン幾何に回復するこのマルチ透視投影ボリューム再構成の例が示されている。複数の曲面ミラー５２がシーン内に配置することであり、カメラ５４がこれらのミラーの画像を取得する。従来のピンホールベースの方法に特徴的なボクセルの不均一な離散化を回避するために、マルチ透視投影カメラ間に仮想ピンホールカメラがまず配置され、次に、図１４（Ｃ）に示されるようにその観視錐台ボリュームが投影空間内で一様に離散化することである。次に、ボクセルはそれらの、入力画像との整合性、及び視認性に基づき刈り込まれる。

色整合性を測るために、各入力カメラ内のボクセルの対応画像がまず求められる。正確な逆投影を達成するために、各マルチ透視投影カメラは区分的ＧＬＣに分解される。図１３（Ｂ）に示されるように、これは、マルチ透視画像が三角形群にテッセレートされること、及び各頂点における関連光線が見いだされることを必要とする。最後に、各三角形からの光線トリプレットがＧＬＣとして扱われ、三角形平面はデフォルトのｕｖ平面として用いられる。この近似を用いることの利点は、ＧＬＣが、閉じた形の投影を提供することである。

ボクセルを逆投影するためにＧＬＣ分解を用いる直接的なアプローチは、テッセレーション内のＧＬＣを一つ残らず調べ、ボクセルの画像を計算する。投影されるボクセルがＧＬＣ三角形の内部に位置すれば探索は止まる。しかし、ＧＬＣテッセレーションレベルを制御することは難しくなり得る：細かいテッセレーションはより正確な近似を生じさせるが、より多くの計算を必要ともする。

したがって、コンピューターグラフィックスにおける詳細度（level-of-detail、ＬＯＤ）技法と同様の動的なテッセレーション方式が好ましい。マルチ透視投影カメラはまずＧＬＣの粗いセットを用いてテッセレートされ、標準的な、１つから４つへの細分が遂行され、細分は図１４（Ｂ）に示されるように四分木内に記憶される。カメラに３Ｄ点を逆投影するために、最上位のＧＬＣより開始し、３Ｄ点の投影の画像を計算する。どのＧＬＣが最終的な投影を包含しているのかが判定され、探索はその子ＧＬＣ上で繰り返される。リーブノードに到達すれば探索は止まる。通例、複雑なマルチ透視投影カメラ上にボクセルを正確に逆投影するためには、４ないし５つの細分レベルで大抵十分である。

このボクセルによるアプローチは、任意のミラー表面に適用されるが、ＧＬＣ分解を用いる近似を導入する。これらの近似は数値誤差を生じさせ、複雑な計算を必要とする場合がある。

目下好ましい実施形態は包括的な形状（すなわち中心及び非中心反射屈折光学系）のミラーを用いる反射屈折式カメラに適しており、好ましくはライトフィールドの取得及び定義を最適化する。好ましくは、取得されるライトフィールドは、それを既存のＧＰＵ（グラフィック処理ユニット（Graphic processing unit））処理に適したものにする形式のものである。

好ましい実施形態では、これは、新しいデジタル画像記録方式を定義することを含む。これを達成するために、本アプローチは、反射屈折式カメラの歪み効果に対処するべく（エピポーラ幾何の水平視差ステレオ拘束に加えて）垂直視差ステレオ拘束を用いる。

図１５を参照すると、本発明による現実世界の反射屈折式カメラシステムの例が、ミラーアレイ１００（例えば、６角の蜂の巣状アレイ）に配列された複数の曲面ミラー、及び少なくとも１台のカメラ９２（好ましくはピンホールカメラ）を含んでよい。本例では、ミラーアレイ１００内の各ミラーは、実質的に円形の外周並びに歪んだ（すなわち放物線状又は別の態様で湾曲した）表面を有し、カメラ９２は、それがミラーアレイ１００内のすべての（又は複数の）ミラーの反射画像を同時にイメージングする（すなわち撮影する又は画像取得する）ように構成される。

代替的に、カメラ９２はミラーアレイ１００のサブセットを一度にイメージングするように構成されてもよいし、又はミラー毎に別々のカメラが提供されてもよい。さらに代替的に、複数のカメラが、複数のカメラの各々がミラーアレイ１００のサブセットを別々にイメージングする機構内で用いられてもよい。これらの場合では、各カメラの取得画像が別の（及び好ましくは隣接する）カメラの取得画像とのいくらかの重複を有することが望ましい。次に進む前に、反射屈折式カメラシステムの特性である垂直視差を説明することが有益であってよい。

図１６に、反射屈折式カメラ内の垂直歪みの現実世界の例が示されている。同図では、３Ｄシーン内の点１１１が、曲面（すなわちドーム）ミラー１１３によって伸張歪みを受け、カメラ１１５の観視位置に対する垂直曲線１１２を形成する（すなわち反射する）ように示されている。カメラ１１５は３Ｄ曲面ミラー１１３の２Ｄ表現１１９の２Ｄ画像１１７を形成する。曲線１１２は、曲面ミラー１１３の曲率に従ってよく、画像１１７内の歪んだ垂直曲線１２１を形成する。説明しやすくするために、画像１１７の拡大画像平面１１７’が示されている。拡大画像平面１１７’内において、垂直曲線１２１’が３Ｄ曲面ミラー１１３の２Ｄ表現１１９’内に示されている。

説明を容易にするために、図１６では伸張及び曲線１１２の長さは誇張されていることを理解されたい。同様に、本例では、現実ワードの点１１１は比較的垂直な反射（すなわち曲線１１２）を形成するように示されているが、点１１１及びカメラ１１５の観視角度に対するミラー１１３の配向に依存して、点１１１はミラー１１３上の斜めに歪んだ（すなわち、水平方向及び垂直方向を組み合わせて歪んだ）反射を形成する場合があることを理解されたい。この、曲面ミラーによる点の伸張歪みは本願明細書においてイプシロン線と呼ばれる。

イプシロン線は、本願明細書においてイプシロンステレオ拘束と呼ばれるものの基盤を形成する。つまり、３Ｄシーン内の現実の点に対応するイプシロン線のサイズ、位置、及び配向を求めることができれば、３Ｄ点が、求められたイプシロン線に対応付くかどうか（すなわちそれが、求められたイプシロン線上にあるか又はそこから所定の距離内にあるかどうか）を判定することによって、３Ｄシーン内部の３Ｄ点が、第１の観視角度で撮影された第１の（歪んだ２Ｄ）画像内の特定の特徴点に対応するかどうかを判定することができる。さらに、第２の観視角度から撮影された第２の歪んだ２Ｄ画像について同じことができかつ、両２Ｄ画像を撮影するのに用いられるカメラが曲面ミラー（単数又は複数）に対して較正されていれば、両２Ｄ画像上の両特徴点が互いに対応するのかどうかを判定することができる。

イプシロン線を求めること、及びそれに続くイプシロン拘束についての一般的な説明を行うために、イプシロン拘束を導出すべき一般的なカメラモデルをまず提供することが有益である。説明しやすくするために、本導出は、当技術分野において一般線形カメラ（ＧＬＣ）モデルとして周知の枠組みの中でなされる。該モデルは、反射屈折式カメラ等のマルチ透視投影カメラを含む多くの種類のカメラに適用可能な一般的な枠組みを提供する。図１７に、ＧＬＣ枠組みの一般的な説明が示されている。

ＧＬＣ枠組みでは、３つの光の光線（以下、光線）のあり得るすべてのアフィン結合に沿った放射輝度が収集される。光線は２つの平行平面のそれらの交点によってパラメーター化される。図１７では、光線ｒ₁、ｒ₂、及びｒ₃が平行平面１３１及び１３３とのそれらの交点によってパラメーター化される。２つの平行平面は各々、それ自身の横座標及び縦座標によって記述されるデカルト平面である。ライトフィールドに関する上述の説明との整合性のために、平面１３１はデカルト座標［ｕ，ｖ］によって記述されてよく、平面１３３はデカルト座標［ｓ，ｔ］によって記述されてよい。このパラメーター化は２平面パラメーター化と呼ばれてよい。好ましくは、各光線は、σ＝ｓ−ｕτ＝ｔ−ｖを代入することによって再パラメーター化される。説明を容易にするために、本願明細書においては［σ，τ，ｕ，ｖ］によるパラメーター化が用いられる。

平面１３１（以下、平面ｕｖ）はデフォルトの平面であり、それは位置ｚ＝０（すなわち平面ｕｖに垂直なｚ方向）にあり、平面１３３（以下、平面ｓｔ）はｚ＝１にあると仮定される。それ故、［σ，τ，１］は光線の方向を表す。

ＧＬＣは３つの光線のアフィン結合として定義される。

ＧＬＣ＝｛ｒ：ｒ＝α・［σ₁，τ₁，ｕ₁，ｖ₁］＋β・［σ₂，τ₂，ｕ₂，ｖ₂］＋（１−α−β）・［σ₃，τ₃，ｕ₃，ｖ₃］，∀α，β｝ （１）
ＧＬＣモデルは、今度は、基準ＧＬＣを形成するために、［ｕ，ｖ］座標を［０，０］、［１，０］、及び［０，１］として有する３つの特定の光線を選ぶことによって単純化される。

ｒ［σ，τ，ｕ，ｖ］＝（１−α−β）・［σ₁，τ₁，０，０］＋α・［σ₂，τ₂，１，０］＋β・［σ₃，τ₃，０，１］ （２）
以上より、α＝ｕ及びβ＝ｖであることが自明である。したがって、あらゆる画素［ｕ，ｖ］はＧＬＣ内の一意の光線に対応付く。図１８に示されるように、ＧＬＣ投影は３Ｄ点Ｐ［ｘ，ｙ，ｚ］を画素［ｕ，ｖ］に対応付ける。ここで、

基本的に、ＧＬＣ投影はあらゆる３Ｄ点Ｐを光線に対応付ける。示されている三角形並びに光線ｒ₁、ｒ₂及びｒ₃は、点Ｐが対応付く光線を定義するための基準フレームを提供するが、それ自体は物理的表現を有しないことを理解されたい。ＧＬＣモデルは、ピンホールカメラ、正射投影カメラ、プッシュブルームカメラ、及びクロススリットカメラを含む多くの以前のカメラを統一する。

分母はＧＬＣの固有方程式に対応する。

Ａｚ²＋Ｂｚ＋Ｃ＝０ （４）

式（４）における根ｚ_i（ｉ＝１，２）は、ＧＬＣ内のすべての光線が共に通過することになる、平面ｚ＝ｚ_i上のスリット（線）に対応する。例えば、すべての光線は２つのスリットを共に通過するのでクロススリット固有方程式は２つの異なる根を有する。一方、斜めのカメラは解を有しない。

ＧＬＣの枠組みを記載したので、次のステップは、イプシロン拘束、又は代替的に、イプシロンステレオペアのより厳密な説明を与えることである。エピポーラ幾何では、ステレオペアは、純粋に水平な視差を有する２つの画像から成る、すなわち、あらゆる３Ｄ点Ｐについて、２つの別個のＦＯＶからの２つのカメラ視野内のその画像［ｕ，ｖ］及び［ｕ’，ｖ’］はｖ＝ｖ’を満たさなければならない。本イプシロンステレオモデル、すなわちイプシロンステレオペア、は、エピポーラ幾何のステレオ拘束を満たさないカメラ対を効果的に融合する。

図１９を参照すると、画像（Ａ）では、現実世界の物体１５０上の５つの点１４１〜１４５が、２つの別個の視点、Ｖ及びＶ’から観視されると、歪みを受ける。本例では、現実世界の物体１５０は図１６の曲面ミラー１１３等の湾曲した反射面であってよい。歪みの故に、物体１５０の曲率に従う点１４１〜１４５は、観視の視点Ｖからは、直線の水平線１５１に従うように見える。しかし観視の視点Ｖ’からは、点１４１〜１４５は、水平線１５１に対して斜めの上向きの経路に沿った連続した波状パターンに従うように見える。

点１４１〜１４５の各々は歪み、各々、歪みオフセット又は垂直視差（上述された、図１６における垂直曲線１１２によって示唆されるもの等）を定義する。この垂直視差は本願明細書においてイプシロン、ε、垂直視差と呼ばれる。観視の視点Ｖ’からは、点１４３は２εの歪みオフセット内のどこに見えてもよい。それ故、点Ｑが点１４３の歪みオフセット内に存在すると判定されれば、点Ｑは点１４３に対応してよい。しかし、点Ｑが、点１４３によって定義される歪みオフセットの外側に存在すると判定されれば、点Ｑは点１４３に対応しないと結論されてよい。

それ故、以下の特性が成り立つならば、２つの視像Ｖ及びＶ’はイプシロンステレオペアを形成する（すなわち視像Ｖ内の特徴点は視像Ｖ’内の特徴点に対応する）。光線Ｖ（ｕ，ｖ）及びＶ’（ｕ’，ｖ’）は、｜ｖ−ｖ’｜≦εの場合のみ交差する。

図２０（Ａ）を参照すると、曲面ミラー１０１及び１０３は図１５のミラーアレイ１００内の任意の２つのミラーを代表する。本例は３つ以上のミラーに直接拡張されてよいことを理解されたい。説明を容易にするために、ミラー１０１及び１０３上の画像は各々、歪んだ直角三角形を示すものとして図示されている。ミラー１０１は現実の３Ｄシーン（不図示）からの直角三角形の、第１のＦＯＶからの第１の歪んだ（すなわち湾曲した）視像１６１’を示し、ミラー１０３は第２のＦＯＶからの同じ直角三角形の第２の歪んだ視像１６１”を示す。カメラ９２は両ミラー１０１及び１０３の画像を取得する。

図２０（Ｂ）に、結果としてできるマルチ透視画像が示されている。画像１０１’は、ミラー１０１を撮影した画像に対応し、画像１０３’は、ミラー１０３を撮影した画像に対応する。説明の目的のために、三角形１６１’の縁端画素１６５（すなわちミラー画像１０１’上の点）及びミラー画像１０３’上のその対応するイプシロンステレオ拘束曲線１６７が示されている。ミラー画像１０３’上の点（又は画素）１６５”がミラー画像１０１’の点１６５に一致する（すなわち「対応する」、又は「位置が合う」）ことを検証したければ、可能性のある点１６５”がイプシロン拘束を満足するかどうかを判定する必要があろう。

例として、ミラー画像１０３’内の点１６５”がミラー画像１０１’内の点１６５にインデックス付けされてよいかどうか（すなわちそれに対応する、又は一致してよいかどうか）を知ることが望ましいならば、画素点１６５”が実質的に画素点１６５のイプシロンステレオ拘束内にあるかどうかを判定することになろう。可能性のある点１６５”は、エピポーラベースの技法、又は関心のある特徴点を特定するための他の周知の技法によって特定されていてよい。可能性のある点１６５”が実際に点１６５に対応するかどうかを判定するために、可能性のある画素点１６５”から、特定されたイプシロンステレオ拘束曲線１６７までの最短距離ｄが突き止められる。この距離ｄが所定の最大値、Ｄｍａｘ、（好ましくは５画素）よりも大きくなければ、可能性のある対応点１６５”は本当に画素点１６５に対応すると見なされる（すなわち画素（単数又は複数）１６５”は画素（単数又は複数）１６５にインデックス付けされる）。

所望の場合には、一致画素対（又は以下において説明されるように、一致したレイクセル対）のインデックスが維持されてよい。その場合、画素点１６５及び可能性のある対応画素点１６５”で構成される画素対は、一致した画素対（又は一致したレイクセル対）のインデックスに追加されることになろう。一方、求められた距離ｄが所定の最大値Ｄｍａｘよりも大きければ、可能性のある対応点１６５”は、点１６５に対応しないとして退けられることができよう。この場合、画素（単数又は複数）１６５及び可能性のある対応画素（単数又は複数）１６５”は、一致した画素対のインデックスから取り除かれる（又はさもなくばそれに入れられない）ことになろう。

２つのこのような視像はいずれもε対と呼ばれてよい。好ましくは、すべての視像はｕ連続かつｖ連続であると仮定されてよい。シーン解析は、両視像から見えるシーン幾何のみを考慮することによって単純化されてよい。イプシロンステレオペアのより詳しい説明が、Ｙｕａｎｙｕａｎ Ｄｉｎｇ（本発明の発明者）らによる「イプシロンステレオペア（Epsilon Stereo Pairs）」、British Machine Vision Conference（BMVC）、２００７年に見いだされてよい。同文献はその全体が本願明細書において参照により援用されている。

本発明に戻ると、当業者によって理解されるであろうように、図１５のもの等の反射屈折機構は初期システム較正プロセスを受けるであろう。当技術分野において周知の較正方法は種々あり、典型的な較正プロセスの例が、図１０（Ａ）を参照して示されている。しかし、本発明の重要な相違点は、以下においてより完全に説明されるように、曲面ミラーによって作り出される垂直視差が無視されないことである。

図２１を参照すると、図１５のものと同様の要素はすべて同様の参照文字を有し、上述されており、好ましい較正プロセスが、ミラーアレイ１００の前方の３Ｄシーンをシミュレートするために所定の基準物（市松模様板６２等）を配しよう。次に、デジタルカメラ９２が、ミラーアレイ１００内の各ミラーから反射された市松模様板の画像（又は画像群）を取得しよう。しかし、本較正方法の、従来技術のものとの相違点は、市松模様板６２、ミラーアレイ１００及びカメラ９２の互いに対する正確な位置が求められることであり、本較正方法はさらに、各ミラー上のあらゆる表面点（すなわちイメージングされる画素に対応するあらゆる点）から３Ｄシーン上のその対応点への光の光線方向を較正し記録する。

目下好ましい実施形態では、カメラ９２によって取得された画像の各画素はその対応するミラーに相互に関連付けられる。各ミラーの表面曲率は、各ミラー上の各表面ロケーション（すなわち表面点）がその対応する画像画素に対応付けられかつ、各表面点は市松模様板６２上のその対応する特定の物理点にも対応付けられるように決められる。この対応付け情報は電子メモリー内に記憶されてよい。該電子メモリーは、カメラ９２の内部に組み込まれてもよいし、又はカメラ９２によってアクセス可能であってもよいし、又は別の態様でカメラ９２と組み合わせられてもよい（カメラ９２の外部のデータ処理デバイスを用いる等）。

説明しやすくするために、黒及び白の正方形の３つの列がミラーＭ９の表面上のそれらの反射位置にベクトルで対応付けられて示されている。本例では、このベクトル対応付けは、ミラーＭ９上の点から市松模様板６２上の対応する物理点に至る矢印によって示されるように、ミラーＭ９上の（画像画素に対応する）各点から市松模様板６２上のその対応点への光の光線の方向の特定及び記憶を意味する。ミラーＭ９上の（画像画素に対応する）すべての表面点は３Ｄシーン内のそれらのそれぞれの物理点にベクトル対応付けされることを理解されたい。ミラーアレイ１００内のすべてのミラーも同様にベクトル対応付けされることをさらに理解されたい。すなわち、各ミラー上の、取得画像内の画素に対応する各表面ロケーションも同様にベクトル対応付けされよう。このようにして、３Ｄシーン（市松模様板６２によって表される）から各個々のミラーにやって来る光の光線の方向を特定し、受けられた光の光線が跳ね返る、個々のミラー上の物理的表面位置を特定することが可能である。このベクトル対応付け情報は同様に電子メモリー内に記憶されてよい。電子メモリーはカメラ９２内に組み込まれてもよいし、又はカメラ９２によってアクセス可能であってもよいし、又は別の態様でカメラ９２と組み合わせられてもよい。

図２２に、較正後の、本発明による単純化された反射屈折光学系が示されている。同図において、図１５及び図２１のものと同様のすべての要素は同様の参照文字を有し、上述されている。説明を容易にするために、図２２にはミラーＭ９が１つだけ示されているが、ミラーＭ９はミラーアレイ１００を構成する複数のミラーのうちの１つであろうことを理解されたい。

図示のように、ミラーアレイ１００（単一の例示的なミラーＭ９によって代表される）から３Ｄシーン（単一の点Ｐ１によって表される）が反射される。説明を容易にするために、点Ｐ１からミラーＭ９に進む単一のミラー入射光線２１４が示されている。先に説明されているように、ミラーＭ９の表面上の反射点（ミラー反射ロケーション２１８として特定される）に対するミラー入射光線２１４のベクトル方向は、ＸＹＺ軸線によって示されるデカルト座標系を用いて記録されてよい。これは、点Ｐ１からミラー反射ロケーション２１８へのミラー入射光線２１４のベクトル方向を示すミラー入射光線方向の座標を定義する。

理解されるであろうように、ミラー入射光線２１４はミラー反射ロケーション２１８から反射し（すなわち跳ね返り）、デジタルイメージングシステム２１０に進むミラー反射光線２１６になる。ミラー反射ロケーション２１８の座標は、（又は同様の）デカルト座標系、あるいは他の適当な座標系を用いてミラー反射ロケーション座標として記録されてよい。次に、以下においてより完全に説明されるように、ミラー反射光線２１６がデジタル画像システム２１０によって取得され、光線画像の一部として記憶される。

デジタルイメージングシステム２１０はミラーアレイ１００（そのミラーＭ９のみが示されている）の光線画像を取得する。デジタルイメージングシステム２１０はピンホールカメラ９２のみによって構成されてもよいし、又はデジタル処理デバイス２０２と組み合わせたピンホールカメラ９２で構成されてもよい。取得された光線画像、及び又は較正データ、はカメラ９２内に記憶されてもよいし、又は代替的に任意使用の外部電子メモリー２０４内に記憶されてもよい。電子メモリー２０４は任意選択的にカメラ９２内又はデジタル処理デバイス２０２内にあってもよいし、あるいはカメラ９２及び／又はデジタル処理ユニット２０２によってアクセス可能であってもよい。

各光線画像は光線構造絵素（レイクセル）の２次元アレイであり、各それぞれのレイクセルは所定の色モデルによる光強度尺度、ミラー反射ロケーション座標、及びミラー入射光線方向座標を含む。光強度尺度は、それぞれのレイクセルにおいて受けられる光強度を示す。本図例では、ミラー反射光線２１６に対応するレイクセルは、点であって、該点から出るアレイを有する、点として示されている。点は光強度尺度及びミラー反射ロケーション座標を示し、アレイはミラー入射光線方向を示す。

図２３に、ライトフィールドの作製における本実施形態の利用のより完全な図例が提供されている。同図において、図１５及び図２１〜図２２のものと同様のすべての要素は同様の参照文字を有し、上述されている。明解にするために、物理的３Ｄシーン内の単一の物理点Ｐ１の前方にミラーアレイ１００が再び示されている。本例において、点Ｐ１は各ミラーの各取得画像内の単一の画素に対応する。典型的な３Ｄシーンはより大きい物体で構成されようことを理解されたい。好ましくは、ミラーは球面ミラーに限定されるのではなく、むしろ、種々の曲率を有する、凹状又は凸状になっていることを含む任意の曲率を有してよい。

カメラ９２はミラーアレイ１００の光線画像９４を取得する。説明の目的のために、画像画素とそれらの対応するミラーとの間の相互関係を強調するために、光線画像９４は、ミラー毎に１つの区域に分割されて示されている。これは画素の適当な対応付けによって達成されてよいことを理解されたい。画素のこの対応付けは較正プロセスの一部であってよい。

デジタル画像を定義するためのいくつかの標準色モデルがあるが、デジタルカメラは最も一般的には赤−緑−青（Red-Green-Blue、ＲＧＢ）色モデルで取得画像を記録する。つまり、取得画像の各画素は、その取得された（色）光強度を示すＲＧＢ値を記録する。しかし、本発明は、各画素についての（色を含む）光強度情報に加えて方向（又はベクトル）情報を組み込むことによって、デジタル画像が記録される様式を変更する。デジタル画像を記録するために用いられる色モデルにかかわりなく、目下好ましい実施形態は追加のロケーション及び光の光線方向情報をさらに記憶する。

好ましくは、各ミラーの表面は、各ミラー上の各ミラー反射ロケーションの物理的位置が記録されるように、所定の座標系（すなわち表面対応付けシステム）に従って特定される。好ましくは、各ミラー上の各ミラー反射ロケーション（すなわち表面位置）は（Ｘ_M0，Ｙ_M0，Ｚ_M0）等のデカルト座標、又は他の適した座標系を用いて記録される。ここで、（Ｘ，Ｙ，Ｚ）は表面座標を特定し、Ｍ０は所与のミラーを特定する。所望の場合には、反射されている３Ｄシーン内の物理点を特定するためにパラメーターＰ₀が追加されてよい（これは、所望の場合に、点の位置合わせにおいて用いられてよい）。この場合、各物理的表面ロケーションは（Ｘ_M0Ｐ₀，Ｙ_M0Ｐ₀，Ｚ_M0Ｐ₀）として記録されてよい。ここで、Ｐ₀は３Ｄシーン内の特定の点を特定する。各ミラー反射ロケーション及び対応する物理点の対応付けは較正プロセスの間に達成されてよい。代替的に、又はそれに加えて、取得された光線画像を記憶した後に、イプシロンステレオ拘束及びエピポーラステレオ拘束を組み合わせることによって複数のミラー間の物理点の相互関係が作られてよい。

例えば、図２３では、物理点Ｐ１はミラーＭ１上でミラー反射ロケーション６２において反射され、該ロケーションは（Ｘ_M1，Ｙ_M1，Ｚ_M1）として対応付けられてよい。反射される物理点も記録されるならば、点Ｐ１を反射するミラー反射ロケーションは（Ｘ_M1Ｐ₁，Ｙ_M1Ｐ₁，Ｚ_M1Ｐ₁）として記録されてよい。同じ物理点Ｐ１はミラーＭ２上でミラー反射ロケーション６４において反射され、該ロケーションは（Ｘ_M2，Ｙ_M2，Ｚ_M2）として対応付けられてよい。この場合も先と同様に、反射される物理点も対応付けられるならば、ミラーＭ２上の、点Ｐ１を反射するミラー反射ロケーションは（Ｘ_M2Ｐ₁，Ｙ_M2Ｐ₁，Ｚ_M2Ｐ₁）として記録されてよい。第３の例として、物理点Ｐ１はミラーＭ３上でミラー反射ロケーション６６において反射され、該ロケーションは（Ｘ_M3，Ｙ_M3，Ｚ_M3）として対応付けられてよい。先と同様に、光線画像取得時に物理点Ｐ₁も対応付けられる場合には、ミラーＭ３上の、点Ｐ１を反射するミラー反射ロケーションは（Ｘ_M3Ｐ₁，Ｙ_M3Ｐ₁，Ｚ_M3Ｐ₁）として記録されてよい。

各ミラーの、点が反射される物理的ミラー反射ロケーションを記憶することに加えて、本発明はさらに好ましくは、各ミラー上のミラー反射ロケーションから、反射されている３Ｄシーン内の物理点に至るミラー入射光線方向情報を記憶する。説明の各々のために、この光線方向は本願明細書においてベクトル、又はベクトル方向と呼ばれる。ベクトルは通例、大きさ及び方向の両方を含むであろうが、所望の場合には、ＲＧＢ値が光の光線ベクトルの大きさ成分として用いられてよいことを理解されたい。先に説明されているように、ミラー入射光線方向を得る１つの方法は、システム較正時に、既知の対応付けられたパターンを３Ｄシーンとして配し、各ミラー上の各既知のパターンロケーションの反射ロケーション及び方向を記録することによるものである。各ミラーの表面は対応付けられ、各対応付けられたパターンのロケーションは既知であるので、各ミラー表面ロケーションからの各パターンロケーションへの光の光線方向が求められ、記憶されることができる。

このベクトル方向は、デカルト座標（又は他の適した座標系）を用いて（好ましくは光線画像取得時に）記憶され、ｄｘ、ｄｙ、ｄｚとして示されてよい。例えばミラーＭ１では、ミラー反射ロケーション６２（Ｘ_M1，Ｙ_M1，Ｚ_M1）から物理点Ｐ１へのミラー入射光線６８の方向は（ｄｘ₁，ｄｙ₁，ｄｚ₁）として記憶されてよい。同様に、ミラーＭ２については、ミラー反射ロケーション６４（Ｘ_M2，Ｙ_M2，Ｚ_M2）から物理点Ｐ１へのミラー入射光線は（ｄｘ₂，ｄｙ₂，ｄｚ₂）として記憶されてよい。

したがって、取得された光線画像の各レイクセルは所与の色モデルによる色／光の強さの値を記憶するだけでなく、所与の画素についての各ミラー上の物理的表面反射ロケーション（Ｘ_M0，Ｙ_M0，Ｚ_M0におけるミラー反射ロケーションとして示される）及びこの物理的ロケーションから３Ｄシーン内の実際の物理点への光の光線についてのベクトル方向（ミラー入射光線方向ｄｘ₀，ｄｙ₀，ｄｚ₀として示される）も記憶する。それ故、結果としてできる絵素記憶構造は光線構造と呼ばれる。

一般性及び計算効率のために、結果としてできるマルチ透視投影光線画像は、「２Ｄ光線の２Ｄ画像」を用いてモデル化される。より正確には、光線画像は「光線構造」の２Ｄアレイである。各画素についての「ＲＧＢ」値のみを記憶する古典的画像とは対照的に、（本発明による）「レイクセル」は「ＲＧＢ」情報を記憶するだけでなく、光線の初期ミラー表面ロケーション（Ｘ_M0，Ｙ_M0，Ｚ_M0におけるミラー反射ロケーション）及び光線方向（ミラー入射光線方向ｄｘ₀，ｄｙ₀，ｄｚ₀）も記憶する。ベクトル方向情報を組み込む光線構造が取得画像９４内の矢印として示されている。説明しやすくするために、ミラーＭ１、Ｍ２、及びＭ３内の画素について記憶されるＲＧＢ、ミラー反射ロケーション、及びミラー入射光線方向情報が同様に示されている。

共通点、Ｐ１、に対応する、各ミラーからのレイクセル情報を合わせると、結果は、共通点Ｐ１に対応するライトフィールド６８になる。基本的に、各ミラーの各光線画像はそれ自身の別々の（及び個々の）光強度情報並びに／あるいはミラー反射ロケーション及び／又はミラー入射光線方向情報に寄与する。

互いに対応するレイクセルは、それらのミラー反射ロケーション及び／又はミラー入射光線方向情報によることによって特定されてよい。すなわち、各ミラー上の各表面ロケーションは３Ｄ上の別々の点に対応付けられ、この対応付けは、互いに対応する、各光線画像内のレイクセルを求めるために用いられてよい。代替的に、レイクセル間の対応は、一致したレイクセル対のインデックスによって求められてもよい。

かように、「光線画像」モデル化の利点は、それが、複雑なモデル化を用いずに各取得画像からライトフィールドを直接レンダリングすることを可能にすることである。同様に、本アプローチは、ミラー表面の形状の種類、又はカメラ−ミラーの並びに対する要件がない。

加えて、図１７〜図１９を参照して先に説明されているように、ＧＬＣにおける定義あるいは３つの光線ｒ₁、ｒ₂、及びｒ₃は純粋に、投影点を定義するための基準を作り出すことである。しかし、本例では、光線ｒ₁、ｒ₂、及びｒ₃は各ミラー上の各反射画像上に三角形を構成しようから、これは実質的に各ミラー画像の三角形描出を定義する。周知のように、ＧＰＵは、あらゆるものがすべて三角形でできていることを前提として作業し、それらは、四辺形又は湾曲した表面パッチ等のより複雑な形状をいずれもまず三角形に切り分ける（すなわち三角形レンダリング）。本光線画像は三角形レンダリングによって既に定義されているので、現在取得された光線画像は、レンダリングステップにおけるマルチ透視投影反射屈折式カメラから任意の所望の透視像への直接的なＧＰＵベースのテクスチャ対応付けを可能にする。

図２４に、図１５のミラーアレイ１００の各ミラーからのレイクセル情報を組み合わせることによってライトフィールド画像２２０を作製する例が示されている。理解されるであろうように、ライトフィールド画像２２０を用いて、ライトフィールド内の任意の選択アイテムに個々に焦点を合わせることができよう。加えて、ミラーアレイ１００内の異なるミラー提供される視野の大きな変化の故に、ライトフィールド画像２２０は実質的に合成大開口画像である。これは、いくつかのアイテムの遮蔽を補償することを可能にする場合がある。

本発明の追加的な利用は、アイテムの、ライトフィールド内の互いに対する奥行きを求めることにおける利用である。これは画像の３Ｄレンダリングにおいて有用である。好ましくは、この２Ｄから３Ｄへのレンダリングは、上述のイプシロンステレオ拘束を組み込むグラフカットアルゴリズムを利用する。

図２５を参照すると、光線画像（単数又は複数）を作製した後、２Ｄから３Ｄへのレンダリングにおける第１のステップは、被写界深度画像（すなわちライトフィールド画像）をレンダリングすることである（ステップＳ１）。このステップはすべてのミラーからのレイクセル寄与を組み合わせ、ミラーアレイによって提供される視野の大きな変化の故に合成大開口画像を実質上作り出す。図２４に、このステップの例が示されている。

次に、ミラーアレイ１００内の１つのミラーがその後選択されてよく、その１つのミラーについての透視画像がレンダリングされる（ステップＳ２）。図２６に、このような透視画像の例が示されている。本発明の１つの実施形態では、図１６〜図２０（Ａ）／図２０（Ｂ）を参照して先に説明されたように、透視画像のレンダリングは好ましくはイプシロン拘束を利用する。正しい３Ｄ画像を作るために、３Ｄシーン内のイメージングされた物体の相対的奥行き位置を確立するための奥行きマップが必要である。奥行きマップを定義する好ましい方法は、グラフカット技法の利用によるものである。

視覚対応のためのグラフカットベースのアルゴリズムは、エピポーラ幾何の存在を通例仮定するが、高精度かつ安定的な再構成を作ることができる。例として、グラフカットを用いて視覚対応を計算することの説明が、Ｋｏｌｍｏｇｏｒｏｖらによる「グラフカットによる遮蔽のある視覚対応の計算（Computing Visual Correspondence with Occlusions viａ Graph Cuts）」、ＩＣＣＶ、５０８〜５１５ページ、２００１年に提供されている。同文献は、その全体が本願明細書において参照により援用されている。

先に説明されているように、１対のマルチ透視投影カメラは一般的にエピポーラ拘束を満たさないであろう。しかし、イプシロンステレオ拘束を用いることで、本発明はステレオマッチングをマルチ透視投影カメラに拡張する。本アプローチによって、反射屈折光学系のための一般的なステレオ拘束をモデル化することが可能になる。さらに、この一般的なステレオ拘束は中心反射屈折光学系（球面ミラーを有するもの等）に限定されない。

イプシロンステレオ拘束を用いる力ずくのアプローチは、不一致ラベルセットを２次元に拡張することによってグラフカット又は信念伝播等の古典的ステレオマッチングを変更することである。１つの画像ビュー内の列内のすべての画素は別の画像ビュー内の同じ列の周りの±ε帯に対応付くこと、ただし、εは境界があり、通常、非常に小さいことを思い出されたい。したがって、標準的なステレオマッチングにおける２Ｄ探索空間をそのまま用いることができる。しかし、このアプローチの欠点は、このようなラベル付けの下での対応する光線は任意に斜めになり得、３Ｄ点に対応付かない場合があろうことである。

首尾一貫したエピポーラ幾何を強化するために、２つの光線間の「近さ」を測るべく追加のペナルティー項が追加されることが好ましい。図２７を参照すると、説明しやすくするために、２つの観視角度からの２つの平坦画像Ｉ１及びＩ２が示されている。反射屈折光学系で撮影される画像は歪むであろうことを理解されたい。進行中の説明は一般線形カメラ（ＧＬＣ）モデルの上述の説明を土台にしている。左ビュー参照カメラＧＬＣ_L（すなわち第１の曲面ミラーからの第１の画像ビュー）内の各画素ｐ［ｕ_L，ｖ_L］について、その対応する光線ｒ_p＝［σ_L，τ_L，ｕ_L，ｖ_L］がｐからまず計算されることに留意されたい。ただし、σ_L、τ_Lは画素ｐにおける光線方向を記述する。好ましい実施形態では、この光線方向はミラー入射光線方向に対応し、光線画像内のレイクセル情報から直接取り込まれてよい。しかし、それは、以下のように、ＧＬＣモデルから求められてもよい。

σ（ｕ，ｖ）＝（１−ｕ−ｖ）・σ₁＋ｕ・σ₂＋ｖ・σ₃ （６）
τ（ｕ，ｖ）＝（１−ｕ−ｖ）・τ₁＋ｕ・τ₂＋ｖ・τ₃
次に、光線ｒ_pは右ビューカメラＧＬＣ_R（すなわち第２の曲面ミラーからの第２の画像ビュー）内に投影される。

ＧＬＣは３Ｄ光線ｒ_pについての閉じた形の投影を提供する。ｒ_pはｕｖ平面に平行でないとすると、ｒ_pは［ｕ０，ｖ０，０］においてｕｖ平面と交差し、方向［σ０，τ０，１］を有することになる。ｒ_pを通る光線はすべて次式を満たす。

［ｕ，ｖ，０］＋λ１［σ，τ，１］＝［ｕ０，ｖ０，０］＋λ２［σ０，τ０，１］
λ₁及びλ₂を消去すると、次式を得る。

（ｕ−ｕ０）（τ−τ０）−（ｖ−ｖ０）（σ−σ０）＝０ （７）
式（６）を用いると、式（７）のσ、τは次式のようにｕ、ｖで置換されてよい。

（ｕ−ｕ０）（（１−ｕ−ｖ）τ１＋ｕτ２＋ｖτ３−τ０）
−（ｖ−ｖ０）（（１−ｕ−ｖ）σ１＋ｕσ２＋ｖσ３−σ０）＝０ （８）
それ故、ｒ_pはＧＬＣ内の円錐曲線Ｃｐに投影する。

したがって、右ビューカメラＧＬＣ_R（すなわち第２の曲面ミラーからの第２の画像ビュー）内の投影光線は曲線Ｃｐである。したがって、ＧＬＣ_R内の画素ｑ［ｕ_R，ｖ_R］がどれほどよくｐ［ｕＬ，ｖＬ］に一致するのかを測るために、ｐとｑとの間の色整合性及びｑからＣｐまでの距離の両方を測る。ｐ及びｑからの対応する光線ｒ_p及びｒ_qが３Ｄ空間内の点２００において交差するならば、ｑはＣｐ上にあるはずであり、ｑからＣｐまでの距離は理想的にはゼロであるはずであることに留意されたい。反射屈折式の応用では、この距離は通例ゼロではない。したがって、本実装では、この距離はＣｐ上の、ｑに最も近い点を見いだすことによって計算され、この距離は再投影距離Ｄ_reproj（ｐ，ｑ）として特定される。

最後に、イプシロンステレオマッチング問題は２Ｄ不一致ラベル付け問題として定式化される。ＧＬＣ_L内の各画素ｐについての探索領域はＧＬＣ_R内の高さ２ε及び幅ｄ_max ^xの窓として定義される。ここで、ｄ_max ^xは最大水平方向不一致であり、εはＧＬＣパラメーターから計算される。特定のラベル付けｆについてエネルギー関数が次のように定義される。

Ｅ（ｆ）＝Ｅ_d（ｆ）＋Ｅ_occ（ｆ）＋Ｅ_s（ｆ）＋Ｅ_reproj（ｆ） （９）
最初の３項は古典的ステレオマッチングにおいて一般に用いられる色整合性を測定するデータ項Ｅ_d、遮蔽項Ｅ_occ、及び平滑項Ｅ_s。最後の項、Ｅ_reproj（ｆ）、は、２つの光線間の「近さ」を測定する上述の追加のペナルティー項である。より具体的には、それは光線画像内のすべての点について、Ｃｐ上の、ｑに最も近い点（ｐ及びｐ＋［ｄｘ，ｄｙ］として特定される）の合計を測定し、再投影誤差項Ｅ_reprojとして定義される。すなわち、

このアプローチを用い、図２８に、グラフカット技法を用いて回復された奥行きマップ（ステップＳ３）が示されている。

次に、この奥行きマップはガイドフィルタリング（ステップＳ４）によって後処理され、好ましくは図２５の透視画像を用いることがギルドとして用いられる。ガイドフィルターに関する情報が、Ｈｅらによる「ガイドされた画像フィルタリング（Guided Image Filtering）」、ＥＣＣＶ、１〜８ページ、２０１０年に見いだされることができる。同文献はその全体が本願明細書において参照により援用されている。さらに好ましくは、本発明と同じ譲受人に譲渡された、構図変更のための重要度フィルタリング（Importance Filtering for Image Retargeting）、米国特許出願第１３／０９９，２２８号に開示されているように、ステップＳ４は重要度フィルタリングを利用する。同文献はその全体が本願明細書において参照により援用されている。

図２９に示されているように、これはより正確な奥行きマップ化画像をもたらす。

本発明はいくつかの特定の実施形態と併せて記載されているが、上述の記載に鑑みれば、多くのさらなる代替、変更及び変形が容易に分かることは当業者には明白である。それ故、本願明細書において記載されている本発明はこのような代替、変更、応用及び変形をすべて、添付の請求項の精神及び範囲内にあってよいものとして含むように意図されている。

１０…３Ｄシーン １１…カメラ １２…正方形 １３…カメラ １４…画像投影（画像平面） １５…２Ｄ画像（画像） １６…画像投影（画像平面） １７…２Ｄ画像（画像） １９…球 ２１…球 ２２…カメラ ２３…観視角度 ２４…カメラ ２５…観視角度 ２６…立方体 ２７…点線（線、投影線） ２８…２Ｄ画像 ２９…点線（線、投影線） ３０…２Ｄ画像 ３１…線 ３２…画像 ３３…変位線（エピポーラ線） ３５…エピポーラ線 ３６…球面ミラー（ミラー） ３６Ａ…ミラーアレイ（正方形ミラーアレイ） ３８…支持平面 ４０…ピンホールカメラ（カメラ、観視角度カメラ） ４２Ａ〜４２Ｄ…隅マーカー ４４…内側マーカー ５０…球面ミラー ５２…曲面ミラー ５４…カメラ ６１…反射屈折式カメラ機構 ６２…市松模様板（ミラー反射ロケーション） ６３…曲面ミラー（ミラー） ６４…ミラー反射ロケーション ６５…透視投影カメラ（カメラ） ６６…ミラー反射ロケーション ６７…仮想画像平面 ６８…ミラー入射光線（ライトフィールド） ６９…投影外形 ７０ａ〜７０ｄ…投影点 ７１ａ〜７１ｄ…光学的光線 ７３…ミラー（曲面ミラー） ７５…特異点 ７６…カメラ（中心反射屈折式カメラ） ７７…画像平面 ８０ａ〜８０ｄ…投影点 ８１ａ〜８１ｄ…光学的光線 ８３…ミラー ８６…カメラ（非中心反射屈折式カメラ） ８７…画像平面 ９１ａ〜９１ｄ…反射光線（平行光線） ９２…カメラ（デジタルカメラ、ピンホールカメラ） ９３…ミラー ９４…光線画像（取得画像） ９６…カメラ（光学的中心） ９７…正射投影レンズ ９８…軸 １００…ミラーアレイ １０１…曲面ミラー（ミラー） １０１’…画像（ミラー画像） １０３…曲面ミラー（ミラー） １０３’…画像（ミラー画像） １１１…点 １１２…垂直曲線（曲線） １１３…曲面（ドーム）ミラー（３Ｄ曲面ミラー、ミラー） １１５…カメラ １１７…２Ｄ画像（画像） １１７’…拡大画像平面 １１９…２Ｄ表現 １１９’…２Ｄ表現 １２１…垂直曲線 １２１’…垂直曲線 １３１…平行平面（平面） １３３…平行平面（平面） １４１〜１４５…点 １５０…物体 １５１…水平線 １６１’…視像（三角形） １６１”…視像 １６５…縁端画素（点、画素点、画素） １６５”…点（又は画素）（画素点、対応点、対応画素） １６７…イプシロンステレオ拘束曲線 ２００…点 ２０２…デジタル処理デバイス（デジタル処理ユニット） ２０４…電子メモリー ２１０…デジタルイメージングシステム（デジタル画像システム） ２１４…ミラー入射光線 ２１６…ミラー反射光線 ２１８…ミラー反射ロケーション ２２０…ライトフィールド画像 Ｏ_L、Ｏ_R…点（焦点、カメラ） Ｐ_L、Ｐ_R…点（投影点） Ｐ_O…点（３Ｄ点） ｐ…点（画素） Ｐ１…点（物理点、共通点） Ｐ₁…物理点 Ｑ…点 ｑ…画素 ｒ_A、ｒ_B…光線 ｒ_p…光線（３Ｄ光線） Ｖ、Ｖ’…視点（視像、光線）。

Claims (20)

1. 所望の３Ｄシーンを反射するためにミラーアレイ状に配列される複数の曲面ミラーと、
   前記曲面ミラーの光線画像を取得するデジタルイメージングシステムであって、前記光線画像の各々は光線構造絵素（レイクセル）の２次元アレイであり、各それぞれのレイクセルは所定の色モデルによる光強度尺度、ミラー反射ロケーション座標、及びミラー入射光線方向座標を含む、デジタルイメージングシステムと、
   を含む反射屈折式カメラシステムであって、
   前記光強度尺度は、前記それぞれのレイクセルにおいて受けられる前記光強度を示し、
   前記ミラー反射ロケーション座標は、対応する曲面ミラー上の表面ロケーションであって、前記表面ロケーションから、反射された光の光線が前記対応する曲面ミラーから前記それぞれのレイクセルに進む、前記表面ロケーションを示し、前記反射された光の光線は、前記３Ｄシーン内の点から前記表面ロケーションに入射する光の光線の反射であり、
   前記ミラー入射光線方向座標は、前記３Ｄシーン内の前記点から前記表面ロケーションへの前記入射する光の光線のベクトル方向を示す、
   反射屈折式カメラシステム。
2. 前記デジタルイメージングシステムは、ピンホールカメラを含む、請求項１に記載の反射屈折式カメラシステム。
3. 前記デジタルイメージングシステムは、ピンホールカメラである、請求項１に記載の反射屈折式カメラシステム。
4. 前記デジタルイメージングシステムは、処理デバイスと通信するピンホールカメラを含む、請求項１に記載の反射屈折式カメラシステム。
5. 前記反射屈折式カメラシステムは、非中心性である、請求項１に記載の反射屈折式カメラシステム。
6. 前記曲面ミラーは、任意の曲率を有する、請求項１に記載の反射屈折式カメラシステム。
7. 前記所定の色モデルは、ＲＧＢ色モデルである、請求項１に記載の反射屈折式カメラシステム。
8. 前記デジタルイメージングシステムは、前記３Ｄシーン内の前記点に対応する前記レイクセルからの情報を組み合わせることによって前記３Ｄシーン内の前記点についてのライトフィールドをレンダリングする、請求項１に記載の反射屈折式カメラシステム。
9. 各レイクセルの前記ミラー入射光線方向情報は、前記ライトフィールドの形成において組み合わせられる、請求項８に記載の反射屈折式カメラシステム。
10. 前記デジタルイメージングシステムは、互いに対応する前記光線画像内のすべてのレイクセルのすべての前記レイクセル情報を組み合わせることによって前記３Ｄシーンのライトフィールド画像をレンダリングする、請求項１に記載の反射屈折式カメラシステム。
11. 前記デジタルイメージングシステムは、
    （ａ）前記取得された光線画像内の対応するレイクセルからのレイクセル情報を組み合わせることによって被写界深度画像をレンダリングすること、
    （ｂ）前記曲面ミラーのうちの選択された１つについての透視画像をレンダリングすること、
    （ｃ）グラフカット技法を用いて奥行きマップを回復すること、及び、
    （ｄ）前記レンダリングされた透視画像を前記ギルドとして用いるガイドフィルタリングによって前記奥行きマップを後処理すること、
    によって前記光線画像から奥行きマップをレンダリングする、請求項１に記載の反射屈折式カメラシステム。
12. ステップ（ｃ）は、
    第１の光線画像内の各レイクセルについての探索領域を、第２の光線画像内の高さ２ε及び幅ｄ_max ^xの窓として定義することであって、ただし、ｄ_max ^xは最大水平方向不一致であり、εは前記第１の光線画像内の点Ｐの、前記第２の光線画像上の伸張歪みである、定義することと、
    特定のラベル付けｆについてのエネルギー関数を、
    Ｅ（ｆ）＝Ｅ_d（ｆ）＋Ｅ_occ（ｆ）＋Ｅ_s（ｆ）＋Ｅ_reproj（ｆ）
    として定義することであって、ただし、Ｅ_dは、色整合性を測るデータ項であり、Ｅ_occは遮蔽項であり、Ｅ_sは平滑項であり、Ｅ_reprojは、
    として再投影誤差を定義し、
    は光線画像内のすべての点についての、点ｐからｐ＋［ｄｘ，ｄｙ］までの最も近い距離の合計を求める、定義することと、
    を含む、請求項１１に記載の反射屈折式カメラシステム。
13. 反射屈折式カメラにおいてライトフィールドをレンダリングする方法であって、
    前記方法は、
    所望の３Ｄシーンを反射するためにミラーアレイ状に配列される複数の曲面ミラーを設けることと、
    前記曲面ミラーの光線画像を取得するデジタルイメージングシステムであって、前記光線画像の各々は光線構造絵素（レイクセル）の２次元アレイであり、各それぞれのレイクセルは所定の色モデルによる光強度尺度、ミラー反射ロケーション座標、及びミラー入射光線方向座標を含み、ただし、
    前記光強度尺度は、前記それぞれのレイクセルにおいて受けられる光強度を示し、
    前記ミラー反射ロケーション座標は、対応する曲面ミラー上の表面ロケーションであって、前記表面ロケーションから、反射された光の光線が前記対応する曲面ミラーから前記それぞれのレイクセルに進む、前記表面ロケーションを示し、前記反射された光の光線は、前記３Ｄシーン内の点から前記表面ロケーションに入射する光の光線の反射であり、
    前記ミラー入射光線方向座標は、前記３Ｄシーン内の前記点から前記表面ロケーションへの前記入射する光の光線のベクトル方向を示す、前記デジタルイメージングシステムを設けることと、
    前記３Ｄシーン内の前記点に対応するレイクセルからの情報を組み合わせることによって前記３Ｄシーン内の前記点についてのライトフィールドをレンダリングすることと、
    を含む方法。
14. 各レイクセルの前記ミラー入射光線方向情報は、前記ライトフィールドの形成において組み合わせられる、請求項１３に記載の方法。
15. 互いに対応する前記光線画像内のすべてのレイクセルのすべての前記レイクセル情報を組み合わせることによって前記３Ｄシーンのライトフィールド画像がレンダリングされる、請求項１３に記載の方法。
16. 前記反射屈折式カメラシステムは、非中心性である、請求項１３に記載の方法。
17. 前記曲面ミラーは、任意の曲率を有する、請求項１３に記載の方法。
18. 前記所定の色モデルは、ＲＧＢ色モデルである、請求項１３に記載の方法。
19. 前記デジタルイメージングシステムは、
    （ａ）前記取得された光線画像内の対応するレイクセルからのレイクセル情報を組み合わせることによって被写界深度画像をレンダリングすること、
    （ｂ）前記曲面ミラーのうちの選択された１つについての透視画像をレンダリングすること、
    （ｃ）グラフカット技法を用いて奥行きマップを回復すること、及び、
    （ｄ）前記レンダリングされた透視画像を前記ギルドとして用いるガイドフィルタリングによって前記奥行きマップを後処理すること、
    によって前記光線画像から奥行きマップをさらにレンダリングする、請求項１３に記載の方法。
20. ステップ（ｃ）は、
    第１の光線画像内の各レイクセルについての探索領域を、第２の光線画像内の高さ２ε及び幅ｄ_max ^xの窓として定義することであって、ただし、ｄ_max ^xは最大水平方向不一致であり、εは前記第１の光線画像内の点Ｐの、前記第２の光線画像上の伸張歪みである、定義することと、
    特定のラベル付けｆについてのエネルギー関数を、
    Ｅ（ｆ）＝Ｅ_d（ｆ）＋Ｅ_occ（ｆ）＋Ｅ_s（ｆ）＋Ｅ_reproj（ｆ）
    として定義することであって、ただし、Ｅ_dは、色整合性を測るデータ項であり、Ｅ_occは遮蔽項であり、Ｅ_sは平滑項であり、Ｅ_reprojは、
    として再投影誤差を定義し、
    は光線画像内のすべての点についての、点ｐからｐ＋［ｄｘ，ｄｙ］までの最も近い距離の合計を求める、定義することと、
    を含む、請求項１９に記載の方法。