JP2016537901A - ライトフィールド処理方法 - Google Patents

ライトフィールド処理方法 Download PDF

Info

Publication number
JP2016537901A
JP2016537901A JP2016533663A JP2016533663A JP2016537901A JP 2016537901 A JP2016537901 A JP 2016537901A JP 2016533663 A JP2016533663 A JP 2016533663A JP 2016533663 A JP2016533663 A JP 2016533663A JP 2016537901 A JP2016537901 A JP 2016537901A
Authority
JP
Japan
Prior art keywords
camera
ray
light field
plane
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016533663A
Other languages
English (en)
Inventor
リム，ロラン
アリュルラ，ベルナール，マクスヴェル
ニシダ，ケイシ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vidinoti SA
Original Assignee
Vidinoti SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vidinoti SA filed Critical Vidinoti SA
Publication of JP2016537901A publication Critical patent/JP2016537901A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay

Abstract

ライトフィールドに対応するデータを処理するためのライトフィールド処理方法において、プレノプティックカメラを用いて、前記プレノプティックカメラに依存するフォーマットでライトフィールドを表わす初期データをキャプチャするステップと；前記初期データを、カメラ非依存フォーマットで前記ライトフィールドを表わす変換済みデータへと変換するステップと；前記変換済みデータを処理して、異なるライトフィールドを表わす処理済みデータを生成するステップと、を含む方法。【選択図】図１ａ

Description

本発明は、ライトフィールド処理方法に関する。
ライトフィールドをキャプチャするデバイスは、益々一般的なものになってきている。ライトフィールドは多くの場合、プレノプティックカメラを用いてキャプチャされる。プレノプティックカメラの一般的な例としては、例えばライトロカメラ（Ｌｙｔｒｏ ｃａｍｅｒａ）がある。
各プレノプティックカメラは、キャプチャしたライトフィールドをカメラ依存フォーマットで表わすデータを生成する。例えば、ライトロカメラは、ライトフィールドを一連の行列によって表わし；各行列は、さまざまな方向からマイクロレンズ（ｍｉｃｒｏ ｌｅｎｓ）に到達する光の強度を示す複数のセルを含む。セルの数はマイクロレンズの数に対応する。
キャプチャされた情報のフォーマットは各デバイス毎に異なっていることから、１組の異なるプレノプティックカメラによりキャプチャされたライトフィールドデータに対して処理を適用するのは面倒なことである。
したがって、本発明の目的は、情報をキャプチャするために使用されたプレノプティックカメラの如何に関わらずさまざまな後処理方法を適用できるデバイス非依存プレノプティック表現を定義することにある。
本発明によると、これらの目的は、ライトフィールドに対応するデータを処理するためのライトフィールド処理方法において、
− プレノプティックカメラを用いて、前記プレノプティックカメラに依存するフォーマットでライトフィールドを表わす初期データをキャプチャするステップと；
− 前記初期データを、カメラ非依存フォーマットで前記ライトフィールドを表わす変換済みデータへと変換するステップと；
− 前記変換済みデータを処理して、異なるライトフィールドを表わす処理済みデータを生成するステップと、
を含む方法を用いることで達成される。
ライトフィールドを表わすデータのためのカメラ非依存表現の使用には、単一の方法をさまざまなプレノプティックカメラのためにプログラミングできるという、データ処理ソフトウェアのプログラマにとっての利点がある。
本発明は、例として提供されかつ図により示されている一実施形態の説明を用いることでより良く理解されるものであろう。
ライトフィールドのパラメータ化方法を概略的に表わす。 ライトフィールドのパラメータ化方法を概略的に表わす。 ライトフィールドのパラメータ化方法を概略的に表わす。 ライトフィールドのパラメータ化方法を概略的に表わす。 ライトフィールドのパラメータ化方法を概略的に表わす。 （図の左側の）同じ物理的点に由来し、そして（図の右側の）２つの平面表現を用いて再計算された２つの光線値を示す。Ｕ−Ｖ平面は、デバイスの主レンズ平面を表わしている。Ｒｘ−Ｒｙ平面は、観察された現実世界を表わしている。 それぞれ焦平面１１の前後にある（図の左側の）２つの異なる物理的点Ｂ、Ｃに由来し、そして（図の右側の）２つの平面表現を用いて再計算された２つの光線値を示す。 プレノプティックカメラ１の設計の第１の例を示す。 プレノプティックカメラ１の設計の第２の例を示す。 プレノプティックカメラ１の設計の第２の例を示す。 プレノプティックカメラ１の設計の第３の例を示す。 ここでは市松模様である既知の基準画像のプレノプティック表現から未知のプレノプティックカメラデバイスのパラメータを決定するためのプロセスを示す。 異なる距離のところにオブジェクトがあるシーン由来のライトフィールドの２つの平面表現を示す。 同じ点に由来する複数の光線間の三角測量を用いてシーンの各点の深度を測定するための第１の方法を示す。 単一の物理的点Ａにより発出され、２つの平面Ｒｘ−ＲｙおよびＵ−Ｖと交差する光線を示す。 Ｕ−Ｒｘプロット内に出現するエピポーラ線を示す。 単一点（Ｒｘ、Ｒｙ）を通過し、Ｕ−Ｖ平面に衝突する光線を拡散する、Ｕ−Ｖ平面用のガウシアンフィルターの一例を示す。 Ｕ−Ｖ平面用のガウシアンフィルターによる光線のぼやけを示す。 オブジェクトのサイズ変更プロセスを示す。 垂直平面の並進移動についての略図を簡単に示す。
定義
・ オブジェクト焦平面：カメラの主レンズ（ｍａｉｎ ｌｅｎｓ）に対し平行で、その上にプレノプティックカメラが焦点合せされる、シーン内の平面。
・ 画像焦平面：カメラの主レンズに対し平行で、オブジェクト焦平面上にある物理的点が、画像焦平面上に焦点が合った状態で投影される、カメラ内部の平面。
・ 焦平面：「オブジェクト」または「画像」の記載がない場合、それは、オブジェクト焦平面か画像焦平面のいずれかを意味する。
表現
プレノプティック関数は、多数のパラメータを伴うライトフィールドをその独立変数として記述する関数である。
典型的なプレノプティック関数は、３Ｄ空間内の所与の位置（ｘ、ｙ、ｚ）から発出され、所与の時間および波長で２Ｄ平面上の所与の位置（ｕ、ｖ）で観察された光の放射輝度を表わす。光線の強度を表わすプレノプティック関数Ｐは、以下の形態をとる：
Ｐ＝Ｐ（ｘ、ｙ、ｚ、ｕ、ｖ、ｔ、λ）
式中ｔおよびλは、それぞれ観察時間および波長である。
代替的には、所与の角度（θ、ψ）で（ｘ、ｙ、ｚ）から発出された状態の光線を考えてみることができる。このとき、光線は以下のようにパラメータ化される：
Ｐ＝Ｐ（ｘ、ｙ、ｚ、ψ、θ、ｔ、λ）
４Ｄプレノプティック関数
７個のパラメータ全てが義務的であるわけではない。例えば、シーン内の全ての光線が変化せず（すなわちｔは、スチールプレノプティック写真の場合のように恒常である）、そして単一の波長λを有する場合、上述の７Ｄプレノプティック関数を５Ｄ関数に縮小することができた。その上、光線がいかなるオブジェクトにも遮断されずに透明な空気の中を走行できると仮定すると、光線の放射輝度は、その線形経路に沿って恒常にとどまる。その帰結として、光線を、４つのパラメータにより完全にパラメータ化することが可能である。例えば、２つの予め定義された表面上の２つの交差する点の位置を用いて、光線を表わすことができる。例えば、出発点（ｘ、ｙ、ｚ）および別の表面上のビューイング／観察位置（ｕ、ｖ）の代りに、光線が中を通過する或る表面上の位置（ｘ’、ｙ’）および（ｕ、ｖ）を考慮する必要しかない。
４Ｄ関数プレノプティック関数は、以下のように公式化することができる：
Ｐ＝Ｐ（ｘ’、ｙ’、ｕ、ｖ）
式中、（ｘ’、ｙ’）は、表面の座標（ｃｏｏｒｄｉｎａｔｅ）内の第１の予め決められた表面と光線との交点であり、そして（ｕ、ｖ）は、第２の予め決められた表面と光線との交点である。
４つのパラメータ（必要な場合にはこれに加えて時間および／または波長）を用いてライトフィールドの各光線を特徴付けるためのパラメータ化方法は、好ましくは、キャプチャされたライトフィールドを有意義に表わし容易に処理されるようにするためプレノプティックカメラの設計を考慮に入れる。例えば、ライトフィールドを平行な平面を用いて表わすことは、互いに平行に配置された主レンズ、マイクロレンズアレイおよびセンサー平面を含む一般的なプレノプティックカメラにとっては簡単なことであり得る。一方、１つの球上に多数のカメラが配置されている球面プレノプティックカメラにとっては、球座標系内でライトフィールドを表わすことは有意義であり得る。
好ましくは、特定のカメラ設計には依存しないパラメータ化方法が、ライトフィールドの各光線を表わすために選択される。このようにして、異なるタイプまたは設計のカメラを用いてキャプチャされたライトフィールドを表わすために一般的パラメータ化方法を使用することができる。
ここで、図１Ａ〜１Ｅすなわち２平面、球面、球面−球面、球面−平面および極にそれぞれ関連してライトフィールドの５つのカメラ非依存パラメータ化方法について説明する。
図１Ａは、２つの平面を用いたライトフィールドのパラメータ化方法を示す。光線ｒi、ｒjが互いに平行な２つの平面Ｕ−Ｖ、Ｒｘ−Ｒｙと交わる位置によって、光線ｒi、ｒjが特徴付けされる。平面上の位置は、例えばデカルト座標系、または極座標系に基づいている。第１および第２の平面は、それぞれｚ＝０、ｚ＝１に置かれ、ここでｚ軸は２つの平面に直交する。（Ｕi、Ｖi）は、光線ｒiが第１の平面Ｕ−Ｖと交わる位置であり、（Ｒｘi、Ｒｙi）は、この光線ｒiが第２の平面Ｒｘ、Ｒｙと交わる位置である。放射輝度Ｐは、４つのパラメータＵi、Ｖｉ、Ｒｘi、Ｒｙiから一意的に決定される。ｚ軸を考慮に入れて、対応する光線ｘ、ｙ、ｚは、
Figure 2016537901
 として得られる。式中、ｋは、任意の正の実数値をとることのできるパラメータである。
この方法は、互いに平行なマイクロレンズアレイとセンサー平面とを有するプレノプティックカメラに好適である。この表現の１つの欠点は、それが平面Ｕ−Ｖ、Ｒｘ−Ｒｙに平行に通過する光線を表わすことができないという点にある。
図１Ｂは、互いに外接する２つの球ｓ１、ｓ２を用いたライトフィールドのパラメータ化方法を示す。二つの球ｓ１、ｓ２は互いに接している。光線ｒi、ｒjは、第１の球ｓ１を用いて外向き交点（ψ１、θ１）によって、そして第１の交点（ψ１、θ１）で第１の球と外接する第２の球ｓ２を用いて外向き交点（ψ２、θ２）によってパラメータ化される。（ψ１、θ１）は、第１の球との関係における球座標であり、（ψ２、θ２）は第２の球との関係における球座標である。光線ｒは、２点を通過する線として得られる：
Figure 2016537901
この表現は、球上に配置されたカメラアレイによりキャプチャされるプレノプティック画像の場合に有用である。このタイプのカメラは典型的には、ストリートビューのキャプチャに使用される。この表現のもう１つの利点は、球と交差する全ての光線を、この表現を用いて記述できるという点にある。しかしながら、この球と交差しない光線は表わすことができない。
図１Ｃは、１つの単一球ｓを用いたライトフィールドのパラメータ化方法を示す。これは球ｓと各光線の２つの交点（ψ１、θ１）、（ψ２、θ２）を使用する。球ｓの半径がライトフィールドにとって充分大きいものであると仮定すると、全ての光線を４つの角度パラメータ（ψ１、θ１）、（ψ２、θ２）によって特徴付けることができる。光線は次のものとして得られる。
Figure 2016537901
この表現は、図１Ｂの球表現と全単射であり、したがって両方の表現共、いかなる情報損失も無く相互に変換可能である。したがって、その利点および欠点は、球表現のものと同等である。
図１Ｄは、１つの球ｓと１つの平面Ｐを用いたライトフィールドのパラメータ化方法を示す。光線ｒiが、平面Ｐとの交点（ｘ、ｙ）および球座標との関係における光線の角度（ψ、θ）を用いて表わされる。平面Ｐは、光線ｒiに直交するよう選択され、球の中心を通過し、こうしてその法線をディレクショナルスフィアの位置によって表わすことができるようになっている。
この球−平面表現は、上述の表現とは対照的に、球と交わるか否かとは無関係に、任意の位置から任意の方向に向かう光線を表わすことができる。しかしながら、球−平面表現からデカルト座標への変換は、先の表現に比べてさらに複雑である。
図１Ｅの極表現では、光線ｒiは、ｒ、ψ、θ、ωという４つのパラメータを用いて表わされる。ｒは、座標の原点と光線上の最接近点Ａとの間の距離である。（ψ、θ）は、球座標内の最接近点Ａの座標である。ωは、光線が中に存在する平面ｐ内の光線の角度であり、ここでこの平面は原点から最接近点Ａまでのベクトルに直交する。
極表現は、球−平面表現と全単射であり、こうして全ての方向にフェアリングし球と交差するかまたは交差しない全ての光線を表わすことができる。それでも、この表現は、１つのパラメータが距離であり、他の３つのパラメータが異なる中心点からの角度であることから、比較的直観性が低いことがあり得る。球平面表現と同様、デカルト座標への変換は複雑である。
これらのパラメータ化表現またはフォーマットは全て、これらの表現のうちのいずれか１つへの変換が、カメラ設計に依存しておらず、任意のプレノプティックカメラでキャプチャされた任意のプレノプティックデータから可能であるという意味合いにおいて、カメラ非依存である。しかしながら、指摘された通り、一部の表現は、一部のカメラにさらに適応されており、変換のために必要な処理が少ない。
プレノプティックデータ変換
上述の表現は全て、同じ条件でキャプチャされた光線情報をパラメータ化することから、プレノプティックデータの１つの表現を別の表現に変換することができる。
１つの表現から別の表現へのデータ変換は、データ処理を容易にするために使用可能である。例えば、球表現でのプレノプティックデータに対して深度再構成アルゴリズムを適用することは難しいかもしれないが、一方２つの平面表現ではさほど複雑ではない。したがって、球表現で記憶されたプレノプティックデータから深度を計算したい場合には、最初に球表現から２つの平面表現に変換し、その後に２つの平面表現の内部で深度再構成アルゴリズムを適用することができる。より一般的には、ライトフィールドの処理には、第１のカメラ非依存表現から、処理のためにより良く適応されている異なるカメラ非依存表現へとライトフィールド表現を変換するステップが含まれていてよい。
プレノプティックデータは、線として表現された１組の光線であるため、１つの表現から別の表現への変換は、１つの座標系内の線のパラメータを別の座標系内の対応するパラメータに変換することと等価である。
変換のための一般的アプローチ
表現フォーマットアルゴリズムの変換は、入力および出力データ表現によって左右される。しかしながら、アプローチは、概して次の変換方法に要約することができる。
変換方法
元座標内で４つのパラメータｐ１、ｐ２、ｐ３、ｐ４として表わされた各光線について；
１．線パラメータｐ１、ｐ２、ｐ３、ｐ４をデカルト座標内の対応する線Ｌに変換する。
２．移動先座標に関する線Ｌのフィーチャを抽出する（例えば、１つの球との交点を見出す）。
３．フィーチャを、移動先座標内の対応する４つのパラメータｑ１、ｑ２、ｑ３、ｑ４に変換する。
４．Ｐ（ｐ１、ｐ２、ｐ３、ｐ４）をＰ（ｑ１、ｑ２、ｑ３、ｑ４）に割当てる。
一例として、２つの平面表現と球−球表現の間の変換方法についてここで説明するだろう。
２つの平面表現（Ｒｘ、Ｒｙ、Ｕ、Ｖ）内の各光線について、以下のことを行なう：
１．４つのパラメータを３Ｄデカルト座標内の２つの点、（Ｒｘ、Ｒｙ、１）および（Ｕ、Ｖ、Ｏ）に変換し、２つの点を通る線を、以下の通り計算する：
Figure 2016537901
 式中、ｋは、任意の実数をとることのできるパラメータである。
２．線と球の交点を計算する。１という半径を有する球を考慮する。こうして以下の式が得られる：
Figure 2016537901
 式中、ｋ１およびｋ２は、ステップｂ内のｘ、ｙ、ｚを球ｘ∧２＋ｙ∧２＋ｚ∧２＝１という公式に代入することによって得られる以下の等式の解である：
Figure 2016537901
 ３．２つの交点を、
Figure 2016537901
 として球座標に変換する。
４．結果として、以下の通りの各光線Ｐ（Ｒｘ、Ｒｙ、Ｕ、Ｖ）から変換された光線Ｌ（ψ１、θ２、ψ２、θ２）が得られる：
Ｐ（φ1、θ1、φ2、θ2）＝Ｐ（Ｒx、Ｒy、Ｕ、Ｖ）
カメラ依存表現からカメラ非依存表現への変換
ここで、プレノプティックカメラデバイスでキャプチャしたプレノプティックデータを、デバイスに依存しないプレノプティックデータに変換する方法についての異なる例を説明するだろう。今日市販されている複数のプレノプティックカメラの例について説明する。考慮されるプレノプティックカメラは、Ｌｙｔｒｏ、ＲａｙｔｒｉｘおよびＰｅｌｉｃａｎ Ｉｍａｇｉｎｇ（全て登録商標）のものである。各カメラは異なる光学的設計を使用する。
この例において、我々は、デバイス非依存２つの平面表現への変換について説明するだろう。別の表現への変換も同様に可能である。２つの平面表現は、光線をキャプチャするための平行な平面を伴って設計されたプレノプティックキャプチャデバイスにさらに好適である。
ターゲット表現の２つの平面をＲｘ−ＲｙおよびＵ−Ｖと呼ぶだろう。Ｕ−Ｖ平面は、プレノプティックカメラデバイス１の主レンズ１０の平面（すなわちＰｅｌｉｃａｎ Ｉｍａｇｉｎｇカメラの場合のマイクロカメラの主レンズ平面）に対応し得る。Ｒｘ−Ｒｙ平面はＵ−Ｖ平面に平行である；これは、キャプチャの瞬間におけるプレノプティックカメラのオブジェクト焦平面（単複）１４の正規化バージョンである。Ｕ−Ｖ平面がＺ＝０にあり、Ｒｘ−Ｒｙ平面がＺ＝１にあるような形で、座標系を定義してよい。
図２は、（図の左側の）同じ物理的点Ａに由来し、そして（図の右側の）２つの平面表現を用いて再計算された２つの光線ｒi、ｒjを示す。Ｕ−Ｖ平面は、正規化されたカメラデバイスの主レンズ１０の平面を表わす。Ｒｘ−Ｒｙ平面は、正規化されたシーン（現実世界）１４を表わす。
オブジェクトＡの焦平面１４からＲｘ−Ｒｙ平面に向かう正規化プロセスは、カメラ１のオブジェクト焦平面１４をＺ＝１まで移動させ、その後、この新しい平面（すなわちＲｘ−Ｒｙ）とキャプチャされた光線ｒi、ｒjの新しい交差を再計算することに対応する。マイクロレンズまたはマイクロカメラ用として複数の焦点距離が使用されるＲａｙｔｒｉｘまたはＰｅｌｉｃａｎ Ｉｍａｇｉｎｇの場合、正規化は、（異なるレンズの各々の焦点距離によって提供される）各オブジェクト焦平面について行なわれる。これは、各々の異なるオブジェクト焦平面をＺ＝１まで移動させ、その後、この新しい平面（すなわちＲｘ−Ｒｙ）と光線の交差を再計算することに対応する。
ライトフィールドが離散的プレノプティックカメラ１を用いてキャプチャされるという事実にも関わらず、２つの平面Ｕ−Ｖ、Ｒｘ−Ｒｙは、連続する空間内で考慮される。実際、こうして、異なるカメラ（すなわち異なる固有パラメータを有する）によりキャプチャされた光線ｒi、ｒjを全て、情報の損失無く同じ連続的表現上で表わし得ることが保証される。これによって、例えば一部の処理またはレンダリングのためにこの空間の離散化決定が制限されないことは明らかである。
図２は、物理的点Ａに由来する２本の光線ｒi、ｒjを示す。レジスターに格納されたライトフィールドデータは、全ての光線の強度および方向を含む。この記憶されたライトフィールドデータには、いずれにせよ、デバイス依存性であるという不都合がある。焦平面上の物理的点Ａは、この物理的点が視野角に応じて異なる光線を反射する場合に強度が異なる可能性のある２本の光線ｒi、ｒjによって、プレノプティックカメラデバイス１により見られる（非ランバート面の原理（ｐｒｉｎｃｉｐｌｅ ｏｆ ａ ｎｏｎ−ｌａｍｂｅｒｔｉａｎ ｓｕｒｆａｃｅ））。両方の光線ｒi、ｒjは焦平面１４に由来し、その各々が特定の強度および方向を有する。それらが同じ物理的点Ａに由来しているという事実はもはや分からない。物理的点と光線をマッチさせ、ひいては深度情報を導出するための一部のアルゴリズムについては、後述するだろう。
これらの記録された光線ｒi、ｒjは、前述した２つの平面表現を用いて表わすことができる。デバイス１の主レンズはＵ−Ｖ平面によって表わされる。シーンはＲｘ−Ｒｙ平面により表わされる。記録された光線は、それらがこれら両方の平面と交わる位置を用いて、記述される。Ｒｘ−Ｒｙ平面は、距離Ｚ＝１のところで、Ｕ−Ｖ平面に対し相対的に位置づけされる。焦平面１４およびＵ−Ｖ平面と光線方向との間の距離は分かっていることから、２本の光線と平面との間の交わる位置を計算することができる。Ｒｘ（またはＲｙ）は、１本の光線が平面と交差するｘ（またはｙ）方向におけるＲｘ−Ｒｙ平面上の座標である。同様にしてＵとＶは、Ｕ−Ｖ平面と１本の光線の交差に対応する。
図３は、それぞれ焦平面１４の前後にある２つの異なる物理的点Ｂ、Ｃに由来する（左側の図）そして２つの平面表現を用いて再計算された（右側の図）２つの光線値を示す。キャプチャデバイス１は、物理的点がどこにあるか知らない。１つの点は、例えば焦平面の前、上または後にあってよく、なおもカメラ上に同じ光線を生成する。
ここで、Ｌｙｔｒｏ（登録商標）によって販売されている１つのプレノプティックカメラに対応する設計を有するデバイス１の一例について図４と共に説明するだろう。
このプレノプティックカメラデバイス１は、カメラセンサー平面１３の直正面でマイクロレンズアレイ１２上に光線ｒi、ｒjを焦点合せされる主レンズ１０を含む。参照番号１４は、オブジェクト焦平面であり、主レンズ平面はＵ−Ｖで呼称されている。Ｒｘ−Ｒｙ平面はカメラ主レンズ平面Ｕ−Ｖから距離１のところにおけるシーンを表わす。主レンズ１０はマイクロレンズアレイ１２上に焦点合せすることから、マイクロレンズアレイ１２上で交差する光線ｒi、ｒjは同様に、カメラの焦平面１４上でも交差する。各マイクロレンズは、センサー１３上に、隣接するマイクロ像と重複しないマイクロ像を形成する。全てのマイクロレンズの焦点距離は同じである。マイクロレンズ１２は、主レンズと比べて著しく小さく（例えば約３００分の１）、主レンズ１０がマイクロレンズの光学的無限遠にくるような距離のところに設置される。この設計は、同じマイクロレンズに到達する光線の方向が、シーン内の焦点合せされたオブジェクトに属する物理的点の異なる視野角に対応するという興味深い特性を提供する。換言すると、焦点合せされたオブジェクトの各々の物理的点は、その光線の全てが単一のマイクロレンズによりキャプチャされ、したがって単一のマイクロ像内でセンサー１３上に記憶されることになり、ここでマイクロ像の各画素はその物理的点の異なる光線方向に対応している。
センサー１３平面上の各マイクロ像は、１つのマイクロレンズに対応し座標ＸおよびＹを有する。マイクロ像内部の各画素は、座標ＰおよびＱを有する。各マイクロ像は、光学軸との関係において指標付けされる。所与のマイクロ像中の画素は、マイクロレンズの光学軸との関係において指標付けされる。Ｎx（またはＮy）が、ｘ（またはｙ）方向におけるマイクロ像の数に対応し、Ｎp（またはＮy）がｘ（またはｙ）方向におけるマイクロ像内部の画素の数に対応すると仮定する。さらに、このときパラメータを以下の通りに公式化することができる：
Figure 2016537901
光線ｒiは、その（Ｘ；Ｙ）座標で識別されるマイクロレンズ１２０に衝突する。光線ｒiが衝突するマイクロ像の内部の選択された画素(ｓｅｌｅｃｔｅｄ ｐｉｘｅｌ)１３０は、その（Ｐi；Ｑi）座標を用いて記述される。主レンズ１０内部の光線が通過する部域は、その（Ｕ；Ｖ）座標で識別される。Ｒｘ−Ｒｙ平面と、特定の方向を有する（Ｕ；Ｖ）においてデバイスの主レンズ１０に衝突する光線ｒiとの交差は、（Ｒｘ；Ｒｙ）座標を用いて記述される。各光線について、Ｒｘ−Ｒｙ平面上の座標（Ｒｘ；Ｒｙ）および主レンズ上の座標（Ｕ；Ｖ）は、光線が通過しているマイクロレンズ座標（Ｘ；Ｙ）およびマイクロ像内の画素座標（Ｐ；Ｑ）である公知のデバイスパラメータを用いて決定されなければならない。
デバイス依存型パラメータを用いて表わされたキャプチャされた光線を、デバイス非依存平面−平面表現へと変換するための変換は、以下の通りに公式化することができる：
Figure 2016537901
ここで、図５および６を用いて、Ｐｅｌｉｃａｎ（登録商標）により提案されているものと類似のプレノプティックカメラ設計の例について説明するだろう。
図５のプレノプティックキャプチャデバイス１は、同じ平面Ｕ−Ｖ上で整列され好ましくは互いに等距離に置かれたレンズを有するマイクロカメラ１６のアレイを含む。これらのマイクロカメラ１６は、薄型であり、したがって、ポータブルコンピュータ、パームトップ型コンピュータ、スマートフォンまたは類似のデバイスなどのモバイルデバイスの内部に内蔵可能である。例えば図示された例では４つである、異なる焦点距離ｆ1、ｆ2を伴う複数の異なるカメラタイプを使用して、このプレノプティックカメラがより多くの角度情報をキャプチャするようにすることができ得る。各マイクロカメラは、わずかに異なる位置および焦点距離からシーンのサブビューをキャプチャする。したがって、ライトフィールドは、異なるマイクロカメラの画像を組合わせることによって作り出される。
参照番号１９は、公式内で全ての位置がそこから計算される合成光学軸を呼称する。
各マイクロカメラ１６は、シーンのサブビューをキャプチャする。マイクロカメラ平面１６０をＵ−Ｖ平面と整列させることにより、各マイクロカメラは、特定のＵ−Ｖ座標に衝突する光線をキャプチャする。これは、考えられる全てのＲｘ−Ｒｙ座標に由来するものの、特定のＵ−Ｖ座標に衝突する光線のみを考慮すること、すなわちＵ−Ｖ平面上の特定の位置からシーンを見ることに対応する。
全てのマイクロカメラ１６は異なる焦点距離ｆ1、ｆ2…を有することから、焦平面１４は、Ｒｘ−Ｒｙ平面を形成するために個別に正規化される必要がある。
各々のマイクロカメラ１６は、その座標ＸおよびＹによって定義され得、マイクロカメラ内部の各画素は、ＰおよびＱを用いて記述される。さらに、
Figure 2016537901
 であり、式中、Ｎx（またはＮy）は、ｘ（またはｙ）方向のマイクロカメラの数に対応し、Ｎp（またはＮy）は、ｘ（またはｙ）方向のマイクロカメラ内の画素の数に対応する。
各マイクロカメラ１６は、合成光学軸１９との関係において指標付けされる。各マイクロカメラについての画素位置は同様に、この合成光学軸との関係において変換される。Ｒｘ−Ｒｙ平面上の計算されたＲｘＲｙ位置およびＵ−Ｖ平面上のＵＶ位置は同様に、この軸との関係におけるものである。
図６に示されている通り、キャプチャされた各光線ｒi、ｒjは、両方の平面上で、Ｕ−Ｖ平面内では一対の座標（Ｕ；Ｖ）を用いて、そしてＲｘ−Ｒｙ平面内では（Ｒｘ；Ｒｙ）座標を用いて、表わされることができる。光線は最初に、（Ｕ；Ｖ）座標を用いて記述されるマイクロカメラＵ−Ｖ平面に衝突する。その後、この光線は、選択されたマイクロ像の内部の光線の位置を記述する特定の座標（Ｐ；Ｑ）でセンサー１３に衝突する。座標（Ｒｘ；Ｒｙ）は、実際には、記録された（Ｐ；Ｑ）座標を用いかつ以下の通りのマイクロカメラの相対的オフセット（ｏｆｆｓｅｔ）を考慮に入れて得られる：
Figure 2016537901
図７は、Ｒａｙｔｒｉｘ（登録商標）により提案されているプレノプティックカメラに対応し得るプレノプティックカメラ１設計の例を示す。このカメラ１は、カメラ内部の画像焦平面１５上に光線ｒi、ｒj、ｒkを焦点合せする主レンズ１０を含む。マイクロレンズアレイ１２が、焦平面１５上に焦点合せされ、この焦平面の後ろに位置設定される。マイクロレンズ１２は次に、カメラセンサー１３上に光線を収束させる。各マイクロレンズは異なる視野角で画像焦平面１５のシーンを見る。したがってオブジェクト画像平面１４上に焦点合せされた状態の点Ａは、画像焦平面１５上に画像形成され、これをマイクロレンズ１２が異なるビュー位置から観察する。例えば３つといった複数の異なるタイプの焦点距離がマイクロレンズのために使用される。したがって、これらのマイクロレンズは、３つの異なる画像焦平面１５上に焦点合せし、その結果、キャプチャされる角度情報は増大する。
センサー平面１３上の各マイクロ像は、その座標ＸおよびＹにより識別されてよく、マイクロ像内部の各画素はＰおよびＱとして識別されてよい。さらに、
Figure 2016537901
 であり、式中、Ｎx(またはＮy）は、ｘ（またはｙ）方向におけるマイクロ像の数に対応し、Ｎp（またはＮy）はｘ（またはｙ）方向におけるマイクロ像内部の画素数に対応する。
各マイクロ像は、主レンズ光学軸との関係において指標付けされ、所与のマイクロレンズ内の画素はマイクロレンズ光学軸との関係において指標付けされる。
キャプチャされた各光線ｒi、ｒj、ｒkは、両方の平面上で、Ｕ−Ｖ平面内では一対の座標（Ｕ；Ｖ）を用いて、Ｒｘ−Ｒｙ平面内では（Ｒｘ；Ｒｙ）座標を用いて、表わされなければならない。この光線は最初にデバイスパラメータを用いてキャプチャされる。光線は最初に、（Ｕ；Ｖ）座標を用いて記述されるＵ−Ｖ平面と見なされる主レンズ平面１０に衝突する。次にこの光線は（Ｘ；Ｙ）を用いて記述される特定のマイクロレンズ１２に衝突する。その後この光線は、選択されたマイクロ像の内部の光線の位置を記述する特定の座標（Ｐ；Ｑ）でセンサー１３に衝突する。
座標（Ｒｘ；Ｒｙ）は、記録された（Ｐ；Ｑ）および（Ｘ；Ｙ）座標を用いて以下の通りに得ることができ得る：
Figure 2016537901
未知のまたは過度に複雑なカメラ構造に起因して理論的にカメラ変換関数を導出することが不可能である一般的なプレノプティックカメラの場合でも、カメラシステムの特性を測定することによって変換関数を獲得することがなおも可能である。例えば、パラメータが完全に公知である基準シーンを使用することによって、プレノプティックカメラ内でいかにシーンがキャプチャされ記憶されるかを測定することができる。
例として、少なくとも一部のパラメータが未知であるカメラ１のための変換関数を決定したい場合、カメラ較正と類似の要領で未知のパラメータを推論することによりカメラ変換関数Ｆを識別することができる。図８に示されている通り、未知のプレノプティックカメラ１でキャプチャされた市松模様２０のプレノプティック画像２１を使用して、カメラ１のパラメータを決定することができる。例えば、カメラ１モデルの設計が公知のカメラの設計と同一であるもののその焦点距離のみが未知であることが分かっている場合、光学軸に沿って基準画像を移動させることにより焦点距離を推論し、同じ物理的点に由来する全ての光線が１つの単一マイクロ像を構成している位置を発見することができる。
別のアプローチとして、カメラ設計もそのパラメータも未知であると仮定した場合に、一定の方向に向かって単一の光線を発出できるデバイス（例えばシャープレーザーポインタ）を使用して、プレノプティックデータの画素との対応を発見することができる。この単一光線は次に、プレノプティックカメラによりキャプチャされる。このアプローチは、以前のものでは同じ物理的点からフェアリングする複数の光線を記録していたものの、発出デバイスに由来する唯１つの単一光線をプレノプティックカメラが記録するという事実により、以前のものと異なっている。キャプチャされた光線は、プレノプティックカメラ内に進み、最終的には単一の画素に衝突する。シーンの他の強度値と異なる強度値を有する画素を観察することができる。複数の発出された光線の方向とそれらに対応する画素との間の対応を測定することにより、我々は変換マップを定義することができ、これにより変換関数が導かれる。複数の光線を異なる波長および／または変調で連続的におよび／または同時に発出して、各光線が衝突するプレノプティックカメラの画素を決定し、こうして変換関数を決定することが可能である。
標準からライトフィールドへの変換
標準的１Ｄ、２Ｄまたは３Ｄ画像データまたは立体データをカメラ非依存プレノプティック表現に変換して、これらの変換済み表現を処理し、場合によってはこれらを、プレノプティックカメラでキャプチャされ同じカメラ非依存プレノプティックフォーマットへと変換されたプレノプティック表現とマージすることも同様に可能である。
標準的２Ｄ画像および３Ｄモデルを扱う場合、プレノプティックキャプチャデータの場合に行なうはずのものと同じ要領でそれらをマージまたはそれらを処理することができるように、非依存性プレノプティック表現へとそれらを変換できる必要がある。
以上の場合がそうであったように、我々は、単純さおよび明確さを期して、２つの平面表現への変換を考慮する。
１Ｄまたは２Ｄ画像データの変換
特定の幅（Ｗ）および高さ（Ｈ）を有する２Ｄ画像は、Ｗ*Ｈ個の数の画素で構成される。各画素を、一対の２Ｄ座標Ｉｘ−Ｉｙを用いて表わすことができ、Ｒｘ−Ｒｙ平面上の特定の座標Ｒｘ−Ｒｙとマッチさせることができる。Ｒｘ−Ｒｙ平面上でこれらの座標に衝突する光線の強度は、２Ｄ画像の画素値で置換されるだろう。より厳密には、Ｉｘ−ＩｙとＲｘ−Ｒｙとの間のマッチングは、Ｒｙ−Ｒｙ平面上で（すなわちＺ＝１）、ＸおよびＹ上の所望の場所に２Ｄ画像を置くことによって行なわれる。Ｕ−Ｖ上の異なる点からフェアリングする多数の光線が、特定の座標でＲｘ−Ｒｙ平面と交差していることから、そのＲｘ−Ｒｙ座標上に置かれた２Ｄ画像の画素の強度値は、その座標を通過する全ての光線にコピーされる。したがって、２Ｄ画像の各画素は、異なる方向でフェアリングするものの同じ強度をもつ光線を有する物理的点へと変換される。
アプローチは、合成画像のためにも同様に利用可能である。特定の幅（Ｗ）および高さ（Ｈ）を仮定すると、これらは、標準的画像と同様にＷ*Ｈ個の数の画素で構成され、各画素は、上述のものと同じプロセスにしたがって、特定の座標Ｒｘ−Ｒｙとマッチされる。
１Ｄ画像も同様に、ライトフィールドに変換可能である。プロセスは、２つの次元（例えばＩｘ−Ｉｙ）ではなく１つの次元（例えばＩｘ）のみを考慮するという点を除いて、上述のものと同じである。
ビデオを一続きの２Ｄフレームと見なすと、各フレームも同様に、上述のものと全く同じ原理にしたがって、ライトフィールドに変換させることができる。
カメラ非依存フォーマットでのプレノプティックデータへの３Ｄモデルの変換
３Ｄモデルをライトフィールドに変換することもできる。１つの最初のアプローチは、非依存表現内に３Ｄ点として３Ｄモデルを統合することである。上述の１Ｄまたは２Ｄ画像の場合と同様に、光線は、異なる方向で３Ｄモデルの各々の３Ｄ点からフェアリングする。異なる方向での光線強度は、３Ｄモデルパラメータにより定義される。単純な場合には、全ての光線強度は、全ての方向で同じと考えられる（ランバートモデル）が、いつでもそうであるとはかぎらない。空間内の各々の３Ｄ点からフェアリングする全ての光線がひとたび分かったならば、Ｒｘ−ＲｙおよびＵ−Ｖ平面とこれらの光線との交差を計算して、非依存表現のための交差を計算する必要がある。我々には３Ｄモデルがあることから、閉塞を処理することができ、したがってＵ−Ｖ平面から直接見ることのできる光線のみが保持されるという点に留意されたい。Ｕ−Ｖ平面と交差するこれらの光線は次に、Ｒｘ−Ｒｙ平面まで拡張され、ここでそれらの交差が計算される。このようにして、プレノプティックカメラにより３Ｄモデルのビューをシミュレートする。このアプローチには、３Ｄモデルの考えられる各々のビューイング条件を考慮に入れ非依存表現でこの条件を表わす必要があり、それにはあるメモリー空間が必要となる可能性があるという欠点がある。しかしながら、考えられる全てのビューが予め非依存表現に変換されてしまっているため、これらのビューを使用したい場合に追加の処理時間は全く求められない。
別の実施形態においては、使用したい場合にのみ３Ｄモデルをカメラ非依存表現に変換する。このシナリオでは、正に上述のものと全く同じ処理が行なわれるが、これは所望のビューイング条件についてだけである。その帰結として、所要メモリー空間はより少なくなるが、何らかの後処理のための３Ｄモデルのオンデマンド変換に起因して、何らかの待ち時間が導入されるかもしれない。
ライトフィールド処理
上述の変換プロセスの出力は、カメラ非依存でかつさらなる処理のために直接使用可能であるライトフィールド表現である。実際、さまざまなカメラがハードウェア上の根本的で大きな差異を有していることから、このカメラ生成データに直接適用される後処理のための方法およびアルゴリズムを維持するのは面倒なことであると思われる。本発明で提案されているように、カメラの特異性から後処理アルゴリズムを解放するために、提示された異なる変換を使用することができる。
ここで、変換されたライトフィールドの修正を可能にするいくつかの後処理方法について説明するだろう。それは、拡張現実（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）を行なうこと、またはシーンの質を改善することのためであり得る。
シーンセントリック型表現
ライトフィールド表現は、カメラの位置に基づいて空間内の各光線を一意的に記述する。表現に応じて、キャプチャシステムが視野≧１８０°の内部の光を集めることができる場合、光線方向も同様に含み入れてよいと考えられる。
このカメラ中心型表現は、シーンの任意のオブジェクト上を中心にするように処理することができる。実際、光線は、光源などのシーンオブジェクトまたは直接または間接光源を反射する他のオブジェクトに由来する。キャプチャされたおよび変換されたライトフィールドを処理するためには、オブジェクトが付加、除去または修正された場合に光線を修正できるようにこのようなシーンセンタード型表現を有することが有用である。
例えば、拡張現実処理においては、多くの場合、キャプチャされたライトフィールドをいくつかの仮想／人工視覚情報で拡張する必要がある。本明細書において、拡張現実は同様に、時として減損現実（ｄｉｍｉｎｉｓｈｅｄ ｒｅａｌｉｔｙ）とも呼ばれる、シーンからオブジェクトを実際に除去する状況をも含んでいる。
次の節全体を通して、我々は、上述の２平面パラメータ化を用いたライトフィールド表現の実施例を使用するが、同じ方法は、例えば球−平面などの他の表現にも同等に適用可能である。
図９は、シーン２０由来のライトフィールドの２つの平面表現を示す。４本の光線ｒ1〜ｒ4が示されている。最初の２本の光線ｒ1、ｒ2は、カメラ１の焦平面Ｒｘ、Ｒｙ内の焦点合せされた点Ａに対応し、ここで最後の２本の光線ｒ3、ｒ4は、異なる距離で焦点合せされていない点Ｂに対応する。
先に説明した通り、この表現から光線ｒ1〜ｒ4のうちのどれが同じ物理的点を表わしているか否かを知ることは不可能である。ここでは、我々は、光線がシーン２０から発出され、したがってシーン点から出発してカメラ平面Ｕ−Ｖに衝突した時に停止するシーンセントリック型表現へとこの表現を変換することを提案する。したがって、我々は、光線を表わす半直線ではなく、セグメントを扱う。これは、光線がカメラから出発しており、その長さまたは深度が未知であるため決して停止することのない前述の表現の２本立てである。
変換は、以下の方法で行なうことができる：
１．１つのシーンのシーンセントリック型プレノプティック表現から開始する。
２．カメラ非依存表現内の各光線について、以下のことを行なう：
２．１ 光線の交点およびシーンの物理的点を推定する（考えられる方法の概要については次節を参照のこと）。これを知ることで、我々は、シーン点の深度を推論することができる。
２．２ カメラ平面（Ｕ−Ｖ平面）に平行な、カメラとの関係における物理的点の２Ｄ位置を演繹する。
２．３ 最初の２つのステップにおいて計算された２Ｄ位置＋深度情報により新規作成された３Ｄ点をサーチする。
２．３．１ この３Ｄ点がすでにシーンセントリック型表現内に存在する場合、３Ｄ点から出発しカメラ非依存表現内の現在の光線と同じ方向を有するシーンセントリック型表現に新しい光線を付加する。光線の他の特性（例えば色の強さ）も同様にコピーされる。
２．３．２ この３Ｄ点が、シーンセントリック型表現内に存在しない場合、シーンセントリック型表現内に新しい点を新規作成し、この点から発出されカメラ非依存表現内の現在の光線と同じ方向を有する新しい光線をそれに添付する。光線の他の特性（例えば強度）も同様にコピーされる。
この変換の出力は、各点に添付された光線を有する点群である。各光線は、光線にセンタリングされた視点から見た現在の光で照らされた物理的オブジェクトの色を記述する特定の色の強さを有する。これは、シーンの幾何形状ならびにその視覚的外観を完全に記述する。
光線方向がシーンに左右されずキャプチャデバイスのみに左右されるということは指摘に値する。したがって、同じ固有パラメータを有する同じキャプチャデバイスについては、カメラ非依存表現内の光線の深度および色情報のみが変化するだろう。
この新しいシーンセンタード型表現では、光線の各修正が表現の中心にあるオブジェクトの視覚的外観を実際に修正するように、ライトフィールドを実際に修正することができる。これに反して、カメラ非依存表現はシーンについての情報を全く含まない。したがって、色の強さなどの光線の特性を変更することは、シーン自体との実際の関係無しに、キャプチャされたシーン内に変化を生み出し得る。
深度の推論
ライトフィールドをオブジェクトにまたはシーンセントリック型のものに変換するためには、上述の方法で言及した通り、各光線の深度情報を有する必要がある。
ここでは、深度を再構成するための２つの方法を簡単に紹介する。
図１０に示されている第１の方法の背後にある主要な原理は、どの光線ｒ1、ｒ2…ｒiが同じ物理的点Ａに由来するかを識別することにある。２つの光線（ここではｒ1およびｒ2）が同じ物理的点Ａに対応するものとして識別されると直ちに、三角測量を用いて深度を推論することが可能である。これにより、表現パラメータとの関係における深度推定値が得られる。絶対深度が必要である場合、ライトフィールド表現を物理的世界に関連づけるパラメータを有することも必要になる。
図１０において、１つの物理的点Ａは２本の光線ｒ1およびｒ2を発出する。この点によって発出されない第３の光線ｒ3も同様に示されている。
光線、例えば光線１の深度を推論するためには、以下の手順を使用でき得る：
１．ｒ1以外のシーン内の各光線ｒiについて、その光線が同じ物理的オブジェクトに属するかまたは同じ点Ａに由来するかを識別する（異なる方法については、次の段落を参照）。
２．同じ物理的オブジェクトを表わす光線ｒ2がひとたび識別された時点で、それを三角測量するためにライトフィールド表現パラメータを用いることによりカメラ平面Ｕ−Ｖまでの紫色点の距離を計算する。実際、カメラ平面Ｕ−Ｖとの関係における光線ｒ1、ｒ2の角度は、同じカメラ平面上のこれらの相対的距離と共に公知である。
３．三角方程式を用いて、カメラ平面Ｕ−Ｖおよび点Ａからの距離、すなわちその深度を推論することができる。
光線−オブジェクト識別
２本の光線が同じ物理的オブジェクトまたは点に対応する（すなわちこれにより発出されている）か否かを査定するための方法は、物理的オブジェクトの表面が、完全にランバート面である、すなわち、オブジェクト上の所与の点について、オブジェクトにより反射された光が全ての方向で同じであるという仮定に基づくものであり得る。この制約を活用することにより、我々は、２本の光線がいかに正しく同じオブジェクトを表わしているかを定義する類似性測度(ｍｅａｓｕｒｅ)を構築する。これは実際、各光線の視覚的外観、またはより厳密には強度（ｉｎｔｅｎｓｉｔｙ）をアサートする（ａｓｓｅｒｔｉｎｇ）ものである。複数の測度が使用可能である。考えられる１つの測度は、以下のように定義される絶対差である：
Figure 2016537901
この測度は、上述の手順のステップ１の中で、２本の所与の光線が同じオブジェクトを表わしているか否かを決定するために使用することができる。小さい方のＡＤ値はこれらの場合を表す。
類似性の測度として光線強度のみを使用することにより、ノイズ発生の傾向があることは指摘に値する。したがって、深度を推論するために必要とされる情報として２本の光線のみを取上げる代りに、深度三角測量問題を満足のいく形で包括的に解決するために反復的プロセスまたはコンセンサス方法を適用することによりノイズ効果を削減することが望まれる。
第２の方法は、ライトフィールドのエピポーラ画像表現そしてより厳密にはエピポーラ線に基づくものである。我々は以下で、本明細書中で言及されている２つの平面表現をレバレッジする（ｌｅｖｅｒａｇｉｎｇ）ことによるエピポーラ線深度再構成方法という方法を紹介する。
エピポーラ線を用いた深度再構成
ランバートモデルを仮定して、図１１を参照して説明した方法を用いてＲｘ−Ｒｙ−Ｕ−Ｖ座標系内で物理的点を抽出することができる。
ライトフィールドを、Ｒｘ−Ｒｙ−Ｕ−Ｖ表現で表わしてもよい。物理的点Ａは、Ｒｘ軸に平行な方向へのオフセットｈxを伴ってＲｘ−Ｒｙ平面から距離ｄのところに置かれる。物理的点Ａは、単純さを期してＲｙ＝０およびＶ＝０とした平面内にあると仮定する。Ｒｘ平面とＵ平面との間の距離はδであり、これは、我々の２つの平面表現においては１に等しい。オブジェクトＡは、光線ｒiを発出する。光線がＲｘ−ＲｙおよびＵ−Ｖ平面の両方に交差するが、交差位置は光線の角度に応じてわずかに異なる。
三角形（ｄ＋δ、ｈｘ）、（δ、Ｒｘ）、（δ、ｈx）および三角形（ｄ＋δ、ｈx）、（０、ｕ）、（０、ｈx）は相似であることから、以下の等式が成り立つ：
Figure 2016537901
等式を変換すると、ｕとの関係におけるＲｘの一次方程式が得られる：
Figure 2016537901
これはすなわち、光源由来の光線が、いわゆるエピポーラ線と呼ばれるＵ−Ｒｘプロット上の線Ｌを形成し、その勾配（ｇｒａｄｉｅｎｔ）が深度により左右されることを意味している。図１２はＵ−Ｒｘプロットを示す。
Ｕに０を割当てることにより、Ｒｘ切片は以下のように導出される：
Figure 2016537901
その上、以下の等式が、勾配および深度について成り立つ：
Figure 2016537901
したがって、Ｕ−Ｒｘプロット内の線を抽出しその勾配およびＲｘ切片を計算することにより、深度ｄおよびオフセットｈxを得ることができる。
エピポーラ線の抽出
２Ｄデータ（例えば画像）から線を抽出する複数の方法を考慮することができる。この最終目的を達成するためには、ラドン変換(Ｒａｄｏｎ ｔｒａｎｓｆｏｒｍ)が好適である。関数ｆ（ａ、ｂ）のラドン変換Ｒは、以下の通りに定義される：
Figure 2016537901
ラドン変換では、原初の画像平面はθ−ρ平面に変換され、このθ−ρ平面では、各点（θ0、ρ0）は画像平面内の線ｘＣｏｓθ0＋ｙＳｉｎθ0＝ρ0に対応する。点の強度はこのとき、その対応する線の長さに正比例する。以下のアルゴリズム１は、ラドン変換の離散化されたバージョンを計算するためのアルゴリズムと見なすことのできるハフ変換のアルゴリズムを示す。
ハフ変換が、なじみのある傾き切片型ではなくむしろ極座標（すなわちθ−ρパラメータ化）を使用する理由は、傾きと切片の両方共が、有限ｘ−ｙ平面（すなわちデジタル画像）についてさえ非有界であるということにある。
ラドン（およびハフ）変換の１つの主要なキーは、画像平面内の回転（すなわちθの変化）がθ−ρ平面内の単純並進移動に変換されることにある。
アルゴリズム１：ハフ（ラドン）変換アルゴリズム
要件：画像を表わす２次元行列Ｉ
１．ベクトルΘ内のθ値の範囲を離散化する。
２．ρパラメータを全く異なるｎρ値に離散化する。
３．長さ（Θ）×ｎρ出力行列Ｈを構築する。
４．Ｈの全ての要素を最初０に設定する。
５．Ｉ内の各フィーチャ点（ｘ、ｙ）について、以下を実行
６．各々のθ∈Θについて、以下を実行
７． ρ＝ｘＣｏｓθ＋ｙＳｉｎθ
８． Ｈ（θ、ρ）＝Ｈ（θ、ρ）＋１
９． 以上を終了
１０．以上を終了
１１．出力画像Ｈを戻す。
ハフ変換の結果として、エピポーラ線はθおよびρにより特徴付けされ、ここで以下の関係式が成り立つ：
Figure 2016537901
したがって、所望のパラメータｄおよびｈxは、以下の通りに得られる：
Figure 2016537901
深度再構成アルゴリズム
現実世界では、オブジェクトを３Ｄ座標内の任意の位置に置くことができ、このことはすなわち深度推定方法が、Ｒｙ＝０およびＶ＝０の平面上の点についてのみならず、いかなる点においても機能する必要があるということを意味している。Ｒｙ（またはＶ）軸内の物理的点のオフセットｈyを考慮に入れるために、我々は、考えられる全てのＲｙ値についてＵ−Ｖ平面上の深度再構成を実施する。換言すると、Ｖ＝０として、各ＲｙにおいてＵ−Ｖスライス上でエピポーラ線を抽出する。
以上の節で説明した原理にしたがって、我々は、キャプチャされたシーンの幾何形状を再構成するためのアルゴリズムを提案する。
要件：ＵＶＲxＲy座標系で表わされたプレノプティックデータ
１．Ｒｙ’としての各Ｒｙについて
２．（Ｖ、Ｒｙ）＝（０、Ｒｙ’）においてＵ−Ｒｘ平面上でハフ変換を適用する
３．各々の抽出されたエピポーラ線について、深度ｄi、ｘオフセットｈxi、およびｙオフセットｈyiを計算する
Figure 2016537901
 ４．全ての推論した３ｄ点（ｈxi、ｈyi、ｄi）を戻す
拡張現実の適用
このシーンセントリック型表現は、シーンの物理特性と適合する形で、キャプチャされたライトフィールドに対する修正および／または改善を実施することを可能にする。
ここでは、２つの異なる実施例を示す。最初の実施例は、特定のシーン要素の画質の改善に関するものである。多くの場合、オブジェクトあるいはシーンの充分に画定された部分などの画像の要素を選択し、画像の特定の部分をより明るくする、より暗くする、よりコントラストを上げるまたは異なる露光設定にすることが望まれる。従来の画像形成システムにおいて所望の写真補正を適用するために、輝度を取上げてみれば、ユーザーは、どの画素を修正しなければならないかを手作業で選択し、これらの画素のみにフィルターが適用されるようにしなければならない。これは、多くの場合において実に煩わしいことであり得る（人間の毛髪の例を考えてみるとよい）。
本節において正に説明した通りに変換されたシーンのライトフィールドキャプチャを用いると、視覚的外観に基づいてだけではなくシーン空間内のそれらの物理的位置との関係においても、要素を選択することができる。このシステムでは、ユーザーは画素ではなく、空間内の点を選択する。このとき、システムは、各オブジェクトをセグメント化するためにシーン点群の深度不連続性を分析することによって、特定のオブジェクトに属する点全てをユーザーが選択するのを助けることができる。したがって、先の毛髪の例では、ユーザーは、人物の頭の上でクリックするだけで、その頭全体を、適用したフィルターにより補正することができる。人物の頭により「発出される」異なる光線は、この場合、各光線の色の強さを増大させ得る輝度フィルターであるフィルターにしたがって選択され補正され得る。
この２段階変換（カメラライトフィールド→カメラ非依存ライトフィールド→シーンセントリック型ライトフィールド）を有することによって、異なるフィルターは、完全にカメラ非依存性であり、幾何形状および照明情報の両方が公知であるため、シーンの異なる物理法則を遵守する形でシーン自体に容易に適用され得る。
第２の実施例は、ライトフィールド空間内での拡張現実の実行に関するものである。拡張現実は、追加の／他の情報によるシーンの変化に関するものである。したがって、シーン内の変化と追加すべきコンテンツとの間に直接的な「物理的」リンクが存在する。歩行者レベルで行なわれる、通りのライトフィールドキャプチャの例を取上げてみよう。ここで示される使用事例は、例えば既存の建物などのオブジェクトを別のオブジェクト、例えば建設すべきより新しい建物で置換するというものである。より新しいオブジェクトは、例えば反射性などのテクスチャおよび表面情報を伴うコンピュータが生成した仮想３Ｄモデルの形をとる。最終目的は、この３Ｄモデルを完全にライトフィールドキャプチャ内に置き、こうしてそれが現在のオブジェクトに置き換わるようにすることにある。
この目的のために、ライトフィールドのシーンセントリック型表現を得て、以下のプロセスを使用することができる：
１．ユーザーは、キャプチャされたライトフィールドシーン内で建物などのオブジェクトの主要正面を選択する。これにより、シーンの点群表現内にアンカー点が新規作成される
２．システムは、シーン内に仮想３Ｄモデルを置き、こうしてキャプチャされたライトフィールド内のオブジェクトの主要正面が仮想３Ｄモデルの主要正面と重複することになる
３．仮想３Ｄモデルの３Ｄ情報およびライトフィールド点群内に格納されている深度情報によって、システムは、どの光線がライトフィールドキャプチャにおいてオブジェクトを表わしているか、ひいてはどの光線を、仮想３Ｄモデルを表わす光線で置換しなければならないかを推論できる。
４．システムは、仮想３Ｄモデル光線をシーンの光線とマージさせて、人工的に中に入れられた新しいオブジェクトを用いてシーンの近現実表現を新規作成する。
前述の手順は、ライトフィールド内のオブジェクトを追加／変更するために使用することができる。拡張現実シナリオには、通常次の２つのステップが関与している：すなわち、１）単一のライトフィールドキャプチャに基づいて、ユーザーＡが、要素を除去するかまたはシーンの物理特性と直接関連づけされる新しい要素を追加することによって、シーンを修正するステップと、２）ユーザーＢが、別のライトフィールドキャプチャ（またはそのビデオまたは連続的リアルタイムキャプチャ）を取上げ、先行するユーザー入力に基づいてシーンが自動的に変更される（またはそれ自体アノテーションが付される）ようにするステップである。第１のステップは、上述の４段階手順を用いて行なうことができる。第２のステップには、ユーザーＢによりキャプチャされたライトフィールドと共にユーザーＡがキャプチャしたライトフィールドを登録することができることが関与している。登録後、我々にはシーンＡ光線とシーンＢ光線との間のマッピングが正確に分かる。したがって、上述の手順のステップ番号４を自動的に適用して、シーンのユーザーのＡ修正に基づくユーザーＢのシーンの拡張バージョンを新規作成することができる。これを、ライトフィールドに基づく拡張現実と呼ぶ。
ライトフィールドに基づく減損現実
一部のシナリオでは、シーンを表わすキャプチャされたライトフィールドを修正してそこから現実のオブジェクトを除去することが所望されることが多い。
シーンからオブジェクトを除去するためには、そのシーンについての一定の知識が求められる。例えば、シーンから立方体を除去するには、（カメラの平面位置との関係において）立方体の背後で背景がどのように見えるかをこの方法が知っていることが求められる。
ライトフィールドが有用であり得るのはここにおいてである。実際、我々はシーンが異なる側からどのように見えるかについての情報をより多く有しており、したがって、「オブジェクトの背後」をより容易に再構成できると思われる。
したがって、オブジェクトを除去するには、次の２つの異なるステップが求められる：
１．除去すべきオブジェクトを識別する。これには、ライトフィールドのどの光線がオブジェクトに対応するかを正確に知る必要がある。このプロセスは、セグメンテーションと呼ばれる。
２．オブジェクトの背景をイミテートすると思われる光線により、オブジェクト光線を置換する。これはインペインティングと呼ばれる。
ここで以下では、以上に説明されたライトフィールドの２つの平面表現における上述の２つのステップの達成方法を提示する。
セグメンテーション
シーンから除去したいオブジェクトにどの光線が属しているかを識別するために、シーンの「意味論的」理解レベルをより高くするように、オブジェクトセグメンテーションと呼ばれるタスクを実施する。そのことについては、先行する節の中で説明されたシーンセントリック型ライトフィールド表現から開始する。
この表現が手中にあることから、我々は、シーンのオブジェクトにより発出されたどの光線が同じオブジェクトに実際に属するかを識別しようとする。それを行なうためには、立体視野からのオブジェクトセグメンテーションに特に由来する複数の方法が存在する。これらの方法は同様に、このシーンセントリック型ライトフィールド事例においても適用可能であり、その主たる利点は、ライトフィールドキャプチャデバイスによってキャプチャされた追加量の情報に起因して、深度推定の質が通常より高いものであるという点にある。これにより、より優れたセグメンテーション結果が生み出される。
シーンセントリック型ライトフィールドについて機能する典型的なオブジェクトセグメンテーションアルゴリズムは、以下のように機能する：
１．３つの次元が点の位置を表わし、他の３つの次元がこの点から出ていく全ての光線の光の強度（または色）の平均である、６Ｄベクトルとして、各々の光線発出点を表わす。強度を平均する代りに、アルゴリズムは同様にこれらの強度を量子化して、１組の予め決められた方向のうち１つの光線発出方向あたり１つの強度を有するようにすることもできるということも指摘に値する。方向の数をＮに設定すると、発出点を表わすＮ＋３次元のベクトルが新規作成されるであろう。
２．色の非一貫性とは異なる幾何形状の非一貫性のコストに対して典型的にウェイトが置かれる距離に基づいて、この６Ｄ点セットをクラスタ化する。典型的に、幾何形状の非一貫性のコストにさらにウェイトが置かれる。
３．クラスタ化の結果は、各々がシーン上の異なるオブジェクトを表わすクラスタからなる。アルゴリズムの最後のステップは、シーンの各光線に対して、光線が属するクラスタに対応するオブジェクト識別子を割当てることにある。
全ての光線をオブジェクトに関連づけした後、除去すべきオブジェクトを選択しなければならない。これは、例えば、ユーザーに対してシーンの画像を提示し、ユーザーが１つの領域をクリックできるようにすることによって、行なうことができる。シーン上のクリックを背面投影することにより、どのオブジェクトにそのクリックが適用されたかを知り、ひいては、そのオブジェクトに属する光線を識別することができる。
ここで、シーンセントリック型ライトフィールド表現内でのオブジェクトセグメンテーションが有用であると考えられる典型的な使用−事例について説明するだろう：
プレノプティックカメラによりキャプチャされたライトフィールドシーンは特定の角度分解能および空間分解能を有する。両方の分解能共、主としてカメラの固有パラメータに起因する。２つの異なるプレノプティックカメラパラメータでとられた類似のシーンが、異なる角度分解能および空間分解能を有する場合もある。これらのシーンが同じ空間分解能を有すると仮定して、短焦点レンズおよび平均焦点レンズなどの異なるカメラパラメータでキャプチャされたシーン由来のパースペクティブが異なっている場合もある。
所与の短焦点レンズ（例えば２４ｍｍ）で特定のプレノプティックカメラパラメータを用いて所与のパースペクティブでシーンをキャプチャするカメラマンを仮定する。１００ｍｍなどのより長い焦点の第２のレンズで、このカメラマンは再び、別のパースペクティブでシーンをキャプチャする。両方のキャプチャされたシーン上において、検討対象のオブジェクトは前景内に存在するが、２つの異なるパースペクティブビューで見られ得る。ここで、前景が第１の画像の場合と同じパースペクティブを有しているものの背景は第２の画像のパースペクティブを有している状態のシーンをキャプチャすることをカメラマンが望んだと仮定する。
それを達成するためには、１つの可能性は、両方の画像のためのキャプチャ位置を物理的に変更することにある。第１の画像は、複数のカメラパラメータで１つの位置からキャプチャされる。この画像上で、前景は、複数の特別なパースペクティブを有する。第２の画像上では、カメラマンは、前景が第１の画像の場合と類似のパースペクティブを有すること（したがって物理的なキャプチャ位置を調整しなければならない）、ただし背景は別のパースペクティブを有することを望む。そのために、カメラマンは、写真撮影において重要であるこのような視覚的効果をキャプチャできるように、物理的に動き回る必要がある。
このアプローチに対する１つの代替案は、キャプチャ後にシーンを処理することにある。プレノプティックカメラを用いてシーンをキャプチャすることにより、これが可能になる。実際、前景内のオブジェクトを、セグメンテーション技術を用いて背景から隔離することができる。このとき、画像の前景と背景を別個に処理することができ、したがって、フィルターを前景または背景に対して特定的に適用することができる。画像の前景のパースペクティブを変更しないものの背景の光線パラメータを変更して新しいパースペクティブを計算する第２のフィルターを有するフィルターの設計を想像することができる。したがって、計算された画像は、オリジナルのパースペクティブを有する前景と、別のパースペクティブを有する背景とを含む。
計算コストを削減するため、シーンセントリック型表現は、オブジェクトが位置設定されている画像の一部分の上にのみ適用されてもよい。このオブジェクトに関係する全ての光線は、フィルターが適用されるであろう他の光線と区別されるであろう。フィルターは、検討対象のオブジェクトを除いて、シーン上に適用される新しい角度および空間分解能を処理する、特定の焦点レンズなどのカメラパラメータをシミュレートしてよい。
ライトフィールドインペインティング
減損現実処理の最後のステップは、先行ステップにおいて識別された光線を変換して、これらの光線を、あたかも除去すべきオブジェクトの背景により発出されたかのように見せることにある。
標準的な画像処理の分野においては、画素を、オブジェクトの背後にあると思われるテクスチャと同じように見せるべき画素と置換することを、インペインティングと呼ぶ。ここでは、方法の一般的概念と、それを我々のシーンセントリック型ライトフィールドにいかに適用できるかを提示する。さらなる詳細は、ｈｔｔｐ：／／ｈｃｉ．ｉｗｒ．ｕｎｉ−ｈｅｉｄｅｌｂｅｒｇ．ｄｅ／Ｓｔａｆｆ／ｂｇｏｌｄｌｕｅ／ｐａｐｅｒｓ／ＧＷ１３＿ｃｖｐｒ．ｐｄｆに見出すことができる（インペインティング実施例は論文の第６節に示されている）。
ライトフィールドのインペインティングの主たる考え方は、ライトフィールドの欠落した情報を回復するというものである。一つの事例において、欠落した情報は、選択されたオブジェクトの光線により表わされる部域である。これらのオブジェクト光線が欠落していると仮定することによって、これらの光線を除去することができ、ライトフィールドを再構成することができる。この問題については、欠落領域□が、Ｆという名前のキャプチャされたライトフィールドから前もって除去されたオブジェクトの光線に対応することを仮定して、以下でより正式に記載される。
第２の実施例として、光線空間に対するインペインティングについて論述する。
Figure 2016537901
 を、入力されたライトフィールドＦが未知である光線空間の一領域とする。最終目的は、欠落した値を復元する関数Ｕを回復することにある。このため、以下の式が見出される：
Figure 2016537901
この最適化／正則化の問題を解決することで、背景により発出された異なる光線がどのようなものであるかについての解答が得られる。したがってシーンは、以前と同じシーンに見えるもののオブジェクトは存在しない回復されたライトフィールドを用いて再度レンダリングされることができる。
クロッピング
プレノプティック画像のクロッピングは、４つのパラメータＲｘ、Ｒｙ、Ｕ、Ｖの範囲を選択することに対応する。Ｒｘ−Ｒｙ平面上でクロッピングを実施することに類似している２Ｄ画像クロッピングに加えて、プレノプティッククロッピングは、Ｕ−Ｖ平面ならびにＲｘ−Ｒｙ平面上で画像をクロッピングできるようにする。各パラメータＲｘ、Ｒｙ、Ｕ、Ｖについての範囲を設定して、全ての光線セットから光線のサブセットを選択することができる。考えられるクロッピングの実装は、角度に基づくクロッピングであり、これはオブジェクトのビューイング角度を制限できるようにする。それは、ユーザーがプレノプティック画像上にプレノプティックアノテーションを添付して、このアノテーションが一定のビューイング部域のみから出現するようにする場合に使用されてよい。角度に基づくクロッピングは、添付されたオブジェクトの３Ｄ位置（ｘ、ｙ、ｚ）および２つの角度（ψ、θ）の入力をとって、ビューイング部域を制限し、Ｒｘ−ＲｙおよびＵ−Ｖの対応する範囲を出力する。
Ｒｘ−Ｒｙ平面の範囲は、以下の通りに決定される：
Figure 2016537901
 式中、ｚはＵ−Ｖ平面までの垂直距離であり、ｘ、ｙはＲｘ、Ｒｙと合致する。θとψは、それぞれＵ−Ｖ平面に直交する線からの水平角および垂直角である。
同様にして、Ｕ−Ｖ平面の範囲は、以下の通りに計算される：
Figure 2016537901
光線強度の修正
プレノプティック画像の光線強度は、包括的および局所的に修正可能である。
包括的な光線強度修正は、ユーザーがプレノプティック画像の輝度、カラーバランス、コントラスト、飽和などを調整できるようにし、修正は全ての光線に対して均一に適用される。色ヒストグラムを分析し最適化することによる自動的画像増強などのより進歩した処理も同様に、プレノプティック画像に対して実施することができる。
局所的光線強度修正によって、ユーザーは、シーン（すなわちＲｘ−Ｒｙ平面）および視点（すなわちＵ−Ｖ平面）の両方に関しプレノプティック画像の興味を引かれる領域を選択し、その後、選択された領域内で以上に列挙した修正を適用することができるようになる。
光線のフィルタリング
２Ｄ画像のフィルタリングと同様に、プレノプティックデータに対してフィルターを適用することも可能である。ガウシアンぼかしフィルターなどのローパスフィルターは、ライトフィールド内の光線の拡散として解釈される。２Ｄ画像のフィルタリングは、１つの画像および２Ｄフィルターエレメントの畳み込みとして表わされ、同様にプレノプティックデータのフィルタリングは、プレノプティック画像および４Ｄフィルターエレメントの畳み込みとして表わされる。
Figure 2016537901
図１３は、単一点（Ｒｘ、Ｒｙ）を通過しＵ−Ｖ平面に衝突する光線を拡散させる、Ｕ−Ｖ平面用のガウシアンフィルターの一例を示す。
結果として、フィルターＦを用いてフィルタリングされたオブジェクトＡは、図１４でＡ’により描かれている通り、ぼやけて見える。この例では、図から認識できるように、Ｒｘ−Ｒｙ平面近くのオブジェクトはさほどぼやけなくなり、平面から遠いオブジェクトは、さらにぼやけた状態となる。その上、適切なフィルターエレメントを構築することにより、他の全てのオブジェクトをぼかしながら一定の深度にあるオブジェクトを鮮明に維持することが可能である。
サイズ変更
プレノプティック画像のサイズ変更は、パラメータの単位の大きさ変更として定義づけされる。２Ｄ画像のサイズ変更と同様に、図１５に示されたオブジェクトＡをサイズ変更するためのサイズ変更プロセスＲは、１本の軸上の値を、この値と倍率の積へと変換する。
Figure 2016537901
例えば、（σ１、σ２、σ３、σ４）＝（０．５、１、０．５、１）である場合には、出力は全ての視点においてＲｘ（またはＵ）方向に半分に収縮したように見える。図１７は、Ｒｘ−ＲｙおよびＵ−Ｖ平面を半分にサイズ変更する略図を示す。
平面の垂直方向並進移動
キャプチャされたシーンの光線は、２つの平面表現においてＲｘ、Ｒｙ、Ｕ、Ｖによりパラメータ化され、Ｕ−Ｖ平面は、ビューイング位置を表わす。平面上で任意にビューイング位置を変動させ、対応するＲｘ、Ｒｙ値を獲得することができる。しかしながら、平面内部を移動することだけでなく平面外を移動することが所望される可能性もある。このようなケースは、１つのオブジェクトに近づけるようにビューイング位置を移動させようとする場合に発生する。
ビューイング位置をＵ−Ｖ平面の外の１点へと変更するためには２つの平面をその直交する軸に沿ってシフトさせる必要があることから、光線パラメータ全てを再計算することが必要になる。新しいパラメータの計算は、以下の通りに実施できると考えられる：
ａ）２つの平面をシフトさせて、新しい視点が、その直交する軸に沿ってＵ−Ｖ平面上に存在するようにする、
ｂ）全ての光線について、２つの平面との新しい交点を計算する。
これは一次演算であることから、計算は、入力パラメータのベクトルに対する行列乗算として記述可能である。行列の値は、２つの平面間の距離δおよび並進移動係数ｚから計算される。図１６は、略図および並進移動行列を簡単に示している。
Figure 2016537901
再焦点合せ
キャプチャされたライトフィールドは、特定のオブジェクト焦平面を用いて取上げられてよい。同じ物理的点からの異なる方向に由来する光線がキャプチャされることから、光線を再配置して再焦点合せを再度作り出すことができる。
デバイス非依存表現においては、これは、Ｒｘ−Ｒｙ平面を移動させこの新しい平面と光線との新しい交差を計算することによって行なうことができる。このプロセスは、非依存表現を構築する場合に必要である正規化プロセスと同等であることを指摘することができる。
プレノプティックデータの融合
以上の節で説明した通り、ライトフィールドは有限数のパラメータで構成されている。２つの平面表現の例では、光線は、Ｕ−Ｖ平面およびＲｘ−Ｒｙ平面との交差についての４つのパラメータ、およびその光線強度によって記述される。４つの交差パラメータの座標値は、２つの平面表現または球表現のような異なる表現に対応し得る。こうして、２つのプレノプティック画像に対応するデータを融合させる場合には、それらの表現が異なっている場合を考慮に入れる必要がある。
第２の表現にある第２のプレノプティックデータを第１の表現にある等価のデータに変換し、第１の表現内で２つのデータを融合させることにより、異なる表現を有する２つのプレノプティックデータをマージまたは融合することができる。データ表現に応じて、変換済データのサンプリングは、第２のデータのサンプリングと同じでない場合がある。この場合、異なるサンプリングに対処するため、プレノプティックデータに対し量子化を適用する必要があり得る。
量子化プロセスにおいて、各パラメータは、座標内の２つのサンプリング点の距離に対応するサイズを有する小さい値域に割当てられる。例えば、Ｒｘ軸上のサンプル数が６４０であるならば、Ｒｘ軸上でマージすべき部域は６４０個の値域に分けられ、この部域に衝突する各光線のＲｘ値は値域の１つに量子化される。２つの異なる光線が同じ値域へと量子化される場合が発生する可能性があり、これはすなわち、元来異なっている光線の全ての量子化済みパラメータが同一になることを意味している。この場合、融合プロセスについて決定を行なう必要があり、このプロセスは例えば、一定の基準に基づいて光線の１つを選択すること、またはそれらをマージして平均光線強度を得ることであり得る。別の問題として、全ての値域に強度値が充填されない場合もあり、一部は空のままにとどまる。この場合、空値域における値は、隣接する値域による補間を用いて充填されるか、または値無しのままとどまらせることができる。さまざまな補間方法が考えられる。双一次補間が一例である。
ライトフィールド記憶装置
２つの平面表現内の光線の強度値は、４つのパラメータ（例えばＲｘ、Ｒｙ、Ｕ、Ｖ）を用いてパラメータ化されることから、全ての強度値およびその対応するパラメータを記憶することにより、キャプチャされたライトフィールド全体を記憶することができる。４つのパラメータは、任意の実数値をとることができる。赤色、緑色および青色の各々についての強度値、あるいはＨＳＶまたはＣＭＹＫなどの他の表現での任意の他の値を定義することができる。したがって、行が各光線に対応し列がそれぞれ各パラメータまたは強度値に対応する行列様のフォーマットで、ライトフィールドを記憶することができる。光線が１つの強度値を有することを仮定すると、行列のサイズは記憶すべき光線の数の５（すなわち４パラメータ＋１強度値）倍に等しい。
しかしながら、プレノプティックデータは通常、恒常な間隔で並置された普通の画像形成センサーを用いてキャプチャされることから、カメラの構造についてのこの先験的知識を活用して、求められる記憶装置を最適化することができる。こうして、この条件の下で、キャプチャされたプレノプティックフィールドを記憶するために従来の画像フォーマットを使用することが有利であり得る。このフォーマットでは、本明細書の冒頭で提示された２つの平面表現が充分好適である。
画像様のフォーマットを用いてライトフィールドを記憶するためには、２つの平面表現パラメータが既知であることが必要である。これらのパラメータは同様に、メタデータを用いて画像内に記憶できるが、カメラ非依存表現が必要であることから、パラメータは通常先験的に既知である。これらのパラメータとしては、２つの平面間の距離および光線のサンプリングレート（マイクロレンズおよび画像形成センサーパラメータに対応する）が含まれる。
表現パラメータを固定させることにより、２つの平面間で表わされた異なる光線をシーンに全く依存しないものにすることになる。実際、シーンＢとは異なるシーンＡは、２つの平面により表わされる光線方向を有する。唯一の変化は光線強度にあり、この強度は異なるオブジェクトを表わしているため、明らかに変化するだろう。
このような２つの平面表現を記憶するためには、従来の画像フォーマットを使用できる。画像は画素で構成され、各画素は、Ｕ−Ｖ平面に衝突する光線を表わす。画像の２Ｄデカルト座標系は、Ｕ−Ｖ平面座標系に直接マッピングされ、Ｕ−Ｖ平面とこの画像記憶装置との間の関係を全く単純なものにする。画像の画素数は、Ｕ−Ｖ平面のサンプリングレートに直接対応し、このサンプリングレートはこのＵ−Ｖ平面に衝突する光線の数に等しい。
表現の特性を活用することにより、ライトフィールドを効率良く記憶するためのフォーマットを球表現などの別のタイプの表現のために構築することができる。
リアルタイムシステム内でこの記憶装置フォーマットを活用するためには、１本の光線に対応する画像内の画素とその光線方向とを対応させる予め計算されたルックアップテーブルを使用することができる。これにより、実行時に光線方向を得ることは、全てのキャプチャされたライトフィールドに共通の予め計算されたルックアップテーブルから値をリトリーブすることに帰着する。
プレノプティックデータの視覚化
記憶された光線の視覚化は、光線により表わされるシーンを人間が感知できるようにするために必要なステップである。視覚化は、例えばホログラフィによる視覚化などのさまざまな形で実施可能であるが、この節では、一般性を失なうことなく、単一の／多数の２Ｄ画像としてシーンを視覚化する普通の２Ｄ視覚化（すなわちレンダリング）を考慮する。２つの平面表現の我々の実施例における記憶されたライトフィールドは、２Ｄ表面上の一定のビューイング位置に衝突する４Ｄ光線を投射することによって視覚化することが可能である。表面と各光線の交点をサーチし２Ｄ画像の対応する画素内にその強度値を割当てることによって、２Ｄ画像が生成される。最も単純な例は、Ｒｘ−Ｒｙ、Ｕ−Ｖ表現に記憶されたライトフィールドのレンダリングである。この場合、Ｒｘ−Ｒｙ平面は、光線が投射される表面（すなわち画像平面）に対応し、ＵＶ平面上の点が、ビューイング位置に対応する。ＵＶ平面上の点（Ｕ、Ｖ）において交差する各光線の強度値を、画像平面上の点（Ｒｘ、Ｒｙ）へと割当てることにより、ビューイング位置（Ｕ、Ｖ）から見たキャプチャされたシーンのレンダリング済み画像が得られる。
ビューイング位置は、任意の位置に置くことができる。ビューイング位置の変更は、パースペクティブシフトと呼ばれる。例えば、Ｒｘ−Ｒｙ−Ｕ−Ｖ表現の場合、パースペクティブシフトは、ビューイング点（Ｕ、Ｖ）をＵ−Ｖ平面上の別のビューイング点（Ｕ’、Ｖ’）へと変更することによって行なわれる。パースペクティブシフトを用いてライトフィールドをレンダリングすることによって、カメラ位置が新しい位置に並進移動するという視覚的効果が誘発される。
スクリーン上にシーンの２Ｄ画像を表示するためと同時に、より進んだ使用事例のために、ライトフィールドレンダリングを使用することもできる。例えば、瞳孔間距離を離した状態で２つのビューイング位置から２つの画像を生成しそれぞれ右眼のために一方をそして左眼のために他方を表示することによって、１つのシーンの３Ｄビューがシミュレートされる。シャッター３Ｄシステムおよびオートステレオスコピーなどの、立体画像を表示するための技術がすでに存在している。
構図を変えた２Ｄ画像としてユーザーにデータを提示するために、プレノプティックビューワを使用することができる。プレノプティックシーンを特定の焦点に再度焦点合せするか、またはシーン視点を変更する可能性がユーザーに与えられる。プレノプティックビューワは、プレノプティックデバイスによりキャプチャされた光線を、解釈することなく直接使用し、したがって、３Ｄ再構成の場合のようなエラーを発生させない傾向にある。実際、光線のこの直接的使用は、シーンオブジェクトの反射性またはテクスチャについていかなる仮定も行なわない。
焦点の変更は、提示された２Ｄ画像内の１点を直接クリックしてその点に焦点を調整することにより行なうことができる。代替的には、ユーザーは、スクロールホイールを使用して、シーン内の焦点を変更することが考えられる。これは、焦点合せされた状態にある点が鮮明で、残りがぼやけている画像のスキャンと視覚的に類似している。１つの焦点距離において画像を再度焦点合せするこの能力には、閉塞によって隠されたオブジェクトの背後を見るという特性があることを指摘しておきたい。ユーザーから見ると、これは、閉塞が存在するか否かに関わらず異なる焦平面に沿ってシーンをスキャンすることに類似している。これは、このようなプレノプティックビューワを使用することで、繁みを貫通してまたは密度の高い粒子体積を貫通して見ることができる強力な特性である。
プレノプティックビューワは同様に、３Ｄ空間内で視点を変更することによって、異なるビューをレンダリングすることもできる。視点の変更は、例えばシーン上のユーザーのマウスのクリックアンドドラグ動作によりトリガーされ得る。このようにして、プレノプティックビューワは、マウスボタンが解放されるまで、マウスの新しい位置に応じてビューイング位置を変更する。代替的には、押圧されたキーに応じてビューイング位置を変更するためのトリガーとして、キーボードのキーを使用できると思われる。単純な実施例は、この動作のためにキーボードの矢印を使用することであると思われる。
ひとたびシーンの焦点およびビューイング位置について決定を下した時点で、ユーザーは、次にシーン要素をアノテートすることができる。ユーザーは、プレノプティックビューワの現在の２Ｄビュー内で焦点合せされた状態にあるシーン要素に対してのみアノテーションを添付してよく、これはユーザーにとってより意味あることである。ユーザーは同様に、２Ｄビューのぼやけた部分にもアノテートすることができると思われる。
シーンにアノテートするために、ユーザーは、２Ｄビューワ上でアノテーションをドラグアンドドロップしてよい。アノテーションは、考えられるアノテーションのリストから取上げるか、またはビューワにアップロードするか、またはオンザフライで新規作成することができる。選択されたアノテーションは、プレノプティックビューワ内に結合された状態で現われる。システムは光線をシーン光線と適正にマージした。その後ユーザーは、プレノプティックシーン環境内で直接それに対していくつかの変換を適用することができる。変換は、３Ｄ並進、回転またはスケーリングであり得る。これらの変換は例えば、ボタンまたはキーボードのキーによってトリガーされる。
プレノプティックビューワの場合には、アノテーションとシーンとの間の光線のマージは、ビューワが光線情報を用いて直接機能することから、アノテーションレベルにおいて直接行なわれる。
記録されたプレノプティックデータは、３Ｄビューワでも同様に視覚化可能である。記録されたシーンは、３つの次元でシフトされ操作され得る。それにより、ユーザーは、シーン空間内へ直感的にナビゲートすることができる。現実世界の一部分しかキャプチャされていないため、再構成された３Ｄシーンは、そのシーンの一部のデータが欠落していることからひび割れ状態（ｃｒａｃｋｌｅｄ）になる場合がある。
キャプチャされた光線の全てを用いて、この３Ｄマップを計算してよい。生成されたカラー画素の各々は、この３Ｄ空間内に位置づけされるだろう。プレノプティック画像は後で焦点合せ可能であるという重要なフィーチャを有する。換言すると、ユーザーは、どの部域を焦点合せしたいかを選択することができる。したがって、記憶されたデータも同様に、異なる最も鮮明な部域を伴う画像スタックとして見ることができるようになる。各々の画像焦点距離(ｉｍａｇｅ ｆｏｃａｌ ｄｉｓｔａｎｃｅ)を用いて、それらの相対的位置を知ることができる。このスタックからの画像を全て使用して、３Ｄマップを計算する。各画像について、最も鮮明な部域からの画素のみが考慮され、選択された画像焦点距離が知られていることから、これらの画素を３Ｄマップへと再度位置づけすることができると思われる。この計算されたマップは、複数の平面上に位置づけされた多数の画像からの画素で構成され得、深度の印象を与えている。現在、文献中では、プレノプティック画像を用いて高機能の３Ｄマップを計算するためのより進化した技術が存在している。この分野では、研究分野がかなり活発である。プレノプティックカメラの重要な利点は角度分解能にあることから、可能なかぎり部分的閉塞を削減して、進化したマップを構築することができる。
ＡＲがプレノプティック空間において有利な適用
顕微鏡検査の分野
顕微鏡検査は、恐らく、プレノプティック技術の使用が現在最もふさわしい分野である。標準的な光学系は、光学的な制限（浅いフィールド深度、細胞またはニューロンにとって過度に長い露光…）に起因して効率の良い解決法を提示できないでいる。例えば、細胞の分析は、細心の注意を要するプロセスであることから、細胞の標識づけによってアノテーションが可能であるというのは、強力な利点である。
・ プレノプティックは、フィールド深度を（６倍）増大させる。
・ 閉塞がある場合、プレノプティックは、他の深度デバイスでは不可能である異なる層において情報を解像できる。
・ プレノプティックは、一度により多くの視野角をキャプチャすることから、細胞の露光を短縮する（生きたニューロンにとって良いことである）。
・ プレノプティックは画像の分解能を（８倍）増大させる。
・ 現実的なアノテーションの必要は全く無い。
粒子速度測定
３Ｄ軌道の測定は、複数の分野において対処が困難な問題である。水などの同じ体積内で多数の粒子の軌道を追跡する場合、全ての異なる経路を分析することは冗長な作業となる。プレノプティックデバイスは、何千ものミクロアイでシーンを見て、したがって粒子運動中に出現する多数の閉塞を解像できるという強力な利点を有する。リアルタイム追跡のためにシーン内で粒子をアノテートする可能性を追加することには、強力な利点がある。
・ 閉塞がある場合、プレノプティックは、より良い３Ｄ軌道分析のため、異なる層において情報を解像することができる。
・ 多数の非常に正確に整列されたカメラを用いた複雑な較正の必要はもはや全く無い。ただひとつのカメラだけをセットアップする必要がある。
・ 現実的アノテーションの必要は全く無い。
・ 水族館の魚の水中分析。
植物成長分析
研究者が植物の進化を分析し新しい解決法を調査する植物分析研究所のおかげで、新しい植物種の効率の良い創出が可能である。３Ｄ解析に対する必要性は強いものであるが、栽培は、例えば光が重要なパラメータである管理された環境内で行なわれる。プレノプティック技術は、押しつけがましくなく、ロバストな３Ｄモデルを再構成するために照明条件を修正する必要がないことから、このような管理された環境における３Ｄ解析のこの問題を充分解決してくれる。公知の特性として、プレノプティックデバイスは、同様にこの分野における主要な関心の的である多数の閉塞にもうまく対処する。
・ プレノプティックカメラは、シーンの現在の照明を用いて、３Ｄ情報を解像することができる。このようなシナリオでは、シーンに照明を追加することで、プランテーション開発は改変されるだろう。
・ 閉塞がある場合、プレノプティックは、より良い３Ｄ解析のため異なる層において情報を解像することができる。
・ 現実的アノテーションの必要が全くない。
ストリートビュー広告
以下の点は、さらに検討を行なう必要のある使用事例である。照明分析などの一部の技術的問題は、技術に関する我々の現在の理解によってはまだ対処できないと思われる。
商店のショーウィンドウの反射を除去するためにプレノプティック技術を使用すること。正確な位置づけのためＶｉｄｉｎｏｔｉ−１＆Ｖｉｄｉｎｏｔｉ−７の組合せを用いた商店のショーウィンドウ上の現実的広告（例えば、ストリートビュー）。
現実的な設計およびアーキテクチャ
アーキテクチャシミュレーション、シーンの照明の中での調度／壁の色など、アノテーションが適用されている表面のテクスチャをイミテートすることにより、現実的なアノテーションを創出すること。放送されるスポーツイベント中の、押しつけがましくない（うまく一体化されていることを意味する）広告（例えばホッケーの試合中の氷上の広告）。
電話呼出し用の３Ｄアバター
電話呼出し中のオンザフライ・クィック３Ｄアバター
上述の方法のさまざまなオペレーションは、オペレーションを実施することのできる任意の好適な手段、例えばさまざまなハードウェアおよび／またはソフトウェアコンポーネント（単複）、回路および／またはモジュール（単複）によって、実施されてよい。概して、本願記載のいずれのオペレーションも、オペレーションを実施することのできる対応する機能的手段により実施されてよい。さまざまな手段、論理ブロックおよびモジュールは、回路、特定用途向け集積回路（ＡＳＩＣ）または汎用プロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、特定要素向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレーシグナル（ＦＰＧＡ）または他のプログラマブル論理デバイス（ＰＬＤ）、離散的ゲートまたはトランジスタ論理、離散的ハードウェアコンポーネントまたは本明細書中に記載の機能を果たすように設計されたその任意の組合せを含めた（ただし、これらに限定されない）さまざまなハードウェアおよび／またはソフトウェアコンポーネント（単複）および／またはモジュール（単複）を含んでいてよい。
本明細書中で使用される「〜を決定する」という用語は、多様な動作を包含する。例えば、「〜を決定する」には、計算する（ｃａｌｃｕｌａｔｉｎｇ、ｃｏｍｐｕｔｉｎｇ）、処理する、導出する、調査する、探索する（例えば表、データベースまたは別のデータ構造内を探索する）、確認する、推定することなどが含まれていてよい。同様に、「〜を決定する」には、受信する（例えば情報を受信する）、アクセスする（例えばメモリー内のデータにアクセスする）ことなども含まれていてよい。同様に、「〜を決定する」には、解像する、選択する（ｓｅｌｅｃｔｉｎｇ、ｃｈｏｏｓｉｎｇ）、立証することなども含まれていてよい。
本開示に関連して説明された方法またはアルゴリズムのステップは、ハードウェアにおいて直接、プロセッサにより実行されるソフトウェアモジュールにおいて、またはこれら２つの組合せにおいて具体化されてよい。ソフトウェアモジュールは、従来技術において知られている任意の形態の記憶媒体中に存在していてよい。使用され得る記憶媒体のいくつかの例としては、ランダムアクセスメモリー（ＲＡＭ）、読取り専用メモリー（ＲＯＭ）、フラッシュメモリー、ＥＰＲＯＭメモリー、ＥＥＰＲＯＭメモリー、レジスター、ハードディスク、リム−バブルディスク、ＣＤ−ＲＯＭ、などが含まれる。ソフトウェアモジュールは、単一の命令、または多くの命令を含んでいてよく、複数の異なるコードセグメント全体にわたり、異なるプログラム中で、および多数の記憶媒体を横断して、分布していてよい。ソフトウェアモジュールは、実行可能プログラム、完全なプログラム内で使用される一部分またはルーチンまたはライブラリ、複数の相互接続されたプログラム、多くのスマートフォン、タブレットまたはコンピュータにより実行される「ａｐｐｓ」、ウィジェット、フラッシュアプリケーション、ＨＴＭＣコードの一部分などで構成されていてよい。記憶媒体はプロセッサに結合されて、プロセッサが記憶媒体から情報を読取りかつそれに対し情報を書き込むことができるようにしている。代替案では、記憶媒体はプロセッサと一体化していてよい。データベースは、ＳＱＬデータベース、ＸＭＬドキュメントセット、セマンティックデータベース、またはＩＰネットワーク上で入手可能な情報セットを含む任意の構造化されたデータコレクション、または他の任意の好適な構造として実装されてよい。
こうして、一部の態様は、本明細書中で提示されたオペレーションを実施するためのコンピュータプログラム製品を含んでいてよい。例えば、このようなコンピュータプログラム製品は、命令が記憶された（および／またはコード化された）コンピュータ可読媒体を含んでいてよく、命令は本明細書中に記載のオペレーションを実施するために１つ以上のプロセッサにより実行可能である。一部の態様については、コンピュータプログラム製品は、パッケージング材料を含んでいてよい。
クレームは以上で例示された精確な機器構成および構成要素に限定されないということを理解すべきである。
クレームの範囲から逸脱することなく、上述の方法および装置の配置、オペレーションおよび詳細においてさまざまな修正、変更および変化がなされてよい。
１ プレノプティックカメラ
１０ 主レンズ
１２ マイクロレンズアレイ
１４ 焦平面
１６ マイクロカメラ
１６０ マイクロカメラ平面
１９ 合成光学軸
本発明は、ライトフィールド処理方法に関する。
ライトフィールドをキャプチャするデバイスは、益々一般的なものになってきている。ライトフィールドは多くの場合、プレノプティックカメラを用いてキャプチャされる。プレノプティックカメラの一般的な例としては、例えばライトロカメラ（Ｌｙｔｒｏ ｃａｍｅｒａ）がある。
各プレノプティックカメラは、キャプチャしたライトフィールドをカメラ依存フォーマットで表わすデータを生成する。例えば、ライトロカメラは、ライトフィールドを一連の行列によって表わし；各行列は、さまざまな方向からマイクロレンズ（ｍｉｃｒｏ ｌｅｎｓ）に到達する光の強度を示す複数のセルを含む。セルの数はマイクロレンズの数に対応する。
キャプチャされた情報のフォーマットは各デバイス毎に異なっていることから、１組の異なるプレノプティックカメラによりキャプチャされたライトフィールドデータに対して処理を適用するのは面倒なことである。
Ｍａｒｃ ＬｅｖｏｙおよびＰａｔ Ｈａｒａｈａｎによる刊行物「ライトフィールドレンダリング」は、利用可能な画像を単に組合せ再度サンプリングするだけで、深度情報もフィーチャ整合もなく任意のカメラ位置由来の新しいビューを生成するための方法を開示している。この技術の秘訣は、４Ｄ関数の２Ｄスライス（ライトフィールド）として入力画像を解釈するという点にある。この関数は、固定照明を伴う静的シーン内の閉塞されていない空間を通る光の流れを、完全に特徴付ける。ライトフィールドのためのサンプリングされた表現が説明されている。ライトフィールドは、レンダリングされると同時にデジタル化された画像の大きいアレイから創出される。これらの画像は、コンピュータ制御型ガントリ上に組付けられたビデオカメラを用いて獲得される。ひとたびライトフィールドが創出されると、適切な方向でスライスを抽出することによってリアルタイムで新しいビューを構築してよい。非常にわずかな忠実性損失で、生成されたライトフィールドを圧縮することのできる圧縮システムが記載されている。
Ｔｏｍｏｙｕｋｉ Ｙａｍａｍｏｔｏらによる刊行物「インテグラルフォトグラフィーを用いた３Ｄシーンのリアルタイム捕捉およびインタラクティブ合成」は、リアルタイムで動的３Ｄシーンを捕捉しその任意のビューを合成することのできるシステムを開示する。システムは、４つの構成要素すなわちフレネルレンズ、マイクロレンズアレイ、ＩＥＥＥ１３９４デジタルカメラ、およびレンダリングを目的とするＰＣで構成されている。マイクロレンズアレイは、基本的画像、換言するとシーンの多重視点画像の１つの組からなる１つの画像を形成する。フレネルレンズは、３Ｄシーンを縮小することにより、被写界深度を制御する。圧縮されたシーンからオリジナルシーンを回復する方法が提案されている。ＩＥＥＥ１３９４デジタルカメラは、毎秒１５フレームの速度で多重視点画像を捕捉し、これらの画像をＰＣに転送する。ＰＣは、画像に基づくレンダリング技術を用いて、多重視点画像から捕捉されたシーンの任意のパースペクティブを合成する。提案されたシステムは、捕捉されたシーンの１つのパースペクティブを１／１５秒以内で合成する。これはすなわち、ユーザーがインタラクティブにその視点を移動させ、移動するオブジェクトでさえさまざまな方向から観察できることを意味する。
Ｉｎｓｕｎｇ Ｉｈｍらによる刊行物「球面ライトフィールドのレンダリング」は、球に基づく、プレノプティック関数の球面ライトフィールドと呼ばれる表現スキームについて開示している。光の流れを表現し再サンプリングする上で球を効率良く使用できることが示されている。従来の多角形レンダリングシステム内に容易に埋込むことのできる「オブジェクト空間」アルゴリズムであるという点において、先のシステム、ライトフィールドおよびルミグラフとは異なるものである、画像に基づくレンダリングアルゴリズムが開示されている。この方法は、ビューイングおよびスムーズシェーディングなどの原始的機能性を支援する３Ｄグラフィックスボードによって容易に加速可能である。球面ライトフィールドのサンプリングの結果もたらされる莫大なデータの圧縮のためのウェーブレットに基づくコード化スキームも同様に開示されている。
国際公開第２００８１３４９０１号は、通信端末に付随するデジタルカメラを用いて第１の画像が撮影される、画像に基づく情報リトリーブ方法を開示している。第１の画像に関係する問合せデータが、通信網を介して遠隔認識サーバーに伝送される。遠隔認識サーバーでは、問合せデータに基づいて基準画像が識別される。その後、遠隔認識サーバー内で、基準画像および問合せデータに基づいてホモグラフィが計算され、ホモグラフィは第１の画像に対し基準画像をマッピングする。その上、遠隔認識サーバーでは、第２の画像が選択され、ホモグラフィを用いて第２の画像の投影画像が計算される。第１の画像の一部分を投影画像の少なくとも一部分と置換することにより、拡張画像が生成され、通信端末において表示される。平面空間内にとどまり２次元画像とオブジェクトのみを扱うことによって、カメラで撮影した第１の画像の効率の良い拡張が可能となる。
したがって、本発明の目的は、情報をキャプチャするために使用されたプレノプティックカメラの如何に関わらずさまざまな後処理方法を適用できるデバイス非依存プレノプティック表現を定義することにある。
本発明によると、これらの目的は、ライトフィールドに対応するデータを処理するためのライトフィールド処理方法において、
− プレノプティックカメラを用いて、前記プレノプティックカメラに依存するフォーマットでライトフィールドを表わす初期データをキャプチャするステップと；
− 前記初期データを、カメラ非依存フォーマットで前記ライトフィールドを表わす変換済みデータへと変換するステップと；
− 前記変換済みデータを処理して、異なるライトフィールドを表わす処理済みデータを生成するステップと、
を含む方法を用いることで達成される。
ライトフィールドを表わすデータのためのカメラ非依存表現の使用には、単一の方法をさまざまなプレノプティックカメラのためにプログラミングできるという、データ処理ソフトウェアのプログラマにとっての利点がある。
本発明は、例として提供されかつ図により示されている一実施形態の説明を用いることでより良く理解されるものであろう。
ライトフィールドのパラメータ化方法を概略的に表わす。 ライトフィールドのパラメータ化方法を概略的に表わす。 ライトフィールドのパラメータ化方法を概略的に表わす。 ライトフィールドのパラメータ化方法を概略的に表わす。 ライトフィールドのパラメータ化方法を概略的に表わす。 （図の左側の）同じ物理的点に由来し、そして（図の右側の）２つの平面表現を用いて再計算された２つの光線値を示す。Ｕ−Ｖ平面は、デバイスの主レンズ平面を表わしている。Ｒｘ−Ｒｙ平面は、観察された現実世界を表わしている。 それぞれ焦平面１１の前後にある（図の左側の）２つの異なる物理的点Ｂ、Ｃに由来し、そして（図の右側の）２つの平面表現を用いて再計算された２つの光線値を示す。 プレノプティックカメラ１の設計の第１の例を示す。 プレノプティックカメラ１の設計の第２の例を示す。 プレノプティックカメラ１の設計の第２の例を示す。 プレノプティックカメラ１の設計の第３の例を示す。 ここでは市松模様である既知の基準画像のプレノプティック表現から未知のプレノプティックカメラデバイスのパラメータを決定するためのプロセスを示す。 異なる距離のところにオブジェクトがあるシーン由来のライトフィールドの２つの平面表現を示す。 同じ点に由来する複数の光線間の三角測量を用いてシーンの各点の深度を測定するための第１の方法を示す。 単一の物理的点Ａにより発出され、２つの平面Ｒｘ−ＲｙおよびＵ−Ｖと交差する光線を示す。 Ｕ−Ｒｘプロット内に出現するエピポーラ線を示す。 単一点（Ｒｘ、Ｒｙ）を通過し、Ｕ−Ｖ平面に衝突する光線を拡散する、Ｕ−Ｖ平面用のガウシアンフィルターの一例を示す。 Ｕ−Ｖ平面用のガウシアンフィルターによる光線のぼやけを示す。 オブジェクトのサイズ変更プロセスを示す。 垂直平面の並進移動についての略図を簡単に示す。
定義
・ オブジェクト焦平面：カメラの主レンズ（ｍａｉｎ ｌｅｎｓ）に対し平行で、その上にプレノプティックカメラが焦点合せされる、シーン内の平面。
・ 画像焦平面：カメラの主レンズに対し平行で、オブジェクト焦平面上にある物理的点が、画像焦平面上に焦点が合った状態で投影される、カメラ内部の平面。
・ 焦平面：「オブジェクト」または「画像」の記載がない場合、それは、オブジェクト焦平面か画像焦平面のいずれかを意味する。
表現
プレノプティック関数は、多数のパラメータを伴うライトフィールドをその独立変数として記述する関数である。
典型的なプレノプティック関数は、３Ｄ空間内の所与の位置（ｘ、ｙ、ｚ）から発出され、所与の時間および波長で２Ｄ平面上の所与の位置（ｕ、ｖ）で観察された光の放射輝度を表わす。光線の強度を表わすプレノプティック関数Ｐは、以下の形態をとる：
Ｐ＝Ｐ（ｘ、ｙ、ｚ、ｕ、ｖ、ｔ、λ）
式中ｔおよびλは、それぞれ観察時間および波長である。
代替的には、所与の角度（θ、ψ）で（ｘ、ｙ、ｚ）から発出された状態の光線を考えてみることができる。このとき、光線は以下のようにパラメータ化される：
Ｐ＝Ｐ（ｘ、ｙ、ｚ、ψ、θ、ｔ、λ）
４Ｄプレノプティック関数
７個のパラメータ全てが義務的であるわけではない。例えば、シーン内の全ての光線が変化せず（すなわちｔは、スチールプレノプティック写真の場合のように恒常である）、そして単一の波長λを有する場合、上述の７Ｄプレノプティック関数を５Ｄ関数に縮小することができた。その上、光線がいかなるオブジェクトにも遮断されずに透明な空気の中を走行できると仮定すると、光線の放射輝度は、その線形経路に沿って恒常にとどまる。その帰結として、光線を、４つのパラメータにより完全にパラメータ化することが可能である。例えば、２つの予め定義された表面上の２つの交差する点の位置を用いて、光線を表わすことができる。例えば、出発点（ｘ、ｙ、ｚ）および別の表面上のビューイング／観察位置（ｕ、ｖ）の代りに、光線が中を通過する或る表面上の位置（ｘ’、ｙ’）および（ｕ、ｖ）を考慮する必要しかない。
４Ｄ関数プレノプティック関数は、以下のように公式化することができる：
Ｐ＝Ｐ（ｘ’、ｙ’、ｕ、ｖ）
式中、（ｘ’、ｙ’）は、表面の座標（ｃｏｏｒｄｉｎａｔｅ）内の第１の予め決められた表面と光線との交点であり、そして（ｕ、ｖ）は、第２の予め決められた表面と光線との交点である。
４つのパラメータ（必要な場合にはこれに加えて時間および／または波長）を用いてライトフィールドの各光線を特徴付けるためのパラメータ化方法は、好ましくは、キャプチャされたライトフィールドを有意義に表わし容易に処理されるようにするためプレノプティックカメラの設計を考慮に入れる。例えば、ライトフィールドを平行な平面を用いて表わすことは、互いに平行に配置された主レンズ、マイクロレンズアレイおよびセンサー平面を含む一般的なプレノプティックカメラにとっては簡単なことであり得る。一方、１つの球上に多数のカメラが配置されている球面プレノプティックカメラにとっては、球座標系内でライトフィールドを表わすことは有意義であり得る。
好ましくは、特定のカメラ設計には依存しないパラメータ化方法が、ライトフィールドの各光線を表わすために選択される。このようにして、異なるタイプまたは設計のカメラを用いてキャプチャされたライトフィールドを表わすために一般的パラメータ化方法を使用することができる。
ここで、図１Ａ〜１Ｅすなわち２平面、球面、球面−球面、球面−平面および極にそれぞれ関連してライトフィールドの５つのカメラ非依存パラメータ化方法について説明する。
図１Ａは、２つの平面を用いたライトフィールドのパラメータ化方法を示す。光線ｒi、ｒjが互いに平行な２つの平面Ｕ−Ｖ、Ｒｘ−Ｒｙと交わる位置によって、光線ｒi、ｒjが特徴付けされる。平面上の位置は、例えばデカルト座標系、または極座標系に基づいている。第１および第２の平面は、それぞれｚ＝０、ｚ＝１に置かれ、ここでｚ軸は２つの平面に直交する。（Ｕi、Ｖi）は、光線ｒiが第１の平面Ｕ−Ｖと交わる位置であり、（Ｒｘi、Ｒｙi）は、この光線ｒiが第２の平面Ｒｘ、Ｒｙと交わる位置である。放射輝度Ｐは、４つのパラメータＵi、Ｖｉ、Ｒｘi、Ｒｙiから一意的に決定される。ｚ軸を考慮に入れて、対応する光線ｘ、ｙ、ｚは、
Figure 2016537901
 として得られる。式中、ｋは、任意の正の実数値をとることのできるパラメータである。
この方法は、互いに平行なマイクロレンズアレイとセンサー平面とを有するプレノプティックカメラに好適である。この表現の１つの欠点は、それが平面Ｕ−Ｖ、Ｒｘ−Ｒｙに平行に通過する光線を表わすことができないという点にある。
図１Ｂは、互いに外接する２つの球ｓ１、ｓ２を用いたライトフィールドのパラメータ化方法を示す。二つの球ｓ１、ｓ２は互いに接している。光線ｒi、ｒjは、第１の球ｓ１を用いて外向き交点（ψ１、θ１）によって、そして第１の交点（ψ１、θ１）で第１の球と外接する第２の球ｓ２を用いて外向き交点（ψ２、θ２）によってパラメータ化される。（ψ１、θ１）は、第１の球との関係における球座標であり、（ψ２、θ２）は第２の球との関係における球座標である。光線ｒは、２点を通過する線として得られる：
Figure 2016537901
この表現は、球上に配置されたカメラアレイによりキャプチャされるプレノプティック画像の場合に有用である。このタイプのカメラは典型的には、ストリートビューのキャプチャに使用される。この表現のもう１つの利点は、球と交差する全ての光線を、この表現を用いて記述できるという点にある。しかしながら、この球と交差しない光線は表わすことができない。
図１Ｃは、１つの単一球ｓを用いたライトフィールドのパラメータ化方法を示す。これは球ｓと各光線の２つの交点（ψ１、θ１）、（ψ２、θ２）を使用する。球ｓの半径がライトフィールドにとって充分大きいものであると仮定すると、全ての光線を４つの角度パラメータ（ψ１、θ１）、（ψ２、θ２）によって特徴付けることができる。光線は次のものとして得られる。
Figure 2016537901
この表現は、図１Ｂの球表現と全単射であり、したがって両方の表現共、いかなる情報損失も無く相互に変換可能である。したがって、その利点および欠点は、球表現のものと同等である。
図１Ｄは、１つの球ｓと１つの平面Ｐを用いたライトフィールドのパラメータ化方法を示す。光線ｒiが、平面Ｐとの交点（ｘ、ｙ）および球座標との関係における光線の角度（ψ、θ）を用いて表わされる。平面Ｐは、光線ｒiに直交するよう選択され、球の中心を通過し、こうしてその法線をディレクショナルスフィアの位置によって表わすことができるようになっている。
この球−平面表現は、上述の表現とは対照的に、球と交わるか否かとは無関係に、任意の位置から任意の方向に向かう光線を表わすことができる。しかしながら、球−平面表現からデカルト座標への変換は、先の表現に比べてさらに複雑である。
図１Ｅの極表現では、光線ｒiは、ｒ、ψ、θ、ωという４つのパラメータを用いて表わされる。ｒは、座標の原点と光線上の最接近点Ａとの間の距離である。（ψ、θ）は、球座標内の最接近点Ａの座標である。ωは、光線が中に存在する平面ｐ内の光線の角度であり、ここでこの平面は原点から最接近点Ａまでのベクトルに直交する。
極表現は、球−平面表現と全単射であり、こうして全ての方向にフェアリングし球と交差するかまたは交差しない全ての光線を表わすことができる。それでも、この表現は、１つのパラメータが距離であり、他の３つのパラメータが異なる中心点からの角度であることから、比較的直観性が低いことがあり得る。球平面表現と同様、デカルト座標への変換は複雑である。
これらのパラメータ化表現またはフォーマットは全て、これらの表現のうちのいずれか１つへの変換が、カメラ設計に依存しておらず、任意のプレノプティックカメラでキャプチャされた任意のプレノプティックデータから可能であるという意味合いにおいて、カメラ非依存である。しかしながら、指摘された通り、一部の表現は、一部のカメラにさらに適応されており、変換のために必要な処理が少ない。
プレノプティックデータ変換
上述の表現は全て、同じ条件でキャプチャされた光線情報をパラメータ化することから、プレノプティックデータの１つの表現を別の表現に変換することができる。
１つの表現から別の表現へのデータ変換は、データ処理を容易にするために使用可能である。例えば、球表現でのプレノプティックデータに対して深度再構成アルゴリズムを適用することは難しいかもしれないが、一方２つの平面表現ではさほど複雑ではない。したがって、球表現で記憶されたプレノプティックデータから深度を計算したい場合には、最初に球表現から２つの平面表現に変換し、その後に２つの平面表現の内部で深度再構成アルゴリズムを適用することができる。より一般的には、ライトフィールドの処理には、第１のカメラ非依存表現から、処理のためにより良く適応されている異なるカメラ非依存表現へとライトフィールド表現を変換するステップが含まれていてよい。
プレノプティックデータは、線として表現された１組の光線であるため、１つの表現から別の表現への変換は、１つの座標系内の線のパラメータを別の座標系内の対応するパラメータに変換することと等価である。
変換のための一般的アプローチ
表現フォーマットアルゴリズムの変換は、入力および出力データ表現によって左右される。しかしながら、アプローチは、概して次の変換方法に要約することができる。
変換方法
元座標内で４つのパラメータｐ１、ｐ２、ｐ３、ｐ４として表わされた各光線について；
１．線パラメータｐ１、ｐ２、ｐ３、ｐ４をデカルト座標内の対応する線Ｌに変換する。
２．移動先座標に関する線Ｌのフィーチャを抽出する（例えば、１つの球との交点を見出す）。
３．フィーチャを、移動先座標内の対応する４つのパラメータｑ１、ｑ２、ｑ３、ｑ４に変換する。
４．Ｐ（ｐ１、ｐ２、ｐ３、ｐ４）をＰ（ｑ１、ｑ２、ｑ３、ｑ４）に割当てる。
一例として、２つの平面表現と球−球表現の間の変換方法についてここで説明するだろう。
２つの平面表現（Ｒｘ、Ｒｙ、Ｕ、Ｖ）内の各光線について、以下のことを行なう：
１．４つのパラメータを３Ｄデカルト座標内の２つの点、（Ｒｘ、Ｒｙ、１）および（Ｕ、Ｖ、Ｏ）に変換し、２つの点を通る線を、以下の通り計算する：
Figure 2016537901
 式中、ｋは、任意の実数をとることのできるパラメータである。
２．線と球の交点を計算する。１という半径を有する球を考慮する。こうして以下の式が得られる：
Figure 2016537901
 式中、ｋ１およびｋ２は、ステップｂ内のｘ、ｙ、ｚを球ｘ∧２＋ｙ∧２＋ｚ∧２＝１という公式に代入することによって得られる以下の等式の解である：
Figure 2016537901
 ３．２つの交点を、
Figure 2016537901
 として球座標に変換する。
４．結果として、以下の通りの各光線Ｐ（Ｒｘ、Ｒｙ、Ｕ、Ｖ）から変換された光線Ｌ（ψ１、θ２、ψ２、θ２）が得られる：
Ｐ（φ1、θ1、φ2、θ2）＝Ｐ（Ｒx、Ｒy、Ｕ、Ｖ）
カメラ依存表現からカメラ非依存表現への変換
ここで、プレノプティックカメラデバイスでキャプチャしたプレノプティックデータを、デバイスに依存しないプレノプティックデータに変換する方法についての異なる例を説明するだろう。今日市販されている複数のプレノプティックカメラの例について説明する。考慮されるプレノプティックカメラは、Ｌｙｔｒｏ、ＲａｙｔｒｉｘおよびＰｅｌｉｃａｎ Ｉｍａｇｉｎｇ（全て登録商標）のものである。各カメラは異なる光学的設計を使用する。
この例において、我々は、デバイス非依存２つの平面表現への変換について説明するだろう。別の表現への変換も同様に可能である。２つの平面表現は、光線をキャプチャするための平行な平面を伴って設計されたプレノプティックキャプチャデバイスにさらに好適である。
ターゲット表現の２つの平面をＲｘ−ＲｙおよびＵ−Ｖと呼ぶだろう。Ｕ−Ｖ平面は、プレノプティックカメラデバイス１の主レンズ１０の平面（すなわちＰｅｌｉｃａｎ Ｉｍａｇｉｎｇカメラの場合のマイクロカメラの主レンズ平面）に対応し得る。Ｒｘ−Ｒｙ平面はＵ−Ｖ平面に平行である；これは、キャプチャの瞬間におけるプレノプティックカメラのオブジェクト焦平面（単複）１４の正規化バージョンである。Ｕ−Ｖ平面がＺ＝０にあり、Ｒｘ−Ｒｙ平面がＺ＝１にあるような形で、座標系を定義してよい。
図２は、（図の左側の）同じ物理的点Ａに由来し、そして（図の右側の）２つの平面表現を用いて再計算された２つの光線ｒi、ｒjを示す。Ｕ−Ｖ平面は、正規化されたカメラデバイスの主レンズ１０の平面を表わす。Ｒｘ−Ｒｙ平面は、正規化されたシーン（現実世界）１４を表わす。
オブジェクトＡの焦平面１４からＲｘ−Ｒｙ平面に向かう正規化プロセスは、カメラ１のオブジェクト焦平面１４をＺ＝１まで移動させ、その後、この新しい平面（すなわちＲｘ−Ｒｙ）とキャプチャされた光線ｒi、ｒjの新しい交差を再計算することに対応する。マイクロレンズまたはマイクロカメラ用として複数の焦点距離が使用されるＲａｙｔｒｉｘまたはＰｅｌｉｃａｎ Ｉｍａｇｉｎｇの場合、正規化は、（異なるレンズの各々の焦点距離によって提供される）各オブジェクト焦平面について行なわれる。これは、各々の異なるオブジェクト焦平面をＺ＝１まで移動させ、その後、この新しい平面（すなわちＲｘ−Ｒｙ）と光線の交差を再計算することに対応する。
ライトフィールドが離散的プレノプティックカメラ１を用いてキャプチャされるという事実にも関わらず、２つの平面Ｕ−Ｖ、Ｒｘ−Ｒｙは、連続する空間内で考慮される。実際、こうして、異なるカメラ（すなわち異なる固有パラメータを有する）によりキャプチャされた光線ｒi、ｒjを全て、情報の損失無く同じ連続的表現上で表わし得ることが保証される。これによって、例えば一部の処理またはレンダリングのためにこの空間の離散化決定が制限されないことは明らかである。
図２は、物理的点Ａに由来する２本の光線ｒi、ｒjを示す。レジスターに格納されたライトフィールドデータは、全ての光線の強度および方向を含む。この記憶されたライトフィールドデータには、いずれにせよ、デバイス依存性であるという不都合がある。焦平面上の物理的点Ａは、この物理的点が視野角に応じて異なる光線を反射する場合に強度が異なる可能性のある２本の光線ｒi、ｒjによって、プレノプティックカメラデバイス１により見られる（非ランバート面の原理（ｐｒｉｎｃｉｐｌｅ ｏｆ ａ ｎｏｎ−ｌａｍｂｅｒｔｉａｎ ｓｕｒｆａｃｅ））。両方の光線ｒi、ｒjは焦平面１４に由来し、その各々が特定の強度および方向を有する。それらが同じ物理的点Ａに由来しているという事実はもはや分からない。物理的点と光線をマッチさせ、ひいては深度情報を導出するための一部のアルゴリズムについては、後述するだろう。
これらの記録された光線ｒi、ｒjは、前述した２つの平面表現を用いて表わすことができる。デバイス１の主レンズはＵ−Ｖ平面によって表わされる。シーンはＲｘ−Ｒｙ平面により表わされる。記録された光線は、それらがこれら両方の平面と交わる位置を用いて、記述される。Ｒｘ−Ｒｙ平面は、距離Ｚ＝１のところで、Ｕ−Ｖ平面に対し相対的に位置づけされる。焦平面１４およびＵ−Ｖ平面と光線方向との間の距離は分かっていることから、２本の光線と平面との間の交わる位置を計算することができる。Ｒｘ（またはＲｙ）は、１本の光線が平面と交差するｘ（またはｙ）方向におけるＲｘ−Ｒｙ平面上の座標である。同様にしてＵとＶは、Ｕ−Ｖ平面と１本の光線の交差に対応する。
図３は、それぞれ焦平面１４の前後にある２つの異なる物理的点Ｂ、Ｃに由来する（左側の図）そして２つの平面表現を用いて再計算された（右側の図）２つの光線値を示す。キャプチャデバイス１は、物理的点がどこにあるか知らない。１つの点は、例えば焦平面の前、上または後にあってよく、なおもカメラ上に同じ光線を生成する。
ここで、Ｌｙｔｒｏ（登録商標）によって販売されている１つのプレノプティックカメラに対応する設計を有するデバイス１の一例について図４と共に説明するだろう。
このプレノプティックカメラデバイス１は、カメラセンサー平面１３の直正面でマイクロレンズアレイ１２上に光線ｒi、ｒjを焦点合せされる主レンズ１０を含む。参照番号１４は、オブジェクト焦平面であり、主レンズ平面はＵ−Ｖで呼称されている。Ｒｘ−Ｒｙ平面はカメラ主レンズ平面Ｕ−Ｖから距離１のところにおけるシーンを表わす。主レンズ１０はマイクロレンズアレイ１２上に焦点合せすることから、マイクロレンズアレイ１２上で交差する光線ｒi、ｒjは同様に、カメラの焦平面１４上でも交差する。各マイクロレンズは、センサー１３上に、隣接するマイクロ像と重複しないマイクロ像を形成する。全てのマイクロレンズの焦点距離は同じである。マイクロレンズ１２は、主レンズと比べて著しく小さく（例えば約３００分の１）、主レンズ１０がマイクロレンズの光学的無限遠にくるような距離のところに設置される。この設計は、同じマイクロレンズに到達する光線の方向が、シーン内の焦点合せされたオブジェクトに属する物理的点の異なる視野角に対応するという興味深い特性を提供する。換言すると、焦点合せされたオブジェクトの各々の物理的点は、その光線の全てが単一のマイクロレンズによりキャプチャされ、したがって単一のマイクロ像内でセンサー１３上に記憶されることになり、ここでマイクロ像の各画素はその物理的点の異なる光線方向に対応している。
センサー１３平面上の各マイクロ像は、１つのマイクロレンズに対応し座標ＸおよびＹを有する。マイクロ像内部の各画素は、座標ＰおよびＱを有する。各マイクロ像は、光学軸との関係において指標付けされる。所与のマイクロ像中の画素は、マイクロレンズの光学軸との関係において指標付けされる。Ｎx（またはＮy）が、ｘ（またはｙ）方向におけるマイクロ像の数に対応し、Ｎp（またはＮy）がｘ（またはｙ）方向におけるマイクロ像内部の画素の数に対応すると仮定する。さらに、このときパラメータを以下の通りに公式化することができる：
Figure 2016537901
光線ｒiは、その（Ｘ；Ｙ）座標で識別されるマイクロレンズ１２０に衝突する。光線ｒiが衝突するマイクロ像の内部の選択された画素(ｓｅｌｅｃｔｅｄ ｐｉｘｅｌ)１３０は、その（Ｐi；Ｑi）座標を用いて記述される。主レンズ１０内部の光線が通過する部域は、その（Ｕ；Ｖ）座標で識別される。Ｒｘ−Ｒｙ平面と、特定の方向を有する（Ｕ；Ｖ）においてデバイスの主レンズ１０に衝突する光線ｒiとの交差は、（Ｒｘ；Ｒｙ）座標を用いて記述される。各光線について、Ｒｘ−Ｒｙ平面上の座標（Ｒｘ；Ｒｙ）および主レンズ上の座標（Ｕ；Ｖ）は、光線が通過しているマイクロレンズ座標（Ｘ；Ｙ）およびマイクロ像内の画素座標（Ｐ；Ｑ）である公知のデバイスパラメータを用いて決定されなければならない。
デバイス依存型パラメータを用いて表わされたキャプチャされた光線を、デバイス非依存平面−平面表現へと変換するための変換は、以下の通りに公式化することができる：
Figure 2016537901
ここで、図５および６を用いて、Ｐｅｌｉｃａｎ（登録商標）により提案されているものと類似のプレノプティックカメラ設計の例について説明するだろう。
図５のプレノプティックキャプチャデバイス１は、同じ平面Ｕ−Ｖ上で整列され好ましくは互いに等距離に置かれたレンズを有するマイクロカメラ１６のアレイを含む。これらのマイクロカメラ１６は、薄型であり、したがって、ポータブルコンピュータ、パームトップ型コンピュータ、スマートフォンまたは類似のデバイスなどのモバイルデバイスの内部に内蔵可能である。例えば図示された例では４つである、異なる焦点距離ｆ1、ｆ2を伴う複数の異なるカメラタイプを使用して、このプレノプティックカメラがより多くの角度情報をキャプチャするようにすることができ得る。各マイクロカメラは、わずかに異なる位置および焦点距離からシーンのサブビューをキャプチャする。したがって、ライトフィールドは、異なるマイクロカメラの画像を組合わせることによって作り出される。
参照番号１９は、公式内で全ての位置がそこから計算される合成光学軸を呼称する。
各マイクロカメラ１６は、シーンのサブビューをキャプチャする。マイクロカメラ平面１６０をＵ−Ｖ平面と整列させることにより、各マイクロカメラは、特定のＵ−Ｖ座標に衝突する光線をキャプチャする。これは、考えられる全てのＲｘ−Ｒｙ座標に由来するものの、特定のＵ−Ｖ座標に衝突する光線のみを考慮すること、すなわちＵ−Ｖ平面上の特定の位置からシーンを見ることに対応する。
全てのマイクロカメラ１６は異なる焦点距離ｆ1、ｆ2…を有することから、焦平面１４は、Ｒｘ−Ｒｙ平面を形成するために個別に正規化される必要がある。
各々のマイクロカメラ１６は、その座標ＸおよびＹによって定義され得、マイクロカメラ内部の各画素は、ＰおよびＱを用いて記述される。さらに、
Figure 2016537901
 であり、式中、Ｎx（またはＮy）は、ｘ（またはｙ）方向のマイクロカメラの数に対応し、Ｎp（またはＮy）は、ｘ（またはｙ）方向のマイクロカメラ内の画素の数に対応する。
各マイクロカメラ１６は、合成光学軸１９との関係において指標付けされる。各マイクロカメラについての画素位置は同様に、この合成光学軸との関係において変換される。Ｒｘ−Ｒｙ平面上の計算されたＲｘＲｙ位置およびＵ−Ｖ平面上のＵＶ位置は同様に、この軸との関係におけるものである。
図６に示されている通り、キャプチャされた各光線ｒi、ｒjは、両方の平面上で、Ｕ−Ｖ平面内では一対の座標（Ｕ；Ｖ）を用いて、そしてＲｘ−Ｒｙ平面内では（Ｒｘ；Ｒｙ）座標を用いて、表わされることができる。光線は最初に、（Ｕ；Ｖ）座標を用いて記述されるマイクロカメラＵ−Ｖ平面に衝突する。その後、この光線は、選択されたマイクロ像の内部の光線の位置を記述する特定の座標（Ｐ；Ｑ）でセンサー１３に衝突する。座標（Ｒｘ；Ｒｙ）は、実際には、記録された（Ｐ；Ｑ）座標を用いかつ以下の通りのマイクロカメラの相対的オフセット（ｏｆｆｓｅｔ）を考慮に入れて得られる：
Figure 2016537901
図７は、Ｒａｙｔｒｉｘ（登録商標）により提案されているプレノプティックカメラに対応し得るプレノプティックカメラ１設計の例を示す。このカメラ１は、カメラ内部の画像焦平面１５上に光線ｒi、ｒj、ｒkを焦点合せする主レンズ１０を含む。マイクロレンズアレイ１２が、焦平面１５上に焦点合せされ、この焦平面の後ろに位置設定される。マイクロレンズ１２は次に、カメラセンサー１３上に光線を収束させる。各マイクロレンズは異なる視野角で画像焦平面１５のシーンを見る。したがってオブジェクト画像平面１４上に焦点合せされた状態の点Ａは、画像焦平面１５上に画像形成され、これをマイクロレンズ１２が異なるビュー位置から観察する。例えば３つといった複数の異なるタイプの焦点距離がマイクロレンズのために使用される。したがって、これらのマイクロレンズは、３つの異なる画像焦平面１５上に焦点合せし、その結果、キャプチャされる角度情報は増大する。
センサー平面１３上の各マイクロ像は、その座標ＸおよびＹにより識別されてよく、マイクロ像内部の各画素はＰおよびＱとして識別されてよい。さらに、
Figure 2016537901
 であり、式中、Ｎx(またはＮy）は、ｘ（またはｙ）方向におけるマイクロ像の数に対応し、Ｎp（またはＮy）はｘ（またはｙ）方向におけるマイクロ像内部の画素数に対応する。
各マイクロ像は、主レンズ光学軸との関係において指標付けされ、所与のマイクロレンズ内の画素はマイクロレンズ光学軸との関係において指標付けされる。
キャプチャされた各光線ｒi、ｒj、ｒkは、両方の平面上で、Ｕ−Ｖ平面内では一対の座標（Ｕ；Ｖ）を用いて、Ｒｘ−Ｒｙ平面内では（Ｒｘ；Ｒｙ）座標を用いて、表わされなければならない。この光線は最初にデバイスパラメータを用いてキャプチャされる。光線は最初に、（Ｕ；Ｖ）座標を用いて記述されるＵ−Ｖ平面と見なされる主レンズ平面１０に衝突する。次にこの光線は（Ｘ；Ｙ）を用いて記述される特定のマイクロレンズ１２に衝突する。その後この光線は、選択されたマイクロ像の内部の光線の位置を記述する特定の座標（Ｐ；Ｑ）でセンサー１３に衝突する。
座標（Ｒｘ；Ｒｙ）は、記録された（Ｐ；Ｑ）および（Ｘ；Ｙ）座標を用いて以下の通りに得ることができ得る：
Figure 2016537901
未知のまたは過度に複雑なカメラ構造に起因して理論的にカメラ変換関数を導出することが不可能である一般的なプレノプティックカメラの場合でも、カメラシステムの特性を測定することによって変換関数を獲得することがなおも可能である。例えば、パラメータが完全に公知である基準シーンを使用することによって、プレノプティックカメラ内でいかにシーンがキャプチャされ記憶されるかを測定することができる。
例として、少なくとも一部のパラメータが未知であるカメラ１のための変換関数を決定したい場合、カメラ較正と類似の要領で未知のパラメータを推論することによりカメラ変換関数Ｆを識別することができる。図８に示されている通り、未知のプレノプティックカメラ１でキャプチャされた市松模様２０のプレノプティック画像２１を使用して、カメラ１のパラメータを決定することができる。例えば、カメラ１モデルの設計が公知のカメラの設計と同一であるもののその焦点距離のみが未知であることが分かっている場合、光学軸に沿って基準画像を移動させることにより焦点距離を推論し、同じ物理的点に由来する全ての光線が１つの単一マイクロ像を構成している位置を発見することができる。
別のアプローチとして、カメラ設計もそのパラメータも未知であると仮定した場合に、一定の方向に向かって単一の光線を発出できるデバイス（例えばシャープレーザーポインタ）を使用して、プレノプティックデータの画素との対応を発見することができる。この単一光線は次に、プレノプティックカメラによりキャプチャされる。このアプローチは、以前のものでは同じ物理的点からフェアリングする複数の光線を記録していたものの、発出デバイスに由来する唯１つの単一光線をプレノプティックカメラが記録するという事実により、以前のものと異なっている。キャプチャされた光線は、プレノプティックカメラ内に進み、最終的には単一の画素に衝突する。シーンの他の強度値と異なる強度値を有する画素を観察することができる。複数の発出された光線の方向とそれらに対応する画素との間の対応を測定することにより、我々は変換マップを定義することができ、これにより変換関数が導かれる。複数の光線を異なる波長および／または変調で連続的におよび／または同時に発出して、各光線が衝突するプレノプティックカメラの画素を決定し、こうして変換関数を決定することが可能である。
標準からライトフィールドへの変換
標準的１Ｄ、２Ｄまたは３Ｄ画像データまたは立体データをカメラ非依存プレノプティック表現に変換して、これらの変換済み表現を処理し、場合によってはこれらを、プレノプティックカメラでキャプチャされ同じカメラ非依存プレノプティックフォーマットへと変換されたプレノプティック表現とマージすることも同様に可能である。
標準的２Ｄ画像および３Ｄモデルを扱う場合、プレノプティックキャプチャデータの場合に行なうはずのものと同じ要領でそれらをマージまたはそれらを処理することができるように、非依存性プレノプティック表現へとそれらを変換できる必要がある。
以上の場合がそうであったように、我々は、単純さおよび明確さを期して、２つの平面表現への変換を考慮する。
１Ｄまたは２Ｄ画像データの変換
特定の幅（Ｗ）および高さ（Ｈ）を有する２Ｄ画像は、Ｗ*Ｈ個の数の画素で構成される。各画素を、一対の２Ｄ座標Ｉｘ−Ｉｙを用いて表わすことができ、Ｒｘ−Ｒｙ平面上の特定の座標Ｒｘ−Ｒｙとマッチさせることができる。Ｒｘ−Ｒｙ平面上でこれらの座標に衝突する光線の強度は、２Ｄ画像の画素値で置換されるだろう。より厳密には、Ｉｘ−ＩｙとＲｘ−Ｒｙとの間のマッチングは、Ｒｙ−Ｒｙ平面上で（すなわちＺ＝１）、ＸおよびＹ上の所望の場所に２Ｄ画像を置くことによって行なわれる。Ｕ−Ｖ上の異なる点からフェアリングする多数の光線が、特定の座標でＲｘ−Ｒｙ平面と交差していることから、そのＲｘ−Ｒｙ座標上に置かれた２Ｄ画像の画素の強度値は、その座標を通過する全ての光線にコピーされる。したがって、２Ｄ画像の各画素は、異なる方向でフェアリングするものの同じ強度をもつ光線を有する物理的点へと変換される。
アプローチは、合成画像のためにも同様に利用可能である。特定の幅（Ｗ）および高さ（Ｈ）を仮定すると、これらは、標準的画像と同様にＷ*Ｈ個の数の画素で構成され、各画素は、上述のものと同じプロセスにしたがって、特定の座標Ｒｘ−Ｒｙとマッチされる。
１Ｄ画像も同様に、ライトフィールドに変換可能である。プロセスは、２つの次元（例えばＩｘ−Ｉｙ）ではなく１つの次元（例えばＩｘ）のみを考慮するという点を除いて、上述のものと同じである。
ビデオを一続きの２Ｄフレームと見なすと、各フレームも同様に、上述のものと全く同じ原理にしたがって、ライトフィールドに変換させることができる。
カメラ非依存フォーマットでのプレノプティックデータへの３Ｄモデルの変換
３Ｄモデルをライトフィールドに変換することもできる。１つの最初のアプローチは、非依存表現内に３Ｄ点として３Ｄモデルを統合することである。上述の１Ｄまたは２Ｄ画像の場合と同様に、光線は、異なる方向で３Ｄモデルの各々の３Ｄ点からフェアリングする。異なる方向での光線強度は、３Ｄモデルパラメータにより定義される。単純な場合には、全ての光線強度は、全ての方向で同じと考えられる（ランバートモデル）が、いつでもそうであるとはかぎらない。空間内の各々の３Ｄ点からフェアリングする全ての光線がひとたび分かったならば、Ｒｘ−ＲｙおよびＵ−Ｖ平面とこれらの光線との交差を計算して、非依存表現のための交差を計算する必要がある。我々には３Ｄモデルがあることから、閉塞を処理することができ、したがってＵ−Ｖ平面から直接見ることのできる光線のみが保持されるという点に留意されたい。Ｕ−Ｖ平面と交差するこれらの光線は次に、Ｒｘ−Ｒｙ平面まで拡張され、ここでそれらの交差が計算される。このようにして、プレノプティックカメラにより３Ｄモデルのビューをシミュレートする。このアプローチには、３Ｄモデルの考えられる各々のビューイング条件を考慮に入れ非依存表現でこの条件を表わす必要があり、それにはあるメモリー空間が必要となる可能性があるという欠点がある。しかしながら、考えられる全てのビューが予め非依存表現に変換されてしまっているため、これらのビューを使用したい場合に追加の処理時間は全く求められない。
別の実施形態においては、使用したい場合にのみ３Ｄモデルをカメラ非依存表現に変換する。このシナリオでは、正に上述のものと全く同じ処理が行なわれるが、これは所望のビューイング条件についてだけである。その帰結として、所要メモリー空間はより少なくなるが、何らかの後処理のための３Ｄモデルのオンデマンド変換に起因して、何らかの待ち時間が導入されるかもしれない。
ライトフィールド処理
上述の変換プロセスの出力は、カメラ非依存でかつさらなる処理のために直接使用可能であるライトフィールド表現である。実際、さまざまなカメラがハードウェア上の根本的で大きな差異を有していることから、このカメラ生成データに直接適用される後処理のための方法およびアルゴリズムを維持するのは面倒なことであると思われる。本発明で提案されているように、カメラの特異性から後処理アルゴリズムを解放するために、提示された異なる変換を使用することができる。
ここで、変換されたライトフィールドの修正を可能にするいくつかの後処理方法について説明するだろう。それは、拡張現実（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）を行なうこと、またはシーンの質を改善することのためであり得る。
シーンセントリック型表現
ライトフィールド表現は、カメラの位置に基づいて空間内の各光線を一意的に記述する。表現に応じて、キャプチャシステムが視野≧１８０°の内部の光を集めることができる場合、光線方向も同様に含み入れてよいと考えられる。
このカメラ中心型表現は、シーンの任意のオブジェクト上を中心にするように処理することができる。実際、光線は、光源などのシーンオブジェクトまたは直接または間接光源を反射する他のオブジェクトに由来する。キャプチャされたおよび変換されたライトフィールドを処理するためには、オブジェクトが付加、除去または修正された場合に光線を修正できるようにこのようなシーンセンタード型表現を有することが有用である。
例えば、拡張現実処理においては、多くの場合、キャプチャされたライトフィールドをいくつかの仮想／人工視覚情報で拡張する必要がある。本明細書において、拡張現実は同様に、時として減損現実（ｄｉｍｉｎｉｓｈｅｄ ｒｅａｌｉｔｙ）とも呼ばれる、シーンからオブジェクトを実際に除去する状況をも含んでいる。
次の節全体を通して、我々は、上述の２平面パラメータ化を用いたライトフィールド表現の実施例を使用するが、同じ方法は、例えば球−平面などの他の表現にも同等に適用可能である。
図９は、シーン２０由来のライトフィールドの２つの平面表現を示す。４本の光線ｒ1〜ｒ4が示されている。最初の２本の光線ｒ1、ｒ2は、カメラ１の焦平面Ｒｘ、Ｒｙ内の焦点合せされた点Ａに対応し、ここで最後の２本の光線ｒ3、ｒ4は、異なる距離で焦点合せされていない点Ｂに対応する。
先に説明した通り、この表現から光線ｒ1〜ｒ4のうちのどれが同じ物理的点を表わしているか否かを知ることは不可能である。ここでは、我々は、光線がシーン２０から発出され、したがってシーン点から出発してカメラ平面Ｕ−Ｖに衝突した時に停止するシーンセントリック型表現へとこの表現を変換することを提案する。したがって、我々は、光線を表わす半直線ではなく、セグメントを扱う。これは、光線がカメラから出発しており、その長さまたは深度が未知であるため決して停止することのない前述の表現の２本立てである。
変換は、以下の方法で行なうことができる：
１．１つのシーンのシーンセントリック型プレノプティック表現から開始する。
２．カメラ非依存表現内の各光線について、以下のことを行なう：
２．１ 光線の交点およびシーンの物理的点を推定する（考えられる方法の概要については次節を参照のこと）。これを知ることで、我々は、シーン点の深度を推論することができる。
２．２ カメラ平面（Ｕ−Ｖ平面）に平行な、カメラとの関係における物理的点の２Ｄ位置を演繹する。
２．３ 最初の２つのステップにおいて計算された２Ｄ位置＋深度情報により新規作成された３Ｄ点をサーチする。
２．３．１ この３Ｄ点がすでにシーンセントリック型表現内に存在する場合、３Ｄ点から出発しカメラ非依存表現内の現在の光線と同じ方向を有するシーンセントリック型表現に新しい光線を付加する。光線の他の特性（例えば色の強さ）も同様にコピーされる。
２．３．２ この３Ｄ点が、シーンセントリック型表現内に存在しない場合、シーンセントリック型表現内に新しい点を新規作成し、この点から発出されカメラ非依存表現内の現在の光線と同じ方向を有する新しい光線をそれに添付する。光線の他の特性（例えば強度）も同様にコピーされる。
この変換の出力は、各点に添付された光線を有する点群である。各光線は、光線にセンタリングされた視点から見た現在の光で照らされた物理的オブジェクトの色を記述する特定の色の強さを有する。これは、シーンの幾何形状ならびにその視覚的外観を完全に記述する。
光線方向がシーンに左右されずキャプチャデバイスのみに左右されるということは指摘に値する。したがって、同じ固有パラメータを有する同じキャプチャデバイスについては、カメラ非依存表現内の光線の深度および色情報のみが変化するだろう。
この新しいシーンセンタード型表現では、光線の各修正が表現の中心にあるオブジェクトの視覚的外観を実際に修正するように、ライトフィールドを実際に修正することができる。これに反して、カメラ非依存表現はシーンについての情報を全く含まない。したがって、色の強さなどの光線の特性を変更することは、シーン自体との実際の関係無しに、キャプチャされたシーン内に変化を生み出し得る。
深度の推論
ライトフィールドをオブジェクトにまたはシーンセントリック型のものに変換するためには、上述の方法で言及した通り、各光線の深度情報を有する必要がある。
ここでは、深度を再構成するための２つの方法を簡単に紹介する。
図１０に示されている第１の方法の背後にある主要な原理は、どの光線ｒ1、ｒ2…ｒiが同じ物理的点Ａに由来するかを識別することにある。２つの光線（ここではｒ1およびｒ2）が同じ物理的点Ａに対応するものとして識別されると直ちに、三角測量を用いて深度を推論することが可能である。これにより、表現パラメータとの関係における深度推定値が得られる。絶対深度が必要である場合、ライトフィールド表現を物理的世界に関連づけるパラメータを有することも必要になる。
図１０において、１つの物理的点Ａは２本の光線ｒ1およびｒ2を発出する。この点によって発出されない第３の光線ｒ3も同様に示されている。
光線、例えば光線１の深度を推論するためには、以下の手順を使用でき得る：
１．ｒ1以外のシーン内の各光線ｒiについて、その光線が同じ物理的オブジェクトに属するかまたは同じ点Ａに由来するかを識別する（異なる方法については、次の段落を参照）。
２．同じ物理的オブジェクトを表わす光線ｒ2がひとたび識別された時点で、それを三角測量するためにライトフィールド表現パラメータを用いることによりカメラ平面Ｕ−Ｖまでの紫色点の距離を計算する。実際、カメラ平面Ｕ−Ｖとの関係における光線ｒ1、ｒ2の角度は、同じカメラ平面上のこれらの相対的距離と共に公知である。
３．三角方程式を用いて、カメラ平面Ｕ−Ｖおよび点Ａからの距離、すなわちその深度を推論することができる。
光線−オブジェクト識別
２本の光線が同じ物理的オブジェクトまたは点に対応する（すなわちこれにより発出されている）か否かを査定するための方法は、物理的オブジェクトの表面が、完全にランバート面である、すなわち、オブジェクト上の所与の点について、オブジェクトにより反射された光が全ての方向で同じであるという仮定に基づくものであり得る。この制約を活用することにより、我々は、２本の光線がいかに正しく同じオブジェクトを表わしているかを定義する類似性測度(ｍｅａｓｕｒｅ)を構築する。これは実際、各光線の視覚的外観、またはより厳密には強度（ｉｎｔｅｎｓｉｔｙ）をアサートする（ａｓｓｅｒｔｉｎｇ）ものである。複数の測度が使用可能である。考えられる１つの測度は、以下のように定義される絶対差である：
Figure 2016537901
この測度は、上述の手順のステップ１の中で、２本の所与の光線が同じオブジェクトを表わしているか否かを決定するために使用することができる。小さい方のＡＤ値はこれらの場合を表す。
類似性の測度として光線強度のみを使用することにより、ノイズ発生の傾向があることは指摘に値する。したがって、深度を推論するために必要とされる情報として２本の光線のみを取上げる代りに、深度三角測量問題を満足のいく形で包括的に解決するために反復的プロセスまたはコンセンサス方法を適用することによりノイズ効果を削減することが望まれる。
第２の方法は、ライトフィールドのエピポーラ画像表現そしてより厳密にはエピポーラ線に基づくものである。我々は以下で、本明細書中で言及されている２つの平面表現をレバレッジする（ｌｅｖｅｒａｇｉｎｇ）ことによるエピポーラ線深度再構成方法という方法を紹介する。
エピポーラ線を用いた深度再構成
ランバートモデルを仮定して、図１１を参照して説明した方法を用いてＲｘ−Ｒｙ−Ｕ−Ｖ座標系内で物理的点を抽出することができる。
ライトフィールドを、Ｒｘ−Ｒｙ−Ｕ−Ｖ表現で表わしてもよい。物理的点Ａは、Ｒｘ軸に平行な方向へのオフセットｈxを伴ってＲｘ−Ｒｙ平面から距離ｄのところに置かれる。物理的点Ａは、単純さを期してＲｙ＝０およびＶ＝０とした平面内にあると仮定する。Ｒｘ平面とＵ平面との間の距離はδであり、これは、我々の２つの平面表現においては１に等しい。オブジェクトＡは、光線ｒiを発出する。光線がＲｘ−ＲｙおよびＵ−Ｖ平面の両方に交差するが、交差位置は光線の角度に応じてわずかに異なる。
三角形（ｄ＋δ、ｈｘ）、（δ、Ｒｘ）、（δ、ｈx）および三角形（ｄ＋δ、ｈx）、（０、ｕ）、（０、ｈx）は相似であることから、以下の等式が成り立つ：
Figure 2016537901
等式を変換すると、ｕとの関係におけるＲｘの一次方程式が得られる：
Figure 2016537901
これはすなわち、光源由来の光線が、いわゆるエピポーラ線と呼ばれるＵ−Ｒｘプロット上の線Ｌを形成し、その勾配（ｇｒａｄｉｅｎｔ）が深度により左右されることを意味している。図１２はＵ−Ｒｘプロットを示す。
Ｕに０を割当てることにより、Ｒｘ切片は以下のように導出される：
Figure 2016537901
その上、以下の等式が、勾配および深度について成り立つ：
Figure 2016537901
したがって、Ｕ−Ｒｘプロット内の線を抽出しその勾配およびＲｘ切片を計算することにより、深度ｄおよびオフセットｈxを得ることができる。
エピポーラ線の抽出
２Ｄデータ（例えば画像）から線を抽出する複数の方法を考慮することができる。この最終目的を達成するためには、ラドン変換(Ｒａｄｏｎ ｔｒａｎｓｆｏｒｍ)が好適である。関数ｆ（ａ、ｂ）のラドン変換Ｒは、以下の通りに定義される：
Figure 2016537901
ラドン変換では、原初の画像平面はθ−ρ平面に変換され、このθ−ρ平面では、各点（θ0、ρ0）は画像平面内の線ｘＣｏｓθ0＋ｙＳｉｎθ0＝ρ0に対応する。点の強度はこのとき、その対応する線の長さに正比例する。以下のアルゴリズム１は、ラドン変換の離散化されたバージョンを計算するためのアルゴリズムと見なすことのできるハフ変換のアルゴリズムを示す。
ハフ変換が、なじみのある傾き切片型ではなくむしろ極座標（すなわちθ−ρパラメータ化）を使用する理由は、傾きと切片の両方共が、有限ｘ−ｙ平面（すなわちデジタル画像）についてさえ非有界であるということにある。
ラドン（およびハフ）変換の１つの主要なキーは、画像平面内の回転（すなわちθの変化）がθ−ρ平面内の単純並進移動に変換されることにある。
アルゴリズム１：ハフ（ラドン）変換アルゴリズム
要件：画像を表わす２次元行列Ｉ
１．ベクトルΘ内のθ値の範囲を離散化する。
２．ρパラメータを全く異なるｎρ値に離散化する。
３．長さ（Θ）×ｎρ出力行列Ｈを構築する。
４．Ｈの全ての要素を最初０に設定する。
５．Ｉ内の各フィーチャ点（ｘ、ｙ）について、以下を実行
６．各々のθ∈Θについて、以下を実行
７． ρ＝ｘＣｏｓθ＋ｙＳｉｎθ
８． Ｈ（θ、ρ）＝Ｈ（θ、ρ）＋１
９． 以上を終了
１０．以上を終了
１１．出力画像Ｈを戻す。
ハフ変換の結果として、エピポーラ線はθおよびρにより特徴付けされ、ここで以下の関係式が成り立つ：
Figure 2016537901
したがって、所望のパラメータｄおよびｈxは、以下の通りに得られる：
Figure 2016537901
深度再構成アルゴリズム
現実世界では、オブジェクトを３Ｄ座標内の任意の位置に置くことができ、このことはすなわち深度推定方法が、Ｒｙ＝０およびＶ＝０の平面上の点についてのみならず、いかなる点においても機能する必要があるということを意味している。Ｒｙ（またはＶ）軸内の物理的点のオフセットｈyを考慮に入れるために、我々は、考えられる全てのＲｙ値についてＵ−Ｖ平面上の深度再構成を実施する。換言すると、Ｖ＝０として、各ＲｙにおいてＵ−Ｖスライス上でエピポーラ線を抽出する。
以上の節で説明した原理にしたがって、我々は、キャプチャされたシーンの幾何形状を再構成するためのアルゴリズムを提案する。
要件：ＵＶＲxＲy座標系で表わされたプレノプティックデータ
１．Ｒｙ’としての各Ｒｙについて
２．（Ｖ、Ｒｙ）＝（０、Ｒｙ’）においてＵ−Ｒｘ平面上でハフ変換を適用する
３．各々の抽出されたエピポーラ線について、深度ｄi、ｘオフセットｈxi、およびｙオフセットｈyiを計算する
Figure 2016537901
 ４．全ての推論した３ｄ点（ｈxi、ｈyi、ｄi）を戻す
拡張現実の適用
このシーンセントリック型表現は、シーンの物理特性と適合する形で、キャプチャされたライトフィールドに対する修正および／または改善を実施することを可能にする。
ここでは、２つの異なる実施例を示す。最初の実施例は、特定のシーン要素の画質の改善に関するものである。多くの場合、オブジェクトあるいはシーンの充分に画定された部分などの画像の要素を選択し、画像の特定の部分をより明るくする、より暗くする、よりコントラストを上げるまたは異なる露光設定にすることが望まれる。従来の画像形成システムにおいて所望の写真補正を適用するために、輝度を取上げてみれば、ユーザーは、どの画素を修正しなければならないかを手作業で選択し、これらの画素のみにフィルターが適用されるようにしなければならない。これは、多くの場合において実に煩わしいことであり得る（人間の毛髪の例を考えてみるとよい）。
本節において正に説明した通りに変換されたシーンのライトフィールドキャプチャを用いると、視覚的外観に基づいてだけではなくシーン空間内のそれらの物理的位置との関係においても、要素を選択することができる。このシステムでは、ユーザーは画素ではなく、空間内の点を選択する。このとき、システムは、各オブジェクトをセグメント化するためにシーン点群の深度不連続性を分析することによって、特定のオブジェクトに属する点全てをユーザーが選択するのを助けることができる。したがって、先の毛髪の例では、ユーザーは、人物の頭の上でクリックするだけで、その頭全体を、適用したフィルターにより補正することができる。人物の頭により「発出される」異なる光線は、この場合、各光線の色の強さを増大させ得る輝度フィルターであるフィルターにしたがって選択され補正され得る。
この２段階変換（カメラライトフィールド→カメラ非依存ライトフィールド→シーンセントリック型ライトフィールド）を有することによって、異なるフィルターは、完全にカメラ非依存性であり、幾何形状および照明情報の両方が公知であるため、シーンの異なる物理法則を遵守する形でシーン自体に容易に適用され得る。
第２の実施例は、ライトフィールド空間内での拡張現実の実行に関するものである。拡張現実は、追加の／他の情報によるシーンの変化に関するものである。したがって、シーン内の変化と追加すべきコンテンツとの間に直接的な「物理的」リンクが存在する。歩行者レベルで行なわれる、通りのライトフィールドキャプチャの例を取上げてみよう。ここで示される使用事例は、例えば既存の建物などのオブジェクトを別のオブジェクト、例えば建設すべきより新しい建物で置換するというものである。より新しいオブジェクトは、例えば反射性などのテクスチャおよび表面情報を伴うコンピュータが生成した仮想３Ｄモデルの形をとる。最終目的は、この３Ｄモデルを完全にライトフィールドキャプチャ内に置き、こうしてそれが現在のオブジェクトに置き換わるようにすることにある。
この目的のために、ライトフィールドのシーンセントリック型表現を得て、以下のプロセスを使用することができる：
１．ユーザーは、キャプチャされたライトフィールドシーン内で建物などのオブジェクトの主要正面を選択する。これにより、シーンの点群表現内にアンカー点が新規作成される
２．システムは、シーン内に仮想３Ｄモデルを置き、こうしてキャプチャされたライトフィールド内のオブジェクトの主要正面が仮想３Ｄモデルの主要正面と重複することになる
３．仮想３Ｄモデルの３Ｄ情報およびライトフィールド点群内に格納されている深度情報によって、システムは、どの光線がライトフィールドキャプチャにおいてオブジェクトを表わしているか、ひいてはどの光線を、仮想３Ｄモデルを表わす光線で置換しなければならないかを推論できる。
４．システムは、仮想３Ｄモデル光線をシーンの光線とマージさせて、人工的に中に入れられた新しいオブジェクトを用いてシーンの近現実表現を新規作成する。
前述の手順は、ライトフィールド内のオブジェクトを追加／変更するために使用することができる。拡張現実シナリオには、通常次の２つのステップが関与している：すなわち、１）単一のライトフィールドキャプチャに基づいて、ユーザーＡが、要素を除去するかまたはシーンの物理特性と直接関連づけされる新しい要素を追加することによって、シーンを修正するステップと、２）ユーザーＢが、別のライトフィールドキャプチャ（またはそのビデオまたは連続的リアルタイムキャプチャ）を取上げ、先行するユーザー入力に基づいてシーンが自動的に変更される（またはそれ自体アノテーションが付される）ようにするステップである。第１のステップは、上述の４段階手順を用いて行なうことができる。第２のステップには、ユーザーＢによりキャプチャされたライトフィールドと共にユーザーＡがキャプチャしたライトフィールドを登録することができることが関与している。登録後、我々にはシーンＡ光線とシーンＢ光線との間のマッピングが正確に分かる。したがって、上述の手順のステップ番号４を自動的に適用して、シーンのユーザーのＡ修正に基づくユーザーＢのシーンの拡張バージョンを新規作成することができる。これを、ライトフィールドに基づく拡張現実と呼ぶ。
ライトフィールドに基づく減損現実
一部のシナリオでは、シーンを表わすキャプチャされたライトフィールドを修正してそこから現実のオブジェクトを除去することが所望されることが多い。
シーンからオブジェクトを除去するためには、そのシーンについての一定の知識が求められる。例えば、シーンから立方体を除去するには、（カメラの平面位置との関係において）立方体の背後で背景がどのように見えるかをこの方法が知っていることが求められる。
ライトフィールドが有用であり得るのはここにおいてである。実際、我々はシーンが異なる側からどのように見えるかについての情報をより多く有しており、したがって、「オブジェクトの背後」をより容易に再構成できると思われる。
したがって、オブジェクトを除去するには、次の２つの異なるステップが求められる：
１．除去すべきオブジェクトを識別する。これには、ライトフィールドのどの光線がオブジェクトに対応するかを正確に知る必要がある。このプロセスは、セグメンテーションと呼ばれる。
２．オブジェクトの背景をイミテートすると思われる光線により、オブジェクト光線を置換する。これはインペインティングと呼ばれる。
ここで以下では、以上に説明されたライトフィールドの２つの平面表現における上述の２つのステップの達成方法を提示する。
セグメンテーション
シーンから除去したいオブジェクトにどの光線が属しているかを識別するために、シーンの「意味論的」理解レベルをより高くするように、オブジェクトセグメンテーションと呼ばれるタスクを実施する。そのことについては、先行する節の中で説明されたシーンセントリック型ライトフィールド表現から開始する。
この表現が手中にあることから、我々は、シーンのオブジェクトにより発出されたどの光線が同じオブジェクトに実際に属するかを識別しようとする。それを行なうためには、立体視野からのオブジェクトセグメンテーションに特に由来する複数の方法が存在する。これらの方法は同様に、このシーンセントリック型ライトフィールド事例においても適用可能であり、その主たる利点は、ライトフィールドキャプチャデバイスによってキャプチャされた追加量の情報に起因して、深度推定の質が通常より高いものであるという点にある。これにより、より優れたセグメンテーション結果が生み出される。
シーンセントリック型ライトフィールドについて機能する典型的なオブジェクトセグメンテーションアルゴリズムは、以下のように機能する：
１．３つの次元が点の位置を表わし、他の３つの次元がこの点から出ていく全ての光線の光の強度（または色）の平均である、６Ｄベクトルとして、各々の光線発出点を表わす。強度を平均する代りに、アルゴリズムは同様にこれらの強度を量子化して、１組の予め決められた方向のうち１つの光線発出方向あたり１つの強度を有するようにすることもできるということも指摘に値する。方向の数をＮに設定すると、発出点を表わすＮ＋３次元のベクトルが新規作成されるであろう。
２．色の非一貫性とは異なる幾何形状の非一貫性のコストに対して典型的にウェイトが置かれる距離に基づいて、この６Ｄ点セットをクラスタ化する。典型的に、幾何形状の非一貫性のコストにさらにウェイトが置かれる。
３．クラスタ化の結果は、各々がシーン上の異なるオブジェクトを表わすクラスタからなる。アルゴリズムの最後のステップは、シーンの各光線に対して、光線が属するクラスタに対応するオブジェクト識別子を割当てることにある。
全ての光線をオブジェクトに関連づけした後、除去すべきオブジェクトを選択しなければならない。これは、例えば、ユーザーに対してシーンの画像を提示し、ユーザーが１つの領域をクリックできるようにすることによって、行なうことができる。シーン上のクリックを背面投影することにより、どのオブジェクトにそのクリックが適用されたかを知り、ひいては、そのオブジェクトに属する光線を識別することができる。
ここで、シーンセントリック型ライトフィールド表現内でのオブジェクトセグメンテーションが有用であると考えられる典型的な使用−事例について説明するだろう：
プレノプティックカメラによりキャプチャされたライトフィールドシーンは特定の角度分解能および空間分解能を有する。両方の分解能共、主としてカメラの固有パラメータに起因する。２つの異なるプレノプティックカメラパラメータでとられた類似のシーンが、異なる角度分解能および空間分解能を有する場合もある。これらのシーンが同じ空間分解能を有すると仮定して、短焦点レンズおよび平均焦点レンズなどの異なるカメラパラメータでキャプチャされたシーン由来のパースペクティブが異なっている場合もある。
所与の短焦点レンズ（例えば２４ｍｍ）で特定のプレノプティックカメラパラメータを用いて所与のパースペクティブでシーンをキャプチャするカメラマンを仮定する。１００ｍｍなどのより長い焦点の第２のレンズで、このカメラマンは再び、別のパースペクティブでシーンをキャプチャする。両方のキャプチャされたシーン上において、検討対象のオブジェクトは前景内に存在するが、２つの異なるパースペクティブビューで見られ得る。ここで、前景が第１の画像の場合と同じパースペクティブを有しているものの背景は第２の画像のパースペクティブを有している状態のシーンをキャプチャすることをカメラマンが望んだと仮定する。
それを達成するためには、１つの可能性は、両方の画像のためのキャプチャ位置を物理的に変更することにある。第１の画像は、複数のカメラパラメータで１つの位置からキャプチャされる。この画像上で、前景は、複数の特別なパースペクティブを有する。第２の画像上では、カメラマンは、前景が第１の画像の場合と類似のパースペクティブを有すること（したがって物理的なキャプチャ位置を調整しなければならない）、ただし背景は別のパースペクティブを有することを望む。そのために、カメラマンは、写真撮影において重要であるこのような視覚的効果をキャプチャできるように、物理的に動き回る必要がある。
このアプローチに対する１つの代替案は、キャプチャ後にシーンを処理することにある。プレノプティックカメラを用いてシーンをキャプチャすることにより、これが可能になる。実際、前景内のオブジェクトを、セグメンテーション技術を用いて背景から隔離することができる。このとき、画像の前景と背景を別個に処理することができ、したがって、フィルターを前景または背景に対して特定的に適用することができる。画像の前景のパースペクティブを変更しないものの背景の光線パラメータを変更して新しいパースペクティブを計算する第２のフィルターを有するフィルターの設計を想像することができる。したがって、計算された画像は、オリジナルのパースペクティブを有する前景と、別のパースペクティブを有する背景とを含む。
計算コストを削減するため、シーンセントリック型表現は、オブジェクトが位置設定されている画像の一部分の上にのみ適用されてもよい。このオブジェクトに関係する全ての光線は、フィルターが適用されるであろう他の光線と区別されるであろう。フィルターは、検討対象のオブジェクトを除いて、シーン上に適用される新しい角度および空間分解能を処理する、特定の焦点レンズなどのカメラパラメータをシミュレートしてよい。
ライトフィールドインペインティング
減損現実処理の最後のステップは、先行ステップにおいて識別された光線を変換して、これらの光線を、あたかも除去すべきオブジェクトの背景により発出されたかのように見せることにある。
標準的な画像処理の分野においては、画素を、オブジェクトの背後にあると思われるテクスチャと同じように見せるべき画素と置換することを、インペインティングと呼ぶ。ここでは、方法の一般的概念と、それを我々のシーンセントリック型ライトフィールドにいかに適用できるかを提示する。さらなる詳細は、ｈｔｔｐ：／／ｈｃｉ．ｉｗｒ．ｕｎｉ−ｈｅｉｄｅｌｂｅｒｇ．ｄｅ／Ｓｔａｆｆ／ｂｇｏｌｄｌｕｅ／ｐａｐｅｒｓ／ＧＷ１３＿ｃｖｐｒ．ｐｄｆに見出すことができる（インペインティング実施例は論文の第６節に示されている）。
ライトフィールドのインペインティングの主たる考え方は、ライトフィールドの欠落した情報を回復するというものである。一つの事例において、欠落した情報は、選択されたオブジェクトの光線により表わされる部域である。これらのオブジェクト光線が欠落していると仮定することによって、これらの光線を除去することができ、ライトフィールドを再構成することができる。この問題については、欠落領域□が、Ｆという名前のキャプチャされたライトフィールドから前もって除去されたオブジェクトの光線に対応することを仮定して、以下でより正式に記載される。
第２の実施例として、光線空間に対するインペインティングについて論述する。
Figure 2016537901
 を、入力されたライトフィールドＦが未知である光線空間の一領域とする。最終目的は、欠落した値を復元する関数Ｕを回復することにある。このため、以下の式が見出される：
Figure 2016537901
この最適化／正則化の問題を解決することで、背景により発出された異なる光線がどのようなものであるかについての解答が得られる。したがってシーンは、以前と同じシーンに見えるもののオブジェクトは存在しない回復されたライトフィールドを用いて再度レンダリングされることができる。
クロッピング
プレノプティック画像のクロッピングは、４つのパラメータＲｘ、Ｒｙ、Ｕ、Ｖの範囲を選択することに対応する。Ｒｘ−Ｒｙ平面上でクロッピングを実施することに類似している２Ｄ画像クロッピングに加えて、プレノプティッククロッピングは、Ｕ−Ｖ平面ならびにＲｘ−Ｒｙ平面上で画像をクロッピングできるようにする。各パラメータＲｘ、Ｒｙ、Ｕ、Ｖについての範囲を設定して、全ての光線セットから光線のサブセットを選択することができる。考えられるクロッピングの実装は、角度に基づくクロッピングであり、これはオブジェクトのビューイング角度を制限できるようにする。それは、ユーザーがプレノプティック画像上にプレノプティックアノテーションを添付して、このアノテーションが一定のビューイング部域のみから出現するようにする場合に使用されてよい。角度に基づくクロッピングは、添付されたオブジェクトの３Ｄ位置（ｘ、ｙ、ｚ）および２つの角度（ψ、θ）の入力をとって、ビューイング部域を制限し、Ｒｘ−ＲｙおよびＵ−Ｖの対応する範囲を出力する。
Ｒｘ−Ｒｙ平面の範囲は、以下の通りに決定される：
Figure 2016537901
 式中、ｚはＵ−Ｖ平面までの垂直距離であり、ｘ、ｙはＲｘ、Ｒｙと合致する。θとψは、それぞれＵ−Ｖ平面に直交する線からの水平角および垂直角である。
同様にして、Ｕ−Ｖ平面の範囲は、以下の通りに計算される：
Figure 2016537901
光線強度の修正
プレノプティック画像の光線強度は、包括的および局所的に修正可能である。
包括的な光線強度修正は、ユーザーがプレノプティック画像の輝度、カラーバランス、コントラスト、飽和などを調整できるようにし、修正は全ての光線に対して均一に適用される。色ヒストグラムを分析し最適化することによる自動的画像増強などのより進歩した処理も同様に、プレノプティック画像に対して実施することができる。
局所的光線強度修正によって、ユーザーは、シーン（すなわちＲｘ−Ｒｙ平面）および視点（すなわちＵ−Ｖ平面）の両方に関しプレノプティック画像の興味を引かれる領域を選択し、その後、選択された領域内で以上に列挙した修正を適用することができるようになる。
光線のフィルタリング
２Ｄ画像のフィルタリングと同様に、プレノプティックデータに対してフィルターを適用することも可能である。ガウシアンぼかしフィルターなどのローパスフィルターは、ライトフィールド内の光線の拡散として解釈される。２Ｄ画像のフィルタリングは、１つの画像および２Ｄフィルターエレメントの畳み込みとして表わされ、同様にプレノプティックデータのフィルタリングは、プレノプティック画像および４Ｄフィルターエレメントの畳み込みとして表わされる。
Figure 2016537901
図１３は、単一点（Ｒｘ、Ｒｙ）を通過しＵ−Ｖ平面に衝突する光線を拡散させる、Ｕ−Ｖ平面用のガウシアンフィルターの一例を示す。
結果として、フィルターＦを用いてフィルタリングされたオブジェクトＡは、図１４でＡ’により描かれている通り、ぼやけて見える。この例では、図から認識できるように、Ｒｘ−Ｒｙ平面近くのオブジェクトはさほどぼやけなくなり、平面から遠いオブジェクトは、さらにぼやけた状態となる。その上、適切なフィルターエレメントを構築することにより、他の全てのオブジェクトをぼかしながら一定の深度にあるオブジェクトを鮮明に維持することが可能である。
サイズ変更
プレノプティック画像のサイズ変更は、パラメータの単位の大きさ変更として定義づけされる。２Ｄ画像のサイズ変更と同様に、図１５に示されたオブジェクトＡをサイズ変更するためのサイズ変更プロセスＲは、１本の軸上の値を、この値と倍率の積へと変換する。
Figure 2016537901
例えば、（σ１、σ２、σ３、σ４）＝（０．５、１、０．５、１）である場合には、出力は全ての視点においてＲｘ（またはＵ）方向に半分に収縮したように見える。図１７は、Ｒｘ−ＲｙおよびＵ−Ｖ平面を半分にサイズ変更する略図を示す。
平面の垂直方向並進移動
キャプチャされたシーンの光線は、２つの平面表現においてＲｘ、Ｒｙ、Ｕ、Ｖによりパラメータ化され、Ｕ−Ｖ平面は、ビューイング位置を表わす。平面上で任意にビューイング位置を変動させ、対応するＲｘ、Ｒｙ値を獲得することができる。しかしながら、平面内部を移動することだけでなく平面外を移動することが所望される可能性もある。このようなケースは、１つのオブジェクトに近づけるようにビューイング位置を移動させようとする場合に発生する。
ビューイング位置をＵ−Ｖ平面の外の１点へと変更するためには２つの平面をその直交する軸に沿ってシフトさせる必要があることから、光線パラメータ全てを再計算することが必要になる。新しいパラメータの計算は、以下の通りに実施できると考えられる：
ａ）２つの平面をシフトさせて、新しい視点が、その直交する軸に沿ってＵ−Ｖ平面上に存在するようにする、
ｂ）全ての光線について、２つの平面との新しい交点を計算する。
これは一次演算であることから、計算は、入力パラメータのベクトルに対する行列乗算として記述可能である。行列の値は、２つの平面間の距離δおよび並進移動係数ｚから計算される。図１６は、略図および並進移動行列を簡単に示している。
Figure 2016537901
再焦点合せ
キャプチャされたライトフィールドは、特定のオブジェクト焦平面を用いて取上げられてよい。同じ物理的点からの異なる方向に由来する光線がキャプチャされることから、光線を再配置して再焦点合せを再度作り出すことができる。
デバイス非依存表現においては、これは、Ｒｘ−Ｒｙ平面を移動させこの新しい平面と光線との新しい交差を計算することによって行なうことができる。このプロセスは、非依存表現を構築する場合に必要である正規化プロセスと同等であることを指摘することができる。
プレノプティックデータの融合
以上の節で説明した通り、ライトフィールドは有限数のパラメータで構成されている。２つの平面表現の例では、光線は、Ｕ−Ｖ平面およびＲｘ−Ｒｙ平面との交差についての４つのパラメータ、およびその光線強度によって記述される。４つの交差パラメータの座標値は、２つの平面表現または球表現のような異なる表現に対応し得る。こうして、２つのプレノプティック画像に対応するデータを融合させる場合には、それらの表現が異なっている場合を考慮に入れる必要がある。
第２の表現にある第２のプレノプティックデータを第１の表現にある等価のデータに変換し、第１の表現内で２つのデータを融合させることにより、異なる表現を有する２つのプレノプティックデータをマージまたは融合することができる。データ表現に応じて、変換済データのサンプリングは、第２のデータのサンプリングと同じでない場合がある。この場合、異なるサンプリングに対処するため、プレノプティックデータに対し量子化を適用する必要があり得る。
量子化プロセスにおいて、各パラメータは、座標内の２つのサンプリング点の距離に対応するサイズを有する小さい値域に割当てられる。例えば、Ｒｘ軸上のサンプル数が６４０であるならば、Ｒｘ軸上でマージすべき部域は６４０個の値域に分けられ、この部域に衝突する各光線のＲｘ値は値域の１つに量子化される。２つの異なる光線が同じ値域へと量子化される場合が発生する可能性があり、これはすなわち、元来異なっている光線の全ての量子化済みパラメータが同一になることを意味している。この場合、融合プロセスについて決定を行なう必要があり、このプロセスは例えば、一定の基準に基づいて光線の１つを選択すること、またはそれらをマージして平均光線強度を得ることであり得る。別の問題として、全ての値域に強度値が充填されない場合もあり、一部は空のままにとどまる。この場合、空値域における値は、隣接する値域による補間を用いて充填されるか、または値無しのままとどまらせることができる。さまざまな補間方法が考えられる。双一次補間が一例である。
ライトフィールド記憶装置
２つの平面表現内の光線の強度値は、４つのパラメータ（例えばＲｘ、Ｒｙ、Ｕ、Ｖ）を用いてパラメータ化されることから、全ての強度値およびその対応するパラメータを記憶することにより、キャプチャされたライトフィールド全体を記憶することができる。４つのパラメータは、任意の実数値をとることができる。赤色、緑色および青色の各々についての強度値、あるいはＨＳＶまたはＣＭＹＫなどの他の表現での任意の他の値を定義することができる。したがって、行が各光線に対応し列がそれぞれ各パラメータまたは強度値に対応する行列様のフォーマットで、ライトフィールドを記憶することができる。光線が１つの強度値を有することを仮定すると、行列のサイズは記憶すべき光線の数の５（すなわち４パラメータ＋１強度値）倍に等しい。
しかしながら、プレノプティックデータは通常、恒常な間隔で並置された普通の画像形成センサーを用いてキャプチャされることから、カメラの構造についてのこの先験的知識を活用して、求められる記憶装置を最適化することができる。こうして、この条件の下で、キャプチャされたプレノプティックフィールドを記憶するために従来の画像フォーマットを使用することが有利であり得る。このフォーマットでは、本明細書の冒頭で提示された２つの平面表現が充分好適である。
画像様のフォーマットを用いてライトフィールドを記憶するためには、２つの平面表現パラメータが既知であることが必要である。これらのパラメータは同様に、メタデータを用いて画像内に記憶できるが、カメラ非依存表現が必要であることから、パラメータは通常先験的に既知である。これらのパラメータとしては、２つの平面間の距離および光線のサンプリングレート（マイクロレンズおよび画像形成センサーパラメータに対応する）が含まれる。
表現パラメータを固定させることにより、２つの平面間で表わされた異なる光線をシーンに全く依存しないものにすることになる。実際、シーンＢとは異なるシーンＡは、２つの平面により表わされる光線方向を有する。唯一の変化は光線強度にあり、この強度は異なるオブジェクトを表わしているため、明らかに変化するだろう。
このような２つの平面表現を記憶するためには、従来の画像フォーマットを使用できる。画像は画素で構成され、各画素は、Ｕ−Ｖ平面に衝突する光線を表わす。画像の２Ｄデカルト座標系は、Ｕ−Ｖ平面座標系に直接マッピングされ、Ｕ−Ｖ平面とこの画像記憶装置との間の関係を全く単純なものにする。画像の画素数は、Ｕ−Ｖ平面のサンプリングレートに直接対応し、このサンプリングレートはこのＵ−Ｖ平面に衝突する光線の数に等しい。
表現の特性を活用することにより、ライトフィールドを効率良く記憶するためのフォーマットを球表現などの別のタイプの表現のために構築することができる。
リアルタイムシステム内でこの記憶装置フォーマットを活用するためには、１本の光線に対応する画像内の画素とその光線方向とを対応させる予め計算されたルックアップテーブルを使用することができる。これにより、実行時に光線方向を得ることは、全てのキャプチャされたライトフィールドに共通の予め計算されたルックアップテーブルから値をリトリーブすることに帰着する。
プレノプティックデータの視覚化
記憶された光線の視覚化は、光線により表わされるシーンを人間が感知できるようにするために必要なステップである。視覚化は、例えばホログラフィによる視覚化などのさまざまな形で実施可能であるが、この節では、一般性を失なうことなく、単一の／多数の２Ｄ画像としてシーンを視覚化する普通の２Ｄ視覚化（すなわちレンダリング）を考慮する。２つの平面表現の我々の実施例における記憶されたライトフィールドは、２Ｄ表面上の一定のビューイング位置に衝突する４Ｄ光線を投射することによって視覚化することが可能である。表面と各光線の交点をサーチし２Ｄ画像の対応する画素内にその強度値を割当てることによって、２Ｄ画像が生成される。最も単純な例は、Ｒｘ−Ｒｙ、Ｕ−Ｖ表現に記憶されたライトフィールドのレンダリングである。この場合、Ｒｘ−Ｒｙ平面は、光線が投射される表面（すなわち画像平面）に対応し、ＵＶ平面上の点が、ビューイング位置に対応する。ＵＶ平面上の点（Ｕ、Ｖ）において交差する各光線の強度値を、画像平面上の点（Ｒｘ、Ｒｙ）へと割当てることにより、ビューイング位置（Ｕ、Ｖ）から見たキャプチャされたシーンのレンダリング済み画像が得られる。
ビューイング位置は、任意の位置に置くことができる。ビューイング位置の変更は、パースペクティブシフトと呼ばれる。例えば、Ｒｘ−Ｒｙ−Ｕ−Ｖ表現の場合、パースペクティブシフトは、ビューイング点（Ｕ、Ｖ）をＵ−Ｖ平面上の別のビューイング点（Ｕ’、Ｖ’）へと変更することによって行なわれる。パースペクティブシフトを用いてライトフィールドをレンダリングすることによって、カメラ位置が新しい位置に並進移動するという視覚的効果が誘発される。
スクリーン上にシーンの２Ｄ画像を表示するためと同時に、より進んだ使用事例のために、ライトフィールドレンダリングを使用することもできる。例えば、瞳孔間距離を離した状態で２つのビューイング位置から２つの画像を生成しそれぞれ右眼のために一方をそして左眼のために他方を表示することによって、１つのシーンの３Ｄビューがシミュレートされる。シャッター３Ｄシステムおよびオートステレオスコピーなどの、立体画像を表示するための技術がすでに存在している。
構図を変えた２Ｄ画像としてユーザーにデータを提示するために、プレノプティックビューワを使用することができる。プレノプティックシーンを特定の焦点に再度焦点合せするか、またはシーン視点を変更する可能性がユーザーに与えられる。プレノプティックビューワは、プレノプティックデバイスによりキャプチャされた光線を、解釈することなく直接使用し、したがって、３Ｄ再構成の場合のようなエラーを発生させない傾向にある。実際、光線のこの直接的使用は、シーンオブジェクトの反射性またはテクスチャについていかなる仮定も行なわない。
焦点の変更は、提示された２Ｄ画像内の１点を直接クリックしてその点に焦点を調整することにより行なうことができる。代替的には、ユーザーは、スクロールホイールを使用して、シーン内の焦点を変更することが考えられる。これは、焦点合せされた状態にある点が鮮明で、残りがぼやけている画像のスキャンと視覚的に類似している。１つの焦点距離において画像を再度焦点合せするこの能力には、閉塞によって隠されたオブジェクトの背後を見るという特性があることを指摘しておきたい。ユーザーから見ると、これは、閉塞が存在するか否かに関わらず異なる焦平面に沿ってシーンをスキャンすることに類似している。これは、このようなプレノプティックビューワを使用することで、繁みを貫通してまたは密度の高い粒子体積を貫通して見ることができる強力な特性である。
プレノプティックビューワは同様に、３Ｄ空間内で視点を変更することによって、異なるビューをレンダリングすることもできる。視点の変更は、例えばシーン上のユーザーのマウスのクリックアンドドラグ動作によりトリガーされ得る。このようにして、プレノプティックビューワは、マウスボタンが解放されるまで、マウスの新しい位置に応じてビューイング位置を変更する。代替的には、押圧されたキーに応じてビューイング位置を変更するためのトリガーとして、キーボードのキーを使用できると思われる。単純な実施例は、この動作のためにキーボードの矢印を使用することであると思われる。
ひとたびシーンの焦点およびビューイング位置について決定を下した時点で、ユーザーは、次にシーン要素をアノテートすることができる。ユーザーは、プレノプティックビューワの現在の２Ｄビュー内で焦点合せされた状態にあるシーン要素に対してのみアノテーションを添付してよく、これはユーザーにとってより意味あることである。ユーザーは同様に、２Ｄビューのぼやけた部分にもアノテートすることができると思われる。
シーンにアノテートするために、ユーザーは、２Ｄビューワ上でアノテーションをドラグアンドドロップしてよい。アノテーションは、考えられるアノテーションのリストから取上げるか、またはビューワにアップロードするか、またはオンザフライで新規作成することができる。選択されたアノテーションは、プレノプティックビューワ内に結合された状態で現われる。システムは光線をシーン光線と適正にマージした。その後ユーザーは、プレノプティックシーン環境内で直接それに対していくつかの変換を適用することができる。変換は、３Ｄ並進、回転またはスケーリングであり得る。これらの変換は例えば、ボタンまたはキーボードのキーによってトリガーされる。
プレノプティックビューワの場合には、アノテーションとシーンとの間の光線のマージは、ビューワが光線情報を用いて直接機能することから、アノテーションレベルにおいて直接行なわれる。
記録されたプレノプティックデータは、３Ｄビューワでも同様に視覚化可能である。記録されたシーンは、３つの次元でシフトされ操作され得る。それにより、ユーザーは、シーン空間内へ直感的にナビゲートすることができる。現実世界の一部分しかキャプチャされていないため、再構成された３Ｄシーンは、そのシーンの一部のデータが欠落していることからひび割れ状態（ｃｒａｃｋｌｅｄ）になる場合がある。
キャプチャされた光線の全てを用いて、この３Ｄマップを計算してよい。生成されたカラー画素の各々は、この３Ｄ空間内に位置づけされるだろう。プレノプティック画像は後で焦点合せ可能であるという重要なフィーチャを有する。換言すると、ユーザーは、どの部域を焦点合せしたいかを選択することができる。したがって、記憶されたデータも同様に、異なる最も鮮明な部域を伴う画像スタックとして見ることができるようになる。各々の画像焦点距離(ｉｍａｇｅ ｆｏｃａｌ ｄｉｓｔａｎｃｅ)を用いて、それらの相対的位置を知ることができる。このスタックからの画像を全て使用して、３Ｄマップを計算する。各画像について、最も鮮明な部域からの画素のみが考慮され、選択された画像焦点距離が知られていることから、これらの画素を３Ｄマップへと再度位置づけすることができると思われる。この計算されたマップは、複数の平面上に位置づけされた多数の画像からの画素で構成され得、深度の印象を与えている。現在、文献中では、プレノプティック画像を用いて高機能の３Ｄマップを計算するためのより進化した技術が存在している。この分野では、研究分野がかなり活発である。プレノプティックカメラの重要な利点は角度分解能にあることから、可能なかぎり部分的閉塞を削減して、進化したマップを構築することができる。
ＡＲがプレノプティック空間において有利な適用
顕微鏡検査の分野
顕微鏡検査は、恐らく、プレノプティック技術の使用が現在最もふさわしい分野である。標準的な光学系は、光学的な制限（浅いフィールド深度、細胞またはニューロンにとって過度に長い露光…）に起因して効率の良い解決法を提示できないでいる。例えば、細胞の分析は、細心の注意を要するプロセスであることから、細胞の標識づけによってアノテーションが可能であるというのは、強力な利点である。
・ プレノプティックは、フィールド深度を（６倍）増大させる。
・ 閉塞がある場合、プレノプティックは、他の深度デバイスでは不可能である異なる層において情報を解像できる。
・ プレノプティックは、一度により多くの視野角をキャプチャすることから、細胞の露光を短縮する（生きたニューロンにとって良いことである）。
・ プレノプティックは画像の分解能を（８倍）増大させる。
・ 現実的なアノテーションの必要は全く無い。
粒子速度測定
３Ｄ軌道の測定は、複数の分野において対処が困難な問題である。水などの同じ体積内で多数の粒子の軌道を追跡する場合、全ての異なる経路を分析することは冗長な作業となる。プレノプティックデバイスは、何千ものミクロアイでシーンを見て、したがって粒子運動中に出現する多数の閉塞を解像できるという強力な利点を有する。リアルタイム追跡のためにシーン内で粒子をアノテートする可能性を追加することには、強力な利点がある。
・ 閉塞がある場合、プレノプティックは、より良い３Ｄ軌道分析のため、異なる層において情報を解像することができる。
・ 多数の非常に正確に整列されたカメラを用いた複雑な較正の必要はもはや全く無い。ただひとつのカメラだけをセットアップする必要がある。
・ 現実的アノテーションの必要は全く無い。
・ 水族館の魚の水中分析。
植物成長分析
研究者が植物の進化を分析し新しい解決法を調査する植物分析研究所のおかげで、新しい植物種の効率の良い創出が可能である。３Ｄ解析に対する必要性は強いものであるが、栽培は、例えば光が重要なパラメータである管理された環境内で行なわれる。プレノプティック技術は、押しつけがましくなく、ロバストな３Ｄモデルを再構成するために照明条件を修正する必要がないことから、このような管理された環境における３Ｄ解析のこの問題を充分解決してくれる。公知の特性として、プレノプティックデバイスは、同様にこの分野における主要な関心の的である多数の閉塞にもうまく対処する。
・ プレノプティックカメラは、シーンの現在の照明を用いて、３Ｄ情報を解像することができる。このようなシナリオでは、シーンに照明を追加することで、プランテーション開発は改変されるだろう。
・ 閉塞がある場合、プレノプティックは、より良い３Ｄ解析のため異なる層において情報を解像することができる。
・ 現実的アノテーションの必要が全くない。
ストリートビュー広告
以下の点は、さらに検討を行なう必要のある使用事例である。照明分析などの一部の技術的問題は、技術に関する我々の現在の理解によってはまだ対処できないと思われる。
商店のショーウィンドウの反射を除去するためにプレノプティック技術を使用すること。正確な位置づけのためＶｉｄｉｎｏｔｉ−１＆Ｖｉｄｉｎｏｔｉ−７の組合せを用いた商店のショーウィンドウ上の現実的広告（例えば、ストリートビュー）。
現実的な設計およびアーキテクチャ
アーキテクチャシミュレーション、シーンの照明の中での調度／壁の色など、アノテーションが適用されている表面のテクスチャをイミテートすることにより、現実的なアノテーションを創出すること。放送されるスポーツイベント中の、押しつけがましくない（うまく一体化されていることを意味する）広告（例えばホッケーの試合中の氷上の広告）。
電話呼出し用の３Ｄアバター
電話呼出し中のオンザフライ・クィック３Ｄアバター
上述の方法のさまざまなオペレーションは、オペレーションを実施することのできる任意の好適な手段、例えばさまざまなハードウェアおよび／またはソフトウェアコンポーネント（単複）、回路および／またはモジュール（単複）によって、実施されてよい。概して、本願記載のいずれのオペレーションも、オペレーションを実施することのできる対応する機能的手段により実施されてよい。さまざまな手段、論理ブロックおよびモジュールは、回路、特定用途向け集積回路（ＡＳＩＣ）または汎用プロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、特定要素向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレーシグナル（ＦＰＧＡ）または他のプログラマブル論理デバイス（ＰＬＤ）、離散的ゲートまたはトランジスタ論理、離散的ハードウェアコンポーネントまたは本明細書中に記載の機能を果たすように設計されたその任意の組合せを含めた（ただし、これらに限定されない）さまざまなハードウェアおよび／またはソフトウェアコンポーネント（単複）および／またはモジュール（単複）を含んでいてよい。
本明細書中で使用される「〜を決定する」という用語は、多様な動作を包含する。例えば、「〜を決定する」には、計算する（ｃａｌｃｕｌａｔｉｎｇ、ｃｏｍｐｕｔｉｎｇ）、処理する、導出する、調査する、探索する（例えば表、データベースまたは別のデータ構造内を探索する）、確認する、推定することなどが含まれていてよい。同様に、「〜を決定する」には、受信する（例えば情報を受信する）、アクセスする（例えばメモリー内のデータにアクセスする）ことなども含まれていてよい。同様に、「〜を決定する」には、解像する、選択する（ｓｅｌｅｃｔｉｎｇ、ｃｈｏｏｓｉｎｇ）、立証することなども含まれていてよい。
本開示に関連して説明された方法またはアルゴリズムのステップは、ハードウェアにおいて直接、プロセッサにより実行されるソフトウェアモジュールにおいて、またはこれら２つの組合せにおいて具体化されてよい。ソフトウェアモジュールは、従来技術において知られている任意の形態の記憶媒体中に存在していてよい。使用され得る記憶媒体のいくつかの例としては、ランダムアクセスメモリー（ＲＡＭ）、読取り専用メモリー（ＲＯＭ）、フラッシュメモリー、ＥＰＲＯＭメモリー、ＥＥＰＲＯＭメモリー、レジスター、ハードディスク、リム−バブルディスク、ＣＤ−ＲＯＭ、などが含まれる。ソフトウェアモジュールは、単一の命令、または多くの命令を含んでいてよく、複数の異なるコードセグメント全体にわたり、異なるプログラム中で、および多数の記憶媒体を横断して、分布していてよい。ソフトウェアモジュールは、実行可能プログラム、完全なプログラム内で使用される一部分またはルーチンまたはライブラリ、複数の相互接続されたプログラム、多くのスマートフォン、タブレットまたはコンピュータにより実行される「ａｐｐｓ」、ウィジェット、フラッシュアプリケーション、ＨＴＭＣコードの一部分などで構成されていてよい。記憶媒体はプロセッサに結合されて、プロセッサが記憶媒体から情報を読取りかつそれに対し情報を書き込むことができるようにしている。代替案では、記憶媒体はプロセッサと一体化していてよい。データベースは、ＳＱＬデータベース、ＸＭＬドキュメントセット、セマンティックデータベース、またはＩＰネットワーク上で入手可能な情報セットを含む任意の構造化されたデータコレクション、または他の任意の好適な構造として実装されてよい。
こうして、一部の態様は、本明細書中で提示されたオペレーションを実施するためのコンピュータプログラム製品を含んでいてよい。例えば、このようなコンピュータプログラム製品は、命令が記憶された（および／またはコード化された）コンピュータ可読媒体を含んでいてよく、命令は本明細書中に記載のオペレーションを実施するために１つ以上のプロセッサにより実行可能である。一部の態様については、コンピュータプログラム製品は、パッケージング材料を含んでいてよい。
クレームは以上で例示された精確な機器構成および構成要素に限定されないということを理解すべきである。
クレームの範囲から逸脱することなく、上述の方法および装置の配置、オペレーションおよび詳細においてさまざまな修正、変更および変化がなされてよい。
１ プレノプティックカメラ
１０ 主レンズ
１２ マイクロレンズアレイ
１４ 焦平面
１６ マイクロカメラ
１６０ マイクロカメラ平面
１９ 合成光学軸

Claims (27)

  1. ライトフィールドに対応するデータを処理するためのライトフィールド処理方法において、
    プレノプティックカメラ（１）を用いて、前記プレノプティックカメラに依存するフォーマットでライトフィールドを表わす初期データをキャプチャするステップと；
    前記初期データを、カメラ非依存フォーマットで前記ライトフィールドを表わす変換済みデータへと変換するステップと；
    前記変換済みデータを処理して、異なるライトフィールドを表わす処理済みデータを生成するステップと、
    を含む方法。
  2. 前記ライトフィールド内の各光線の方向が、まさしく４つのパラメータにより前記カメラ非依存フォーマットでパラメータ化される、請求項１に記載の方法。
  3. 前記ライトフィールド内の各光線の方向は、前記光線が２つの予め決められた平面と交差する位置を用いて前記カメラ非依存フォーマットでパラメータ化される、請求項２に記載の方法。
  4. 前記ライトフィールド内の各光線の方向は、それが互いに一点で接する２つの球と交わる位置を用いて前記カメラ非依存フォーマットでパラメータ化され、前記位置の１つが接点である、請求項２に記載の方法。
  5. 前記ライトフィールド内の各光線の方向は、それが１つの単一球と交わる２つの位置を用いて前記カメラ非依存フォーマットでパラメータ化される、請求項２に記載の方法。
  6. 前記ライトフィールド内の各光線の方向が、１つの平面と１つの球の交差を用いて前記カメラ非依存フォーマットでパラメータ化される、請求項２に記載の方法。
  7. 前記ライトフィールド内の各光線が、球の中心からの光線上における最接近点（Ａ）の距離（ｒ）、球座標との関係におけるこの最接近点の極座標（ψ、θ）、および前記最接近点における球と一点で接する平面と光線との間の角度（ω）を用いて、前記カメラ非依存フォーマットでパラメータ化される、請求項２に記載の方法。
  8. １つの前記カメラ非依存表現から、異なる前記カメラ非依存表現へと、前記ライトフィールドの各光線を変換するステップを含む、請求項１〜７のいずれか一つに記載の方法。
  9. 前記初期データを変換する前記ステップが、カメラのモデルに応じた変換関数を使用する、請求項１〜８のいずれか一つに記載の方法。
  10. 既知のシーンのプレノプティック表現を使用して前記変換関数を決定するステップを含む、請求項９に記載の方法。
  11. 前記カメラ非依存フォーマットでライトフィールド表現を処理して、同じライトフィールドのシーンセンタード型表現を生成するステップを含む、請求項１〜１０のいずれか一つに記載の方法。
  12. 前記シーンセンタード型表現の光線を修正して、その表現の中心にあるオブジェクトの視覚的外観を修正するステップを含む、請求項１１に記載の方法。
  13. 点が発出する複数の光線（ｒ1、ｒ2）を識別することによりその点の深度を決定するステップと、三角測量によりこの点までの距離を計算するステップとをさらに含む、請求項１１または１２に記載の方法。
  14. エピポーラ線を抽出することにより点の深度を決定するステップをさらに含む、請求項１１または１２に記載の方法。
  15. 前記処理ステップには、カメラ非依存フォーマットで前記ライトフィールドを表わす変換済みデータに対しフィルターを適用するステップが含まれる、請求項１〜１４のいずれか一つに記載の方法。
  16. 前記処理ステップには、前記変換済みデータ内の少なくとも１つの画像フィーチャを認識するステップ、および前記フィーチャに応じて少なくとも１つの拡張現実要素を表わすデータを前記変換済データに付加するステップが含まれ、少なくとも１つの拡張現実要素を表わす前記データが前記カメラ非依存フォーマットにある、請求項１〜１５のいずれか一つに記載の方法。
  17. 前記処理ステップには、前記変換済データから決定される空間内の自らの位置に基づいてシーンのオブジェクトを選択するステップが含まれる、請求項１〜１６のいずれか一つに記載の方法。
  18. 前記処理ステップには、選択されたオブジェクトから発出される光線を置換するステップがさらに含まれる、請求項１７に記載の方法。
  19. 前記処理ステップには、前記シーンセンタード型表現から開始することによりオブジェクトセグメント化を実施するステップ、および同じオブジェクトにどの光線が現在属しているかを識別するステップが含まれる、請求項１１〜１８のいずれか一つに記載の方法。
  20. 前記処理ステップには、オブジェクトをサイズ変更するステップが含まれる、請求項１〜１９のいずれか一つに記載の方法。
  21. 前記処理ステップには、Ｒｘ−Ｒｙ平面を移動させることにより再焦点合せするステップが含まれる、請求項１〜２０のいずれか一つに記載の方法。
  22. 前記処理ステップには、
    異なるライトフィールドに対応する第２のデータを、前記変換済データを表わすために使用されたフォーマットとは異なる第２のカメラ非依存フォーマットへとリトリーブするステップと、
    前記第２のデータを前記カメラ非依存データに変換するステップと、
    前記データと前記第２のデータを融合させるステップと
    が含まれる、請求項１〜２１のいずれか一つに記載の方法。
  23. 前記カメラ非依存フォーマットで記憶されたライトフィールドを、単一のまたは多数の２Ｄまたは３Ｄ画像として視覚化するステップをさらに含む、請求項１〜２２のいずれか一つに記載の方法。
  24. 前記カメラ非依存フォーマットには、各光線が２つの予め決められた平面（Ｕ−Ｖ；Ｒｘ−Ｒｙ）と交わる位置による各光線の表現が含まれ、前記レンダリングステップには、所与の位置における前記平面の１つと交わる光線の輝度に各画素が対応している２Ｄ画像を生成するステップが含まれる、請求項２３に記載の方法。
  25. 前記レンダリングステップには、パースペクティブシフトを適用して、任意の位置からの前記ライトフィールドのビューを生成するステップが含まれる、請求項２３または２４に記載の方法。
  26. １つのライトフィールドに対応するデータを処理するためのライトフィールド処理装置において、
    前記プレノプティックカメラに依存するフォーマットでライトフィールドを表わす初期データをキャプチャするように配置されたプレノプティックカメラと；
    前記初期データを、カメラ非依存フォーマットで前記ライトフィールドを表わす変換済データへと変換するためのデータ変換器と；
    前記変換済データを処理して、異なるライトフィールドを表わす処理済みデータを生成するためのライトフィールドプロセッサと、
    を含む装置。
  27. 請求項１〜２５のいずれか一つに記載の方法を用いて処理されたデータを記憶するコンピュータキャリヤ。
JP2016533663A 2013-11-22 2013-11-22 ライトフィールド処理方法 Pending JP2016537901A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2013/074520 WO2015074718A1 (en) 2013-11-22 2013-11-22 A light field processing method

Publications (1)

Publication Number Publication Date
JP2016537901A true JP2016537901A (ja) 2016-12-01

Family

ID=49681009

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016533663A Pending JP2016537901A (ja) 2013-11-22 2013-11-22 ライトフィールド処理方法

Country Status (5)

Country Link
EP (1) EP3072289A1 (ja)
JP (1) JP2016537901A (ja)
KR (1) KR20160106045A (ja)
CN (1) CN106165387A (ja)
WO (1) WO2015074718A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107645643A (zh) * 2017-10-10 2018-01-30 成都学知乐科技有限公司 适用于多种教学环境的图像录制系统
JP2018537877A (ja) * 2015-09-17 2018-12-20 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ライトフィールドコンテンツをエンコードする方法

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3144885A1 (en) 2015-09-17 2017-03-22 Thomson Licensing Light field data representation
EP3144888A1 (en) * 2015-09-17 2017-03-22 Thomson Licensing An apparatus and a method for generating data representing a pixel beam
US10887576B2 (en) * 2015-09-17 2021-01-05 Interdigital Vc Holdings, Inc. Light field data representation
EP3188123A1 (en) * 2015-12-30 2017-07-05 Thomson Licensing A method and an apparatus for generating data representative of a pixel beam
WO2017135896A1 (en) * 2016-02-02 2017-08-10 Agency For Science, Technology And Research An imaging system and method for estimating three-dimensional shape and/ or behaviour of a subject
EP3220351A1 (en) * 2016-03-14 2017-09-20 Thomson Licensing Method and device for processing lightfield data
KR102609330B1 (ko) 2016-07-15 2023-12-05 라이트 필드 랩 인코포레이티드 라이트 필드 및 홀로그램 도파관 어레이에서의 에너지의 선택적 전파
EP3273686A1 (en) 2016-07-21 2018-01-24 Thomson Licensing A method for generating layered depth data of a scene
EP3737997A4 (en) * 2018-01-14 2021-09-29 Light Field Lab, Inc. SYSTEMS AND METHODS FOR RENDERING DATA OF A 3D ENVIRONMENT
CN111292245A (zh) * 2018-12-07 2020-06-16 北京字节跳动网络技术有限公司 图像处理方法和装置
CN111382753B (zh) * 2018-12-27 2023-05-12 曜科智能科技（上海）有限公司 光场语义分割方法、系统、电子终端及存储介质
CN111612806B (zh) * 2020-01-10 2023-07-28 江西理工大学 一种建筑物立面窗户提取方法及装置
WO2022193104A1 (zh) * 2021-03-15 2022-09-22 华为技术有限公司 一种光场预测模型的生成方法及相关装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2147392A1 (en) * 2007-05-08 2010-01-27 Eidgenössische Technische Zürich Method and system for image-based information retrieval

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018537877A (ja) * 2015-09-17 2018-12-20 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ライトフィールドコンテンツをエンコードする方法
CN107645643A (zh) * 2017-10-10 2018-01-30 成都学知乐科技有限公司 适用于多种教学环境的图像录制系统

Also Published As

Publication number Publication date
CN106165387A (zh) 2016-11-23
EP3072289A1 (en) 2016-09-28
KR20160106045A (ko) 2016-09-09
WO2015074718A1 (en) 2015-05-28

Similar Documents

Publication Publication Date Title
JP2016537901A (ja) ライトフィールド処理方法
US20230377183A1 (en) Depth-Aware Photo Editing
US11354840B2 (en) Three dimensional acquisition and rendering
US20150146032A1 (en) Light field processing method
CN101542538B (zh) 用来对光进行建模的方法与系统
EP2272050B1 (en) Using photo collections for three dimensional modeling
US20130335535A1 (en) Digital 3d camera using periodic illumination
Matsuyama et al. 3D video and its applications
TW201915944A (zh) 圖像處理方法、裝置、系統和儲存介質
US20130095920A1 (en) Generating free viewpoint video using stereo imaging
JP2006053694A (ja) 空間シミュレータ、空間シミュレート方法、空間シミュレートプログラム、記録媒体
JP2018515825A (ja) Ｌｉｄａｒステレオ融合実写３ｄモデルバーチャルリアリティビデオ
US20140181630A1 (en) Method and apparatus for adding annotations to an image
CN110998669A (zh) 图像处理装置和方法
US20210272351A1 (en) Computer-generated image processing including volumetric scene reconstruction
JP7479729B2 (ja) 三次元表現方法及び表現装置
JP2016500169A (ja) アノテーション方法および装置
JP2019509526A (ja) 多数のカメラを用いた最適の球形映像獲得方法
CN115035235A (zh) 三维重建方法及装置
CN109064533B (zh) 一种3d漫游方法及系统
US10354399B2 (en) Multi-view back-projection to a light-field
JP2022518402A (ja) 三次元再構成の方法及び装置
TWI768231B (zh) 資訊處理裝置、記錄媒體、程式產品以及資訊處理方法
Sathirasethawong Light Field Imaging and Reconstruction Tools for Small Objects
WO2022084149A1 (en) Lighting model

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161004