JP2018537877A - ライトフィールドコンテンツをエンコードする方法 - Google Patents

Abstract

一実施形態では、ライトフィールドコンテンツをエンコードする方法が提案される。方法は、− 前記ライトフィールドコンテンツと関連付けられた光線の組（４０１）について、前記ライトフィールドコンテンツの２プレーン（４０２、４０３）パラメータ化から光線毎に４つの座標を取得すること（２０００）と、− 前記組からのそれぞれの光線について、第１の２Ｄ光線図（Π（ｘ１，ｘ２），Π（ｘ１，ｘ２））内のポイントを定義する、前記２プレーンパラメータ化で使用される２つのプレーンに対して垂直であるプレーン（４０４、４０５、Ｐ）上への前記組からの前記光線の投影に対応する、前記４つの座標からの２つの座標を取得すること（２００１）と、− 前記第１の２Ｄ光線図内の対象のラインを供給する前記第１の２Ｄ光線図（Π（ｘ１，ｘ２），Π（ｘ１，ｘ２））に対して離散ラドン変換を適用すること（２００２）と、− 前記対象のラインを、エンコードされた対象のラインにエンコードすること（２００３）と、− 前記エンコードされた対象のラインを保存すること（２００４）とを含むことを特徴とする。

Description

技術分野
本開示は、演算撮像、ライトフィールド取得装置、及びプレノプティックカメラの分野に関する。更に詳しくは、本発明は、ライトフィールドデータの送信、レンダリング、処理、混合のために使用され得るライトフィールドのための表現フォーマットを対象とする。

背景
本節は、以下に記述及び／又は特許請求される本発明の様々な態様に関係し得る技術分野の様々な態様を読者に紹介することを意図したものである。この説明は、本発明の様々な態様のより良い理解を促進するために、読者に対する背景情報の提供において有用と考えられる。従って、これらの記述は、従来技術の是認としてではなく、この観点で読解されるべきものであると理解されたい。

４Ｄライトフィールドのサンプリングとして見なし得る４Ｄライトフィールドデータの取得（即ち、ＥＣＣＶ ２００８の会議議事録で公開されたAnat Levinらによる「Understanding camera trade-offs through a Bayesian analysis of light field projections」という論文の図１に説明される光線の記録）は、活発に研究されている主題である。

実際に、カメラから取得される従来の２Ｄ画像と比較して、４Ｄライトフィールドデータの場合、ユーザーは、画像のレンダリング及び／又はユーザーとの対話性を改善する相対的に多くの事後処理特徴に対してアクセスすることができる。例えば、４Ｄライトフィールドデータによれば、後の画像の再合焦（即ち、自由に選択された合焦距離による再合焦であり、これは、焦点面の位置を後に規定／選択し得ることを意味する）のみならず、画像のシーンにおける視点のわずかな変更も容易に実行することができる。４Ｄライトフィールドデータを取得するためにいくつかの技法を使用することができる。例えば、文献国際公開第２０１３／１８０１９２号又は文献英国特許第２４８８９０５号に示されるプレノプティックカメラは、４Ｄライトフィールドデータを取得することができる。プレノプティックカメラのアーキテクチャの詳細は本明細書の図１及び図２に提供される。４Ｄライトフィールドデータを取得する別の方法は、本明細書の図３に示されるように、カメラアレイを使用することである。カメラアレイのアーキテクチャの詳細は図３に提供される。最後に、４Ｄライトフィールドを取得する別の方法は、異なる焦点面で同じシーンの２Ｄ画像のシーケンスをキャプチャするように構成された従来のカメラを使用することである。例えば、２０１４年１０月にOPTICS EXPRESS, Vol. 22, No. 21で公開されたJ.-H. Parkらによる「Light ray field capture using focal plane sweeping and its optical reconstruction using 3D displays」という文献に記述される技法は、４Ｄライトフィールドデータの取得を実現するために使用することができる。

以下では、プレノプティックカメラ及びカメラアレイのみについて記述されるが、本開示は、文献米国特許出願公開第２０１０／０２６５３８６号若しくはＳＩＧＧＲＡＰＨ ２００７の議事録で公開されたA. Levinらによる「Image and depth from a conventional camera with a coded aperture」という名称の論文に示されるコード化されたアパーチャ要素を含むか、又は１９９５年４月１０日にApplied Opticsで公開されたEdward R. Dowski, Jr.及びW. Thomas Catheによる「Extended depth of field through wave-front coding」という名称の論文で言及される波面コード化技法を使用する装置など、４Ｄライトフィールドデータを取得する他の装置にも適用され得ることに留意されたい。

従来技術では、４Ｄライトフィールドデータを表す（又は定義する）ためのいくつかの方法が存在する。実際に、２００６年７月に公開されたRen Ngによる「Digital Light Field Photography」という名称の博士号論文の第３．３章では、４Ｄライトフィールドデータを表すための３つの異なる方法が記述されている。第１に、４Ｄライトフィールドデータは、例えば、図１に示されるものとしてのプレノプティックカメラによって記録された際にマイクロレンズ画像の集合体によって表すことができる（本明細書の図２の説明を参照されたい）。この表現における４Ｄライトフィールドデータは、未加工の画像（又は未加工の４Ｄライトフィールドデータ）と呼称される。第２に、４Ｄライトフィールドデータは、プレノプティックカメラによって又はカメラアレイによって記録された際にサブアパーチャ画像の組によって表すことができる。サブアパーチャ画像は、視点からのシーンのキャプチャ画像に対応し、視点は、２つのサブアパーチャ画像間でわずかに異なる。これらのサブアパーチャ画像は、撮像されたシーンの視差及び深さに関する情報を付与する。第３に、４Ｄライトフィールドデータは、エピポーラ画像の組によって表すことができる（例えば、ＩＳＶＣ ２０１１の会議議事録で公開されたS. Wannerらによる「Generating EPI Representation of a 4D Light Fields with a Single Lens Focused Plenoptic Camera」という名称の論文を参照されたい）。

但し、プレノプティック装置は、極めて雑多であり（例えば、（マイクロレンズの特定の光学構成（例えば、異なる焦点距離を有するマイクロレンズなど）を定義する）タイプ１及び２のプレノプティック装置を弁別することができる）、及びカメラアレイはその趣きにおいて異なるという事実に起因して、これらのすべてのライトフィールド取得装置は、それぞれのプロプライエタリなファイルフォーマットを有し、その結果、多次元情報の取得及び送信をサポートする規格が存在しないため、ライトフィールド技術は、通常の２Ｄ又は３Ｄ撮像以外に存在し得ないようである。例えば、４Ｄライトフィールドデータが未加工の４Ｄライトフィールドデータとして表される場合、未加工の４Ｄライトフィールドデータの処理のために、マイクロレンズのサイズなどのいくつかの追加情報が必要とされるが、現在、必要とされる追加情報のすべてを列挙した規格は存在しない。

但し、上述の４Ｄライトフィールドデータは、２０１１年２月にIEEE Transactions on Image Processing, Vol. 20, No 2に公開されたChi-Kai Liangらによる「Light Field Analysis for Modeling Image Formation」という名称の論文のLight Field Representationという名称の段落ＩＩＩの節Ａ、又はMar Levoy及びPat Hanrahanによる「Light Field Rendering」という名称の論文、又は文献米国特許第８，２３７，７０８号、同第６，０９７，３９４号、若しくは同第６，０２３，５２３号に詳述されるように、パラメータ化プロセスから導出される値によっても表し得ることに留意されたい。従って、４Ｄライトフィールドデータは、座標系における（光線と関連付けられた）ポイントの組として表すことができる（文献国際公開第２０１３／１８０１９２号の［００２８］〜［００３０］の段落を参照されたい）。更に正確には、４Ｄライトフィールドデータを表すための、平行であるか又はそうではない２つのプレーンの使用を介した４Ｄライトフィールドのパラメータ化の使用（即ち、それぞれの光線が、これらの光線の２つのプレーンとの交差に対応する座標値の組によって表される）は、プロプライエタリなフォーマットの使用を回避するための、且つ４Ｄライトフィールド装置（即ち、例えば、プレノプティック装置及び／又はカメラアレイであるが、２０１３年７月に会議ＳＩＧＧＲＡＰＨ ２０１３で提示されたD. Lanman及びD. Luebkeによる「Near-Eye Light Field Displays」という名称の論文に記述されるものなどの４Ｄライトフィールド表示装置も対象である）間の相互運用性を拡大させるための１つの方法であり得るであろう。

実際に、複雑なインターリービング構造を有する未加工情報を共有する代わりに、すべてのその慣習性と共に、キャプチャされた光線の表現を共有することが相対的に良好であると考えられる。その結果、データは、それが取得された方法とは独立して処理、共有、送信、及びレンダリングすることができる。また、パラメータ化されたライトフィールドは、「Light Field Rendering」という名称を有する上述の論文では、ライトスラブ表現とも呼称されることに留意されたい。

但し、この４Ｄライトフィールドの表現の１つの欠点は、本明細書の２３頁で言及されるように、保存を要するコンテンツが巨大である点にある。

実際に、このような表現の使用は、それぞれのパラメータ化された光線について、２つのプレーン内の座標を保存することを意味する（即ち、このような光線の４アップレット（uplet）及び放射輝度の値を保存する必要がある）。（サンプリングされたライトフィールドを定義する）２Ｄ画像の組を光線の表現（それぞれの光線は、４アップレット及び放射輝度の値と関連付けられる）に変換するプロセスは、例えば、文献米国特許第６，０２３，５２３号に示されている。

従って、上述の保存の課題が克服されるという意味において、コンパクトなライトフィールド表現を提供するための技法を提供する必要性が存在する。

開示の概要
「一実施形態」、「実施形態」、「例示用の実施形態」に対する本明細書における参照は、記述される実施形態が、特定の特徴、構造、又は特性を含み得るが、必ずしもすべての実施形態がそれらの特定の特徴、構造、又は特性を含まない場合があることを示す。更に、このような語句は、必ずしも同じ実施形態を参照しない。更に、特定の特徴、構造、又は特性が１つの実施形態との関連で記述される場合、明示的に記述されるかどうかとは無関係に、他の実施形態との関連でそれらの特徴、構造、又は特性を実施することは、当業者の知識に含まれるものと見なされる。

本開示は、ライトフィールドコンテンツをエンコードする方法を対象とする。方法は、
− 前記ライトフィールドコンテンツと関連付けられた光線の組について、前記ライトフィールドコンテンツの２プレーンパラメータ化から光線毎に４つの座標を取得することと、
− 前記組からのそれぞれの光線について、第１の２Ｄ光線図内のポイントを定義する、前記２プレーンパラメータ化で使用される２つのプレーンに対して垂直であるプレーン上への前記組からの前記光線の投影に対応する、前記４つの座標からの２つの座標を取得することと、
− 前記第１の２Ｄ光線図内の対象のラインを供給する前記第１の２Ｄ光線図に対して離散ラドン変換を適用することと、
− 前記対象のラインを、エンコードされた対象のラインにエンコードすることと、
− 前記エンコードされた対象のラインを保存することと
を含むことを特徴とする。

好適な一実施形態では、方法は、前記エンコードがブレゼンハムアルゴリズムを適用することを更に含むことを特徴とする。

好適な一実施形態では、方法は、第１のプレーン及び第２のプレーンと呼称される、前記２プレーンパラメータ化で使用される前記２つのプレーンが、矩形要素を含む離散化されたプレーンであり、前記第１のプレーン内の矩形要素の長辺の最大値が、

に等しく、ここで、ｚ_ｆが、ピクセルピッチｐを有するカメラ装置に含まれるセンサアレイの深度値であり、ｆが、前記カメラ装置の焦点距離であり、及びｚ_１が、前記第１のプレーンと関連付けられた第１の深度値であり、前記第２のプレーン内の矩形要素の長辺の最大値が、

に等しく、ここで、ｚ_２が、第２の第１のプレーンと関連付けられた第２の深度値であることを特徴とする。

好適な一実施形態では、方法は、前記第１の２Ｄ光線図内の第１のエンコードされた対象のラインに属する少なくとも１つの第１のポイントについて、
− 第２の２Ｄ光線図内の第２のエンコードされた対象のラインに属する少なくとも第２のポイントと関連付けられた光線の放射輝度を保存することであって、前記第２のエンコードされた対象のラインが、第１のエンコードされた対象のラインと同じスロープを有する、保存すること、及び光線の存在を示す第１の追加情報を保存すること、並びに／又は
− 光線が、前記第２のエンコードされた対象のラインに属する少なくとも第３のポイントと関連付けられていないことを示す第２の追加情報を保存すること
を含むことを特徴とする。

好適な一実施形態では、方法は、前記第１及び／又は第２の追加情報がビットであり、前記光線の放射輝度が３バイト値によってエンコードされることを特徴とする。

好適な一実施形態では、方法は、投影の少なくとも１つの中心の座標及び前記投影の少なくとも１つの中心と関連付けられた半径を推定することを更に含み、前記推定が、
− 前記第１の２Ｄ光線図内の対象のラインの少なくとも１つのスロープパラメータｍ及び太さパラメータ

を取得することであって、前記対象のラインが、投影の中心ｘ_３，ｙ_３，ｚ_３及び半径Ａと関連付けられる、取得することと、
− 前記少なくとも１つのスロープパラメータｍ及び前記太さパラメータ

から前記投影の中心の座標ｘ_３，ｙ_３，ｚ_３及び前記半径Ａを推定することと
を含むことを特徴とする。

好適な実施形態では、方法は、第１のプレーン及び第２のプレーンと呼称される、前記２プレーンパラメータ化で使用される前記２つのプレーンが、それぞれ第１の深度値ｚ_１及び第２の深度値ｚ_２と関連付けられ、前記推定が、

を取得することを含むことを特徴とする。

好適な一実施形態では、方法は、前記エンコードされた対象のラインの前記保存が、エンコードされた対象のラインと関連付けられたスロープを保存することと、前記第１の２Ｄ光線図内のエンコードされた対象のラインに属するそれぞれのポイントについて、第２の２Ｄ光線図に属するポイントの組を保存することと、前記第１の２Ｄ光線図内の処理済みのエンコードされた対象のラインと関連付けられたスロープが、前記第１の２Ｄ光線図内の他のエンコードされた対象のラインと関連付けられた別のスロープよりも大きい場合、前記第１の２Ｄ光線図内のポイントが、前記処理済みのエンコードされた対象のラインと前記他のエンコードされた対象のラインとの間の交差に属する際に、前記第２の２Ｄ光線図に属する前記ポイントの組の保存を回避することとを更に含むことを特徴とする。

好適な一実施形態では、方法は、前記回避が、閉塞を示す情報を保存することを更に含むことを特徴とする。

好適な一実施形態では、方法は、前記情報がヌル値であるとことを特徴とする。

一変形形態では、ライトフィールドコンテンツを表すテーブルから画像の組を供給する方法が提案され、それぞれの画像は、ｍ×ｎ個のピクセルを含み、ｍ及びｎは、１超の整数である。方法は、前記テーブルがライトフィールドコンテンツの２Ｄ光線図表現に基づくことと、方法が、
− 前記ライトフィールドコンテンツを表す前記テーブル内のデータに対するポインタを含む２次元ルックアップテーブルを取得することと、前記組内のそれぞれの画像について、
− インデックス（ｉ，ｊ）によってアドレス指定されたピクセルについて、同じインデックス（ｉ，ｊ）に位置決めされた前記２次元ルックアップテーブル内のポインタの取得を介して、前記ライトフィールドコンテンツを表す前記テーブルから光線の放射輝度値を取得することと
を含むこととを特徴とする。

好適な一実施形態では、前記光線の放射輝度は３バイト値によってエンコードされる。

好適な一実施形態では、方法は、前記放射輝度値の取得が、前記画像に含まれるピクセルのすべてについて実行されることを特徴とする。

好適な一実施形態では、方法は、ライトフィールドコンテンツの前記２Ｄ光線図表現に基づいた前記テーブルが、ラインの組を定義するパラメータを含むことを特徴とする。

好適な一実施形態では、方法は、前記２次元ルックアップテーブル内のそれぞれのポインタが２つの要素のインデックスであることを特徴とする。

本開示の別の実施形態では、２次元ルックアップテーブルを生成する方法が提案される。方法は、
− ライトフィールドコンテンツを表すテーブルを取得することであって、前記テーブルは、ライトフィールドコンテンツの２Ｄ光線図表現に基づく、取得することと、
− 前記２次元ルックアップテーブル内で要素をアドレス指定するインデックス値（ｉ，ｊ）について、前記ライトフィールドコンテンツを表す前記テーブル内の放射輝度値に対するポインタ値を判定することと
を含むことを特徴とする。

好適な一実施形態では、２次元ルックアップテーブルを生成する方法は、前記判定が、前記インデックス（ｉ，ｊ）によってアドレス指定されたピクセルのピクセルバック追跡プロセスを適用することと、２プレーンパラメータ化を介して前記インデックス（ｉ，ｊ）によってアドレス指定された前記ピクセルと関連付けられた光線の交差座標を判定することと、前記ライトフィールドコンテンツを表す前記テーブル内において、前記交差座標と関連付けられた放射輝度値に対応する位置を判定することとを含むことを特徴とする。

好適な一実施形態では、生成する方法は、前記２次元ルックアップテーブル内のそれぞれのポインタが２つの要素のインデックスであることを特徴とする。

別の実施形態では、放射輝度値を、ライトフィールドコンテンツを表すテーブル内に保存する方法が提案される。方法は、前記テーブルがライトフィールドコンテンツの２Ｄ光線図表面に基づくことと、方法が、
− ライトフィールドコンテンツを表すテーブル内のデータ位置に対するポインタを含む２次元ルックアップテーブルを取得することと、
− インデックス（ｉ，ｊ）によってアドレス指定されたピクセルについて、ｍ×ｎ個のピクセルを含む画像から光線の放射輝度値を取得することであって、ｍ及びｎは、１超の整数である、取得することと、
− 同じインデックス（ｉ，ｊ）に位置決めされた前記２次元ルックアップテーブル内のポインタの取得を介して、取得された放射輝度値を前記テーブル内に保存することと
を含むこととを特徴とする。

好適な一実施形態では、保存する方法は、前記保存が、前記画像に含まれる放射輝度値のすべてについて実行されることを特徴とする。

好適な一実施形態では、保存する方法は、画像内のすべてのピクセルの取得された放射輝度値の前記保存が並行して実行されることを特徴とする。

これらの方法の共通的な発明的特徴は、２次元ルックアップテーブルである。

本開示の別の実施形態では、４Ｄライトフィールドデータをレンダリングする方法が提案される。この方法は、電子装置によって実行され、且つ
− 少なくとも２つのデカルト座標を取得することであって、それぞれのデカルト座標は、三次元空間内でカメラ位置と関連付けられる、取得することと、
− 前記少なくとも２つのデカルト座標から、選択されたデカルト座標と関連付けられた少なくとも１つの４Ｄライトフィールドデータを取得することと、
− 取得された４Ｄライトフィールドデータをレンダリングすることと
を含むことを特徴とする。

好適な一実施形態では、方法は、前記少なくとも１つの４Ｄライトフィールドデータの取得が、前記少なくとも１つの４Ｄライトフィールドデータのデジタルライン表現を受け取ることを含むことを特徴とする。

好適な一実施形態では、方法は、前記少なくとも１つの４Ｄライトフィールドデータの取得が、前記選択されたデカルト座標に基づいてテーブルからデータを選択することを含むことを特徴とする。

好適な一実施形態では、前記テーブルは、離れたサーバー上に保存される。

例示用の一実施形態によれば、上述の方法の異なるステップは、１つ又は複数のコンピュータソフトウェアプログラムによって実装され、このソフトウェアプログラムは、本開示に従ってリレーモジュールのプロセッサによって実行されるように設計されると共に、この方法の異なるステップの実行を制御するように設計されたソフトウェア命令を含む。

この結果、本開示の一態様は、コンピュータ又はデータプロセッサによって実行されるプログラムにも関し、このプログラムは、上述した方法のステップの実行を命令するための命令を含む。

このプログラムは、任意のプログラミング言語を使用することが可能であり、且つソースコード、オブジェクトコード、又は部分的にコンパイルされた形態若しくは任意の他の望ましい形態など、ソースコードとオブジェクトコードとの間の中間であるコードの形態を有し得る。

また、本開示は、上述のように、データプロセッサによって判読可能であると共にプログラムの命令を含む情報媒体にも関する。

情報媒体は、プログラムを保存する能力を有する任意のエンティティ又は装置であってもよい。例えば、媒体は、例えば、ＣＤ−ＲＯＭ（「コンパクトディスク−読み出し専用メモリ」の略号である）若しくは微細電子回路ＲＯＭなどのＲＯＭ（「読み出し専用メモリ」の略号である）などの記憶手段、又はこの場合にも、例えば、フロッピーディスク若しくはハードディスクドライブなどの磁気記録手段を含むことができる。

更に、情報媒体は、電気又は光ケーブルを通じて、無線で、又は他の手段により、搬送され得る電気又は光信号などの送信可能な担体であってもよい。プログラムは、特に、インターネットタイプのネットワーク内にダウンロードすることができる。

代わりに、情報媒体は、プログラムが内蔵される集積回路であってもよく、回路は、対象の方法の実行時の稼働又は使用に対して適合される。

一実施形態によれば、本開示の一実施形態は、ソフトウェア及び／又はハードウェアコンポーネントを有するモジュールによって実装される。この観点では、「モジュール」という用語は、本明細書においてソフトウェアコンポーネント及びハードウェアコンポーネントの両方に、又はハードウェア及びソフトウェアコンポーネントの組に対応し得る。

ソフトウェアコンポーネントは、１つ若しくは複数のコンピュータプログラム、プログラムの１つ若しくは複数のサブプログラム、又は更に一般的には、関係するモジュールについて後述される内容に従って１つの機能若しくは機能の組を実装する能力を有するプログラム若しくはソフトウェアプログラムの任意の要素に対応する。このような１つのソフトウェアコンポーネントは、物理的エンティティ（端末やサーバーなど）のデータプロセッサによって実行され、且つこの物理的エンティティのハードウェアリソース（メモリ、記録媒体、通信バス、入力／出力電子基板、ユーザーインターフェイスなど）にアクセスする能力を有する。

同様に、ハードウェアコンポーネントも、関係するモジュールについて後述される内容に従って１つの機能又は機能の組を実装する能力を有するハードウェアユニットの任意の要素に対応する。これは、例えば、ファームウェアを実行するための集積回路、スマートカード、メモリカード、電子基板など、プログラム可能なハードウェアコンポーネント又はソフトウェアの実行用の集積回路を有するコンポーネントであってもよい。一変形形態では、ハードウェアコンポーネントは、中央処理ユニット、及び／又はマイクロプロセッサ、及び／又は用途固有の集積回路（ＡＳＩＣ）、及び／又は用途固有の命令セットプロセッサ（ＡＳＩＰ）、及び／又はグラフィクス処理ユニット（ＧＰＵ）、及び／又は物理演算処理ユニット（ＰＰＵ）、及び／又はデジタル信号プロセッサ（ＤＳＰ）、及び／又は画像プロセッサ、及び／又はコプロセッサ、及び／又は浮動小数点ユニット、及び／又はネットワークプロセッサ、及び／又はオーディオプロセッサ、及び／又はマルチコアプロセッサなどの集積回路であるプロセッサを有する。更に、ハードウェアコンポーネントは、ベースバンドプロセッサ（例えば、メモリユニット及びファームウェアを含む）及び／又は無線信号を受信又は送信する無線電子回路（アンテナを含み得る）を含むこともできる。一実施形態では、ハードウェアコンポーネントは、ＩＳＯ／ＩＥＣ１８０９２／ＥＣＭＡ−３４０、ＩＳＯ／ＩＥＣ２１４８１／ＥＣＭＡ−３５２、ＧＳＭＡ、ＳｔｏＬＰａＮ、ＥＴＳＩ／ＳＣＰ（スマートカードプラットフォーム）、ＧｌｏｂａｌＰｌａｔｆｏｒｍ（即ち、保護要素）などの１つ又は複数の規格に準拠する。一変形形態では、ハードウェアコンポーネントは、高周波識別（ＲＦＩＤ）タグである。一実施形態では、ハードウェアコンポーネントは、Bluetooth通信、及び／又はＷｉ−Ｆｉ通信及び／又はZigbee通信、及び／又ＵＳＢ通信、及び／又はFirewire通信、及び／又はＮＦＣ（近距離）通信を可能にする回路を含む。

また、本明細書における要素／値を取得するステップは、電子装置のメモリユニット内でこのような要素／値を読み取るステップ、又は通信手段を介して別の電子装置からこのような要素／値を受け取るステップと見なし得ることに留意されたい。

本開示の別の実施形態では、ライトフィールドコンテンツをエンコードする電子装置が提案される。電子装置は、メモリと、メモリに結合された少なくとも１つのプロセッサとを含み、少なくとも１つのプロセッサは、
− 前記ライトフィールドコンテンツと関連付けられた光線の組について、前記ライトフィールドコンテンツの２プレーンパラメータ化から光線毎に４つの座標を取得することと、
− 前記組からのそれぞれの光線について、第１の２Ｄ光線図内のポイントを定義する、前記２プレーンパラメータ化で使用される２つのプレーンに対して垂直であるプレーン上への前記組からの前記光線の投影に対応する、前記４つの座標からの２つの座標を取得することと、
− 前記第１の２Ｄ光線図内の対象のラインを供給する前記第１の２Ｄ光線図に対して離散ラドン変換を適用することと、
− 前記対象のラインを、エンコードされた対象のラインにエンコードすることと、
− 前記エンコードされた対象のラインを保存することと
を行うように構成されることを特徴とする。

好適な一実施形態では、電子装置は、前記少なくとも１つのプロセッサが、ブレゼンハムアルゴリズムによって前記対象のラインをエンコードするように更に構成されることを特徴とする。

好適な一実施形態では、電子装置は、第１のプレーン及び第２のプレーンと呼称される、前記２プレーンパラメータ化で使用される前記２つのプレーンが、矩形要素を含む離散化されたプレーンであり、前記第１のプレーン内の矩形要素の長辺の最大値が、

に等しく、ここで、ｚ_ｆが、ピクセルピッチｐを有するカメラ装置に含まれるセンサアレイの深度値であり、ｆが、前記カメラ装置の焦点距離であり、及びｚ_１が、前記第１のプレーンと関連付けられた第１の深度値であり、前記第２のプレーン内の矩形要素の長辺の最大値が、

に等しく、ここで、ｚ_２は、第２の第１のプレーンと関連付けられた第２の深度値であることを特徴とする。

好適な一実施形態では、電子装置は、前記少なくとも１つのプロセッサが、前記第１の２Ｄ光線図内の第１のエンコードされた対象のラインに属する少なくとも第１のポイントについて、
− 第２の２Ｄ光線図内の第２のエンコードされた対象のラインに属する少なくとも第２のポイントと関連付けられた光線の放射輝度を保存することであって、前記第２のエンコードされた対象のラインが、第１のエンコードされた対象のラインと同じスロープを有する、保存すること、及び光線の存在を示す第１の追加情報を保存すること、並びに／又は
− 光線が、前記第２のエンコードされた対象のラインに属する少なくとも第３のポイントと関連付けられていないことを示す第２の追加情報を保存すること
を行うように更に構成されることを特徴とする。

本開示の別の実施形態では、ライトフィールドコンテンツを表すテーブルから画像の組を供給する電子装置が提案され、それぞれの画像は、ｍ×ｎ個のピクセルを含み、ｍ及びｎは、１超の整数である。電子装置は、前記テーブルがライトフィールドコンテンツの２Ｄ光線図表現に基づくことと、電子装置が、
− 前記ライトフィールドコンテンツを表す前記テーブル内のデータに対するポインタを含む２次元ルックアップテーブルを取得するように構成されたモジュールと、
− インデックス（ｉ，ｊ）によってアドレス指定されたピクセルについて、同じインデックス（ｉ，ｊ）に位置決めされた前記２次元ルックアップテーブル内のポインタの取得を介して、前記ライトフィールドコンテンツを表す前記テーブルから光線の放射輝度値を取得するように構成されたモジュールと
を含むこととを特徴とする。

好適な一実施形態では、電子装置は、前記放射輝度値を取得するように構成された前記モジュールが、前記画像に含まれるピクセルのすべてを処理するために使用されることを特徴とする。

好適な一実施形態では、電子装置は、ライトフィールドコンテンツの前記２Ｄ光線図表現に基づいた前記テーブルが、ラインの組を定義するパラメータを含むことを特徴とする。

好適な一実施形態では、電子装置は、前記２次元ルックアップテーブル内のそれぞれのポイントが２つの要素のインデックスであることを特徴とする。

本開示の別の実施形態では、２次元ルックアップテーブルを生成する電子装置が提案される。この電子装置は、
− ライトフィールドコンテンツを表すテーブルを取得するように構成されたモジュールであって、前記テーブルは、ライトフィールドコンテンツの２Ｄ光線図表現に基づく、モジュールと、
− 前記２次元ルックアップテーブル内の要素をアドレス指定するインデックス値（ｉ，ｊ）について、前記ライトフィールドコンテンツを表す前記テーブル内の放射輝度値に対するポインタ値を判定するように構成されたモジュールと
を含むことを特徴とする。

本開示の好適な実施形態では、電子装置は、判定するように構成された前記モジュールが、前記インデックス（ｉ，ｊ）によってアドレス指定されたピクセルのピクセルバック追跡プロセスを適用し、２プレーンパラメータ化を介して前記インデックス（ｉ，ｊ）によってアドレス指定された前記ピクセルと関連付けられた光線の交差座標を判定し、且つ前記ライトフィールドコンテンツを表す前記テーブル内において、前記交差座標と関連付けられた放射輝度値に対応する位置を判定するように更に構成されることを特徴とする。

好適な一実施形態では、電子装置は、前記２次元ルックアップテーブル内のそれぞれのポイントが２つの要素のインデックスであることを特徴とする。

本開示の別の実施形態では、ライトフィールドコンテンツを表すテーブル内に放射輝度値を保存する電子装置が提案される。電子装置は、前記テーブルがライトフィールドコンテンツの２Ｄ光線図表現に基づくことと、電子装置が、
− ライトフィールドコンテンツを表すテーブル内のデータ位置に対するポインタを含む２次元ルックアップテーブルを取得するように構成されたモジュールと、
− インデックス（ｉ，ｊ）によってアドレス指定されたピクセルについて、ｍ×ｎ個のピクセルを含む画像から光線の放射輝度値を取得するように構成されたモジュールであって、ｍ及びｎは、１超の整数である、モジュールと、
− 同じインデックス（ｉ，ｊ）に位置決めされた前記２次元ルックアップテーブル内のポインタの取得を介して、取得された放射輝度値を前記テーブル内に保存するように構成されたモジュールと
を含むこととを特徴とする。

本開示の別の実施形態では、４Ｄライトフィールドデータをレンダリングする電子装置が提案される。この電子装置は、
− 少なくとも２つのデカルト座標を取得するように構成された第１のモジュールであって、それぞれのデカルト座標は、３次元空間内でカメラ位置と関連付けられる、第１のモジュールと、
− 前記少なくとも２つのデカルト座標から選択されたデカルト座標と関連付けられた少なくとも１つの４Ｄライトフィールドデータを取得するように構成された第２のモジュールと、
− 取得された４Ｄライトフィールドデータをレンダリングするように構成された第３のモジュールと
を含むことを特徴とする。

好適な一実施形態では、前記第２のモジュールは、前記少なくとも１つの４Ｄライトフィールドデータのデジタルライン表現を受け取るように更に構成される。

好適な一実施形態では、前記第２のモジュールは、前記選択されたデカルト座標に基づいてテーブルからデータを選択するように更に構成される。

図面の簡単な説明
本発明の上述の及び他の態様は、以下の添付図面を参照するその例示用の実施形態に関する以下の詳細な説明から明らかとなるであろう。

本開示の一実施形態によるライトフィールドカメラであるプレノプティックカメラの概略図である。 図１に開示されるセンサアレイの別の図を提示する。 本開示の一実施形態によるライトフィールドカメラであるマルチカメラアレイの概略図である。 本開示の一実施形態による少なくとも２つのプレーンの使用による光線のパラメータ化を提示する。 本開示の一実施形態による２Ｄスライスの２つの異なる表現を示す。 本開示の一実施形態による２Ｄスライスの２つの異なる表現を示す。 本開示の一実施形態による２Ｄスライスの２つの異なる表現を示す。 本開示の一実施形態による２Ｄスライスの２つの異なる表現を示す。 本開示の一実施形態による２Ｄスライスの２つの異なる表現を示す。 本開示の一実施形態による２Ｄスライスの２つの異なる表現を示す。 本開示の一実施形態による２Ｄスライスの２つの異なる表現を示す。 本開示の一実施形態による２Ｄスライスの２つの異なる表現を示す。 本開示の一実施形態によるランダムな光線ファンの２Ｄ光線図を提示する。 本開示の一実施形態による図６の２Ｄ光線図からのライトフィールドフィルタリングの結果を提示する。 本開示の一実施形態による図６の２Ｄ光線図からのライトフィールドフィルタリングの結果を提示する。 本開示の一実施形態による一般的な視点のレンダリングのために使用される座標系を提示する。 本開示の一実施形態による光線の選択を描く。 本開示の一実施形態による図９の選択された光線のレンダリング光線トレースを提示する。 本開示の一実施形態による選択された光線を有する２Ｄ光線図を提示する。 本開示の一実施形態による図１１の選択された光線のレンダリング光線トレースを示す。 本開示の一実施形態による選択された光線を有する２Ｄ光線図を提示する。 本開示の一実施形態による図１３の選択された光線のレンダリング光線トレースを示す。 本開示の一実施形態による３つのカメラの２つのグループの２Ｄ光線図である。第１のグループは、プレーンｚ_３＝２にピンホールの組を有し、且つプレーンｚ_３＝１４に第２の組を有する。 図１５のライトフィールド表現のラドン変換のソノグラムである。 本開示の一実施形態による３Ｄ空間内における一般的な視点のレンダリングのために使用される座標系を提示する。 本開示の一実施形態による、｜Ａ｜＜０．５のアパーチャを有する、座標ｘ_３＝２、ｚ_３＝２における、１つのカメラによってキャプチャされた光線の２Ｄ光線図である。パラメータ化するために使用されるラインは、２５６個のセルによってサンプリングされる。 本開示の一実施形態による２Ｄ光線図内のラインの一例を提示する。 本開示の一実施形態による６つのライン又はデジタルラインを含む２Ｄ光線図である。 本開示の一実施形態によるライトフィールド光線の表現の一例である。 本開示の一実施形態によるライトフィールド光線の表現の別の例である。 本開示の一実施形態によるライトフィールド光線の表現の別の例である。 本開示の一実施形態による二重キューブ内に封入される物体を示す。 本開示の一実施形態による二重キューブ内に封入される物体を示す。 図１８からのデータに対する離散ラドン変換の適用の結果を提示する。 図２３内のエリアに対するズームである。 左手側では、ｘにおける２Ｄ光線図と、この２Ｄ光線図内のデータに対する離散ラドン変換の適用の結果とを提示し、且つ右手側では、ｙにおける２Ｄ光線図と、この２Ｄ光線図内のデータに対する離散ラドン変換の適用の結果とを提示する。 本開示の一実施形態によるコンパクトなライトフィールド表現を提供する方法のいくつかのステップを提示する。 本開示の一実施形態による、４Ｄライトフィールドデータ又は従来の２Ｄ画像から、２つのプレーンの使用を介した光線のパラメータ化に基づいた表現への変換を描く合成方式を提示する。 本開示の一実施形態による、光線がピクセル（又は仮想的なピクセル）センサから「抽出」される方式を提示する。 本開示の一実施形態による、光線がピクセル（又は仮想的なピクセル）センサから「抽出」される方式を提示する。 本発明の一実施形態による方法のサンプリングステップを導出するために使用されるパラメータを提示する。 本開示の一実施形態による投影プロセスに関与するプレーンの斜視図を提示する。 本開示の一実施形態によるライトフィールドのパラメータ化を実行するために使用されるプレーンの離散化を提示する。 本開示の一実施形態による、画像がカメラの使用によって取得される（２つの物体を含む）シーンを提示する。更に正確には、画像は、２つのカメラの３つのグループから取得される。 本開示の一実施形態による２つのカメラの３つのグループの２Ｄ光線図を提示する。 本開示の一実施形態によるライトフィールドコンテンツ内の閉塞を処理する方法を描く。 本開示の一実施形態による、電子装置によって供給される対象の画像について、例えば、図２２（ａ）のテーブルなどのライトフィールドコンテンツのコンパクトな表現からその画像のピクセルの値を取得する方式を提示する。 画像及び２次元ルックアップテーブルから、例えば、図２２（ａ）のテーブルとしてのライトフィールドコンテンツのコンパクトな表現を生成する方式を提示する。 本開示の一実施形態による、ユーザーが、４Ｄライトフィールドデータと関連付けられたカメラの位置を選択することができる３Ｄ表現を含むメニューを提示する。 本明細書に開示される方法の１つ又は複数のステップを実行するために使用され得る電子装置の一例を提示する。

詳細な説明
図１は、プレノプティックカメラに含まれる主要なコンポーネントを概略的に提示する。更に正確には、プレノプティックカメラは、１０１という参照符号が付与されたメインレンズと、１０４という参照符号が付与されたセンサアレイ（即ち、ピクセルのアレイ）とを含む。メインレンズ１０１とセンサアレイ１０４との間には、１０３という参照符号が付与されたマイクロレンズの組を含む、１０２という参照符号が付与されたマイクロレンズアレイが位置決めされる。任意選択により、１つのレンズからの光がセンサ側の他のレンズの光とオーバーラップすることを防止するために、いくつかのスペーサが、それぞれのレンズの周りのマイクロレンズアレイとセンサとの間に配置され得ることに留意されたい。従って、プレノプティックカメラは、図１に示されるように、従来のカメラに、センサのちょうど前面に配置されたマイクロレンズアレイを加えたものと見なすことができる。マイクロレンズを通過した光線は、これらの光線の放射輝度を記録するセンサアレイの部分をカバーする。センサのこの部分による記録により、マイクロレンズ画像が定義される。

図２は、センサアレイ１０４の別の図を提示する。実際に、このような図では、センサアレイ１０４は、２０１という参照符号が付与されたピクセルの組を含むものと考えられる。マイクロレンズを通過した光線は、いくつかのピクセル２０１をカバーし、且つこれらのピクセルは、入射した／受光された光線のエネルギー値を記録する。

従って、プレノプティックカメラのセンサアレイ１０４は、（未加工の４Ｄライトフィールド画像とも呼称される）２Ｄ画像内に配置された小さい２Ｄ画像の集合体（即ち、２０２という参照符号が付与されたマイクロレンズ画像）を含む画像を記録する。実際に、それぞれの小さい画像（即ち、マイクロレンズ画像）は、レンズによって生成される（レンズは、レンズのアレイの座標（ｉ，ｊ）によって識別することができる）。即ち、ライトフィールドのピクセルは、４つの座標（ｘ，ｙ，ｉ，ｊ）と関連付けられる。センサによって記録される４ＤライトフィールドであるＬ（ｘ，ｙ，ｉ，ｊ）は、センサによって記録される画像を示す。それぞれのマイクロレンズは、円によって表されるマイクロ画像を生成する（小さい画像の形状は、マイクロレンズの形状に依存し、この形状は、通常、円形である）。（センサアレイ内における）ピクセル座標には、（ｘ，ｙ）というラベルが付与される。ｐは、２つの連続的なマイクロ画像間の距離であり、ｐは、必ずしも整数値ではない。マイクロレンズは、ｐがピクセルサイズδを上回るように選択される。マイクロレンズ画像は、その座標（ｉ，ｊ）によって参照される。それぞれのマイクロレンズ画像は、（ｕ，ｖ）座標系を有するメインレンズの瞳孔をサンプリングする。いくつかのピクセルは、特にマイクロレンズの形状が円形である場合、いずれのマイクロレンズからも何らの光子も受け取らない場合があるであろう。この場合、光子がマイクロレンズから外に通過し、その結果、マイクロ画像内にいくつかのダークエリアが生じることを防止するために、マイクロレンズ間の空間は遮蔽される（マイクロレンズが正方形の形状を有する場合、遮蔽は不要である）。マイクロレンズ画像（ｉ，ｊ）の中心は、センサ上で（ｘ_ｉ，ｊ，ｙ_ｉ，ｊ）の座標に位置する。θは、ピクセルの正方形格子とマイクロレンズの正方形格子との間の角度であり、図２ではθ＝０である。マイクロレンズが規則的な正方形格子に従って配列されると仮定することにより、マイクロレンズ画像のピクセル座標（ｘ_０，０，ｙ_０，０）を（０，０）であると見なすことにより、以下の式で（ｘ_ｉ，ｊ，ｙ_ｉ，ｊ）を演算することができる。

また、図２は、シーンからの物体がいくつかの連続的なマイクロレンズ画像（ダークドット）上で可視状態にあることも示す。物体の２つの連続的な視野間の距離は、ｗであり、この距離は、反復距離と呼称される。従って、物体は、

によりｒ個の連続的なマイクロレンズ画像上で可視状態にあり、ここで、ｒは、１つの次元における連続的なマイクロレンズ画像の数である。物体は、ｒ^２個のマイクロレンズ画像内で可視状態にある。マイクロレンズ画像の形状に応じて、物体のｒ^２個の視野のいくつかは、非可視状態となり得るであろう。

本明細書で上述されるように、４Ｄライトフィールドデータは、（４Ｄライトフィールドデータが、例えば、タイプ１．０のプレノプティックカメラによって取得される際に）サブアパーチャ画像によって表すことができる。それぞれのサブアパーチャ画像は、それぞれのマイクロレンズ画像から選択された同じ位置のピクセルから構成される。

ピクセルの場所に応じて、マルチビューのサブアパーチャ画像を取得することが可能であり、これらの画像は、それぞれ入射光線の異なる情報を有することができる。従来の写真は、すべての入射光を合計したすべてのサブアパーチャ画像の統合体に等しい。

従って、サブアパーチャ画像によって表される４Ｄライトフィールド画像は、ｍ×ｎ個のサブアパーチャ画像の組（又は集合体）として定義され、この場合、それぞれのサブアパーチャ画像は、同じシーンのわずかに異なる観点に対応し、パラメータｍ及びｎは、１以上の整数である。また、このような４Ｄライトフィールド画像は、従来技術では視野のマトリックスとも呼称される。このような表現を取得するには、それぞれの画像内のピクセルがすべてのマイクロレンズ下で同じ位置から到来する状態で画像のアレイを生成するために、未加工のセンサ画像からのピクセルが再配置される。それぞれのサブアパーチャ画像は、カメラレンズの小さいサブアパーチャ領域のみを通過した光の従来の画像をキャプチャしたものであると考えることができる。これらの画像は、極めて類似しているが、これらは、それぞれ同じ現実世界の物体がそれぞれのサブアパーチャ画像の異なる場所に出現するように、カメラのアパーチャプレーン内で一意の光学中心を有する。即ち、サブアパーチャ画像は、キャプチャされたシーン上で視差を提供し、この場合、前景の物体は、背景の物体よりも隣接するサブアパーチャ画像間で相対的に大きい変位を有する。

通常、ライトフィールド画像がタイプ１．０のプレノプティックカメラによって取得される場合、マイクロレンズの下方に位置決めされたピクセルの数がサブアパーチャ画像の数を決定し、且つマイクロレンズの数がそれぞれのサブアパーチャ画像内のピクセルの数を決定する。

プレノプティックカメラに関係する更なる詳細について、２０１２年５月にIEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 34, No 5に公開されたTom E. Bishop及びPaolo Favaroによる「The Light Field Camera: Extended Depth of Field, Aliasing, and Superresolution」という論文の「Image formation of a Light field camera」という名称の第４節に見出すことができる。

また、本技法は、このような従来のカメラのピクセルの少なくとも一部分が、文献米国特許出願公開第２０１３／２５８０９８号に記述されるものと同じ方式（又は類似の方式）によって設計される場合、（更なるマイクロレンズアレイがメインレンズとピクセルのアレイとの間に位置決めされないという意味で）「従来のカメラ」にも適用され得ることに留意されたい。実際に、文献米国特許出願公開第２０１３／２５８０９８号は、いくつかの受光セクション（例えば、文献米国特許出願公開第２０１３／２５８０９８号で１１６及び１１７という参照符号が付与されるもの）の使用に起因して、ライトフィールドデータを記録することができるピクセルについて開示する。従って、当業者は、このような従来のカメラを、それぞれのマイクロレンズが、センサ１０４に含まれる２つのピクセル上で光線を集中させる、図１に描かれているある種のプレノプティックカメラとして、文献米国特許出願公開第２０１３／２５８０９８号の技法を統合するピクセルのアレイと比較し得るであろう。文献国際公開第２０１３／２５８０９８号の技法は、更なる受光セクションがピクセルのアーキテクチャ内で統合された場合、ピクセルが（２つの低い且つ高い受光セクションによって取得される）３つ以上のデータ情報を記録し得るという意味で一般化され得ることに留意されたい。本開示は、上述のようにライトフィールドデータを記録し得るピクセルを統合したこのような「従来のカメラ」のメインレンズの収差を低減することができる。

また、本開示は、文献米国特許出願公開第２０１０／０２６５３８６号若しくはＳＩＧＧＲＡＰＨ ２００７の議事録に公開されたA. Levinらによる「Image and depth from a conventional camera with a coded aperture」という名称の論文に描かれるコード化されたアパーチャ要素を含むか、又は１９９５年４月１０日にApplied Opticsに公開されたEdward R. Dowski, Jr.及びW. Thomas Catheによる「Extended depth of field through wave-front coding」という名称の論文で言及される波面コード化技法を使用する装置など、４Ｄライトフィールドデータを取得する他の装置にも適用され得ることに留意されたい。

図３は、３００という参照符号が付与されたマルチカメラアレイを概略的な方式で提示する。マルチカメラアレイ３００は、３０２という参照符号が付与されたいくつかのレンズを含む、３０１という参照符号が付与されたレンズのアレイと、３０４という参照符号が付与された１つ又は複数のセンサアレイとを有する。マルチカメラアレイ３００は、メインレンズを有していない。レンズのアレイは、多くの場合に小さい装置であり、これは、通常、マイクロレンズアレイと呼称される。単一のセンサを有するマルチカメラアレイは、メインレンズが無限焦点を有するプレノプティックカメラの特別な場合と見なし得ることは注目に値する。実際に、無限焦点距離を有するレンズは、光線に対して何らの影響も及ぼさない。

例えば、マルチカメラアレイは、文献国際公開第２０１４／１４９４０３Ａ１号に描かれるものとしてのペリカンアレイカメラであってもよく、又はACM Transactions on Graphics, Vol 24, No 3, July 2005, pp. 765-776 (Proceedings of ACM SIGGRAPH 2005)に公開されたB. Wilburnらによる「High Performance Imaging Using Large Camera Arrays」という名称の論文でStandford Universityによって開発されたものとしてのマルチカメラアレイであってもよい。

図４は、３Ｄ空間内での４０２及び４０３という参照符号が付与された２つのプレーンの使用により、４０１という参照符号が付与された光線をパラメータ化するための方式を提示する。それぞれのプレーン４０２、４０３は、２つの法線ベクトルによって定義される（プレーン４０２の場合、

というベクトルがこれを定義し、且つ２Ｄ座標系（即ち、直交軸（ｘ_１）及び（ｙ_１）によって定義された座標系を使用することが可能であり、且つプレーン４０３の場合、

というベクトルがこれを定義し、且つ２Ｄ座標系（即ち、直交軸（ｘ_２）及び（ｙ_２）によって定義された座標系）を使用することができる）。光線がプレーンと交差した場合、（３つの成分を含む）交差点の座標を３Ｄ空間内で判定することができる。但し、光線の方向を取得するには、３Ｄ空間内の光線の方向を識別するために別のプレーンを使用する必要がある。パラメータ化に使用される２つのプレーンが平行であり、且つ（３Ｄデカルト座標空間内で）既知のｚ値を有することを考慮することにより、４つの座標（直交軸（ｘ_１）及び（ｙ_１）によって定義された２Ｄ座標系内の２つの値、並びに直交軸（ｘ_２）及び（ｙ_２）によって定義された２Ｄ座標系内の２つの値）と、このような光線の強度／放射輝度に対応する値Ｌとによってのみ、光線を識別することができる（「Light Field Rendering」という名称の上述の論文におけるこのようなパラメータ化に関する詳細を参照されたい）。従って、シーン内の光線の集合体として見なすことができるライトフィールドは、プレーンのペアによりパラメータ化することが可能であり、且つライトフィールドのそれぞれの光線は、４つの座標を有するポイントとして表される（例えば、

と、放射輝度値

とを有する光線４０１。表記法の乱用により、光線の座標は、

と表記される（これは、軸とも呼称されるｘ１、ｙ１、ｘ２、ｙ２という項として誤解を招く可能性があるであろう）。

また、光線は、４０４という参照符号が付与されたプレーン又は４０５という参照符号が付与されたプレーン上に（正投影又は直交投影を介して）投影することも可能であることに留意されたい。プレーン４０４は、２つのプレーン４０２及び４０３に対して垂直であるプレーンであり、この場合、３Ｄデカルト座標空間内のｙが一定の値を有する。プレーン４０５は、２つのプレーン４０２及び４０３に対して垂直であるプレーンであり、この場合、３Ｄデカルト座標空間内のｘが一定の値を有する。図５（ａ）、図５（ｃ）、図５（ｅ）、及び図５（ｇ）には、いくつかの光線のプレーン４０４上への投影の結果が描かれる。従って、図５（ｂ）、図５（ｄ）、図５（ｆ）、及び図５（ｈ）には、図５（ａ）、図５（ｃ）、図５（ｅ）、及び図５（ｇ）にそれぞれ描かれる光線の２Ｄ光線図内の表現が付与される。実際に、（図５（ａ）、図５（ｃ）、図５（ｅ）、及び図５（ｇ）に表される）それぞれの投影された光線は、２Ｄ光線図内のポイントにより表される（これは、文献国際公開第２０１３／１８０１９２号の図４Ｂでも説明される）。従って、２Ｄ光線図内のポイントは、投影された光線に対応する。プレーン４０５上における投影を検討することにより、類似の図を取得し得ることに留意されたい。

実際に、ライトフィールドは、４つの変数の関数であるため、一般的に示すことが非常に困難である。但し、２Ｄスライスを取得することが可能であり、且つ特定の光線がマップを２Ｄグラフ内に設定する方式を２つの異なる方式で理解することができる。図５（ａ）〜図５（ｈ）は、ｘ_１及びｘ_２軸に限定されたこのような２Ｄスライスの２つの異なる表現を示す。図５（ａ）は、コリメートされた光線の組を示し、図５（ｃ）は、発散する光線ファンを提示し、図５（ｅ）は、収束する光線ファンを提示し、且つ図５（ｇ）は、プレーン４０３上に合焦された収束する光線ファンを提示する。図５（ｂ）、図５（ｄ）、図５（ｆ）、及び図５（ｈ）は、ライトフィールドデータ（即ち、その方向を有する光線）を２Ｄ光線座標系内にプロットする別の方法を提示し、これは、恐らく取扱い又は生成が相対的に容易であろうが、視覚化が相対的に困難であろう。

図５（ｂ）から始まり、ここで、２Ｄ光線図に様々な入射の角度を有するコリメートされた光線の組をプロットする。光線の組がｚ軸に対して平行である場合、それぞれの光線は、（ｘ_２＝ｘ_１＋定数という事実に起因して）４５°のラインに沿ってプロットされる。光線の組が上方を指し示す場合、ラインも２Ｄ図で上方にシフトし、且つ光線の組が下方を指し示す場合、ラインも下方にシフトする（負のｘ_２）。結論は、平行光線が４５°のライン上にマッピングされ、且つ平行光線の組がｚ軸と角度をなす場合、相応してｘ_２ライン切片がシフトするというものである。

図５（ｄ）は、発散するビームを提示する。実際に、発散の様々な程度がプロットされる。赤色ライン上のマーカーは、無限大から発散する光線の組を表す。基本的に、これは、組がコリメートされることを意味する。図５（ａ）は、ラインが４５°を有することと、ｘ_１とｘ_２との間の関係が線形であることとを既に示す。発散のポイントが無限大から軸ｘ_１に向かって移動するのに伴って、２Ｄ光線図は、依然として線形であるが、ラインの急峻性が発散の量に伴って増大する。

限界点では、光線の組が発散するポイントがｘ_１軸上に位置する場合、光線は、２Ｄ光線図上で垂直方向軸ｘ_２に沿ってプロットされるであろう。

図５（ｅ）は、収束する光線の組を提示する。この場合にも、赤色マーカーラインは４５°を有し、且つ無限大から収束するビームを表し、これは、この場合にも平行な光線の組である。収束のポイントがｘ_２軸に向かって移動した場合、光線は、減少するスロープのライン上にマッピングされるであろうことに留意されたい。

図５（ｇ）は、収束ポイントがｘ_２上に位置する際の限界点である合焦された光線の組であり、この場合、図上のすべての光線が水平軸上に位置する。

光線を表すために、２つの２Ｄ光線図（Π（ｘ_１，ｘ_２）と表記される、プレーン４０４上への投影から導出されるもの（図５（ａ）、図５（ｃ）、図５（ｅ）、及び図５（ｇ）を参照されたい）、並びにΠ（ｙ_１，ｙ_２）と表記される、プレーン４０５上への投影から得られるもの）が使用される場合、１つの２Ｄ光線図内のポイント（即ち、Π（ｘ_１，ｘ_２）内のポイント）と、他の２Ｄ光線図内に（即ち、Π（ｙ_１，ｙ_２）内に）含まれるポイントとの間のリンクを可能にする別の情報を保存する必要があり、且つ逆も真であることに留意されたい。図２６には、サンプリングされたライトフィールド内のすべての光線について、このような明示的な追加情報の保存のバイパスを可能にする技法が記述される。但し、このような技法について理解するには、図６〜図２４に鑑み、いくつかの意見及びコメントを付与する必要があるであろう。

図６は、ランダム光線ファンの２Ｄ光線図を提示する。

ランダムなライトフィールドを生成するために均一なランダム数生成器を使用することができる。次いで、ライトフィールドの基本的な表現としての２Ｄ光線図が、従って、単純な方式により、ライトフィールドの選択された部分をフォーマットから再生成する。

ｘ値は、［−１０；１０］にわたって延在し、伝播の方向は、ｚであり、パラメータ化用の第２のプレーンは、ｚ＝１に配置され、且つ光線にランダムな方向が割り当てられる。均一に分散したランダムな光線方向を生成するには、例えば、［−１５；１５］内において、均一数生成器によりｘ_２成分をランダムに生成するのが相対的に良好である。図６は、対応する２Ｄ光線図を示す。予想されたように、||ｘ_１||＜１０及び||ｘ_２||＜１５内ではすべての場所に光線が存在し、ここで、||．||はユークリッドノルムである。

ここで、図５（ａ）〜図５（ｇ）で予め識別される観察の証拠を取得することが望まれる。それは、特定のレンダリング用のいくつかの式を得る。とりわけ回答を要する疑問は、視点をレンダリングする方法、いずれかの別の場所で再合焦する方法、２Ｄ光線図内のいずれの光線がどのようなことを目的として使用されるかである。図６のもののような２Ｄ光線図内には、数百万個のポイントが存在し得るであろう。何らかの特定の画像をレンダリングするために、それらのすべてを試験又は追跡する必要があるであろうか。

コンピュータグラフィクスでは、レンダリングは、画像を生成するためにピンホールカメラを使用する。画像は、そのプレーンの前面の何らかの焦点距離において、ライトフィールドを小さい孔によってフィルタリングすることにより、プレーン上に形成される（例えば、「Understanding camera trade-offs through a Bayesian analysis of light field projections」という名称の上述の論文を参照されたい）。従って、画像のレンダリングは、「孔」の問題である。光線の観点から、これは、光線の組の収束又は発散についてサーチすることと均等である。

図１７は、ライトフィールドと光線図との間の関係を分析するために使用される表記法を提示する。この図から、ｚ_１≠ｚ_２であり、且つｚ_３≠ｚ_１である場合、

である。

式１と呼称されるこの式は、ピンホール又は視点（ｘ_３，ｚ_３）を２Ｄ光線図内の位置である記録されたライトフィールドパラメータ（ｘ_１，ｚ_１，ｘ_２，ｚ_２）にリンクし、なぜならｚ_１及びｚ_２が判明するからである。式１は、以前の節から予想されるように、ａｘ＋ｂｙ＝ｃの形態のラインである。また、予想されるように、そのスロープ（ｘ_１の係数は、プレーンの１つに対するｚ_３におけるレンダリングピンホールの深さの関数であり、且つｙ切片は、ピンホールのオフ軸位置ｘ_３の関数である。ここで、その式のいくつかの限定的な場合を検討する。

ａ）軸上のコリメートされた光線ファン（ｚ_３→±∞、ｘ_３＝０）
ｚ_３→±∞であり、且つｘ_３＝０である場合、ｚ軸に対して平行であるコリメートされた光線ファンの存在下であり、且つ式１から、

であり、これは、実際にｘ_２＝ｘ_１の線形関係である。従って、図６の２Ｄ光線図から、ｘ_２＝ｘ_１の関係を順守する光線のみを選択及びレンダリングする場合、ｚ軸に対して平行に伝播するライトフィールドからの光線のみを追跡する。

ｂ）軸外しのコリメートされた光線ファン（ｚ_３→±∞、ｘ_３≠０）
軸外しのコリメートされた光線ファンの場合、ｚ_３とｘ_３との間にｘ_３＝ａｚ_３＋ｂの疑似変換関係が存在し、その結果、これを式１に代入した場合、

であり、図５（ａ）にこれが示されており、この場合、軸外しビームは、コリメートされたビームがｚ軸となすスロープに伴って変化するｙ切片を有する４５°のラインである。この場合にも、２Ｄ光線図から、ｘ_２＝ｘ_１＋ｃの関係を順守する光線のみを選択及びレンダリングする場合、ｚ軸との関係で何らかの角度を有する平行光線の組として伝播するライトフィールド全体からの光線を追跡する。図７（ａ）及び図７（ｂ）は、この場合を正確に示し、図６の２Ｄ図から光線を選択することにより、軸外しの平行光線が追跡されることがわかる。実際に、図７（ａ）及び図７（ｂ）は、図６の２Ｄ光線図からの光線のライトフィールドのフィルタリング及び再構築を提示する。更に正確には、図７（ａ）は、||Ｌ_２Ｄ（ｘ_１，ｘ_２）−（ｘ_１＋５）||＜０．１の選択基準に応じた図６の２Ｄ光線図内の光線の選択を描いており、この選択基準は、図７（ｂ）に示される伝播の方向を有する平行な光線の組の選択を可能にする。実際に、図７（ｂ）は、図６の２Ｄ光線図内の選択された光線からの再構築されたライトフィールドを描く。

ｃ）合焦された光線ファン
「合焦された」により、ｚ＝ｚ_２における第２のサンプリングライン後に所定のポイントに収束するファンを意味する。この場合、ｚ_３＞ｚ_２及びｚ_２＞ｚ_１を有し、その結果、式１は、

として記述することができ、また、ｚ_３＞ｚ_２及びｚ_２＞ｚ_１という条件は、

を意味する。

図５（ｅ）及び図５（ｆ）におけるように、軸上の光線ファンがｘ_３＝０に収束する場合、関係は、４５°未満のスロープ角度を有するラインを表す（α＜１）。

これが実際に使用される方法を実証する。ライトフィールドを２プレーンサンプリングし、このライトフィールドから光線図を構築すると仮定する。依然として、４Ｄライトフィールドの２Ｄスライス内に位置する。この光線図は、図６からのものである。また、３つの視野のレンダリングを所望すると仮定する。これを目的として、光線が収束するｚ＝ｚ_２後、３つのピンホール、即ち３つのポイントを定義する。ここで、２Ｄ光線図上でラインｘ_２＝αｘ_２＋βｘ_３に沿ってそれらの光線を選択することが可能であり、ここで、｜α｜＜１であることがわかる。

それぞれ位置Ｃ_０（ｚ_３＝＋２，ｘ_３＝０）、Ｃ_−１（ｚ_３＝＋２，ｘ_３＝−２）、及びＣ_＋１（ｚ_３＝＋２，ｘ_３＝＋３）に配置された３つのカメラを定義する。ｚ_１＝０及びｚ_２＝１と設定する。それらの値が式１で設定されたら、２Ｄ光線図上で以下の３つの関係を順守する光線を選択しなければならない。

図９は、選択基準が

である状態における図６の光線の選択を提示する。図１０は、（図９で選択された）選択済みの光線のレンダリングを描く。

ｄ）発散する光線ファン
「発散」は、ｚ＝ｚ_１における第１のライン前に設定されたポイント（ｚ_３＜ｚ_１，ｘ_３）から発散するように見える光線ファンを意味する。ｚ_３＜ｚ_１＜ｚ_２では、ｚ_２−ｚ_３＞ｚ_１−ｚ_３＞０を取得し、且つその結果、スロープαは、

である。

発散するビームは、４５°超のスロープを有するラインとして２Ｄ光線図内にマッピングされる。

ｅ）第１のパラメータ化ライン上の発散光線ファン
発散のポイントは、ｚ_３＝ｚ_１に配置することができる。この場合、式１を書き直すことが可能であり、且つｘ_１＝ｘ_３を得る。第１のプレーンから発散するように見える光線を光線追跡するには、２Ｄ光線上で垂直方向のラインを選択しなければならない。

ｆ）第２のパラメータ化ライン上の収束する光線ファン
式１から、ｚ_３＝ｚ_２と設定した場合、ｘ_２＝ｘ_３を得る。第２のプレーンに対して収束する光線ファンは、２Ｄ光線図上で水平方向のラインとしてマッピングされる。図１１及び図１２は、（ｚ_３，ｘ_３）＝（１，５）によって取得されたものである。

ｇ）リアルレンズの場合
ピンホールは、抽象的な物体であり、リアルレンズモデルを使用することによるライトフィールドのレンダリングを所望する場合、レンズの入口瞳孔の位置及びサイズを知る必要があり、且つ次いで、入口瞳孔を通じて進行する光線を光線図内で選択する必要がある。入口瞳孔が（ｚ_ｌ，ｘ_ｌ）に位置し、且つそれが、ｚに対して平行であるレンズ軸と共にアパーチャ直径Ａを有する場合、その座標が式１を充足するが、ｘ_３が

内で変化する光線図のすべての光線ポイントを光線図内で選択する必要がある。

図１３及び図１４では、入口瞳孔は、（ｚ_ｌ，ｘ_ｌ）＝（４，７）に位置し、そのサイズＡ＝６であり、且つこのサイズに起因して、２Ｄ光線図内には、選択される必要があると共にラインセット全体に属する光線をトレースする必要がある平行なラインの完全な組が存在する。

ここで、２Ｄ光線図に対するラドン変換の適用の観察に焦点を当てる。上述のように、光線がそれに向かって集中するピンホールが存在する場合、それらの光線の２プレーンパラメータ化は２Ｄ光線図内のラインとして表される。例示を目的として、３つのカメラの２つのグループによってキャプチャされるライトフィールドをセットアップする。カメラの第１のグループは、（ｘ_３，ｚ_３）＝｛（１０，２）；（２，２）；（−５，２）｝の第１の深さに位置し、且つ第２のグループは、（ｘ_３，ｚ_３）＝｛（６，１４）；（−３，１４）；（−９，１４）｝の別の深さに位置する。すべてのカメラは０．１単位の入口瞳孔を有する（単位は、メートルやセンチメートルなどのいずれかであってもよい）。パラメータ化プレーンは、ｚ_１＝０、ｚ_２＝１に設定され、且つプレーンのサイズは、｜ｘ_１｜≦１０、｜ｘ_２｜≦１０単位である。両方のプレーンは、２Ｄ光線図が１０００×１０００ピクセル画像によって表されるように、１０００個のセルによってサンプリングされる（図１５を参照されたい）。

次いで、以前に教示されているように、（３つのカメラの２つのグループの２Ｄ光線図であり、第１のグループが、プレーンｚ_３＝２におけるピンホールの組と、プレーンｚ_３＝１４における第２の組とを有する）図１５を観察するのみで、３つのラインの２つの組が存在し、それぞれのグループは異なる深さに設定されることがわかり、なぜなら、２Ｄ光線図上では異なる深さが異なるスロープを結果的にもたらすからである。従って、この観察から、この表現を効率的に圧縮するための余地が存在するように、この図では、送信のために又はライトフィールドのレンダリングのために特定のラインのみが重要であることがわかる。

２Ｄ光線図からのいずれの値が重要であるかを定義する自然な方法は、図からすべてのラインを検出することである。これは、ラドン変換の使用を介して実現することができる。オーストリアの数学者であるJohann Radonにちなんで命名された２次元のラドン変換は、直線上における関数の積分から構成された積分変換として定義される。

この変換は、２Ｄ光線図をライトフィールドの特徴を効率的に判定するパラメータ空間内にマッピングする。図１６はシノグラムであり、これは、図１５の２Ｄ光線図に対して適用されたラドン変換の視覚化である。これが、３つのうちの２つのグループにおける６つの局所的な最大値を示すことがわかる。ラインθ≒４２に沿った第１のもの及びθ≒２７°に沿った第２のものである。

図１７は、３Ｄ空間内における一般的な視点のレンダリングのために使用される座標系を提示する。

また、図４に描かれるパラメータ化に起因して、パラメータ化されたライトフィールドのレンダリングを所望するポイント（このようなポイントは、ｚ＝ｚ_３に配置されたプレーン内に位置決めされ、図１７を参照されたい）と、パラメータ化プロセスで使用される２つのプレーンとの交差ポイント（それぞれ図１７のｚ＝ｚ_１及びｚ＝ｚ_２でｚ軸に対して垂直である２つのプレーンを参照されたい）との間に
（ｚ_２−ｚ_３）（ｘ_１＋ｙ_１）＋（ｚ_３−ｚ_１）（ｘ_２＋ｙ_２）＝（ｚ_２−ｚ_１）（ｘ_３＋ｙ_３）
が成立することを実証することもできる。

すべてのｚ_ｉがわかっているため、式２と呼称されるこの式の唯一のパラメータは、４つのパラメータ（ｘ_１，ｙ_１，ｘ_２，ｙ_２）である。式２は、ポイント（ｘ_３，ｙ_３，ｚ_３）を通じて影響を及ぼす（若しくは収束するか、又は均等な式が「画像を形成」する）すべての光線が、リンクされたその４つの座標を有することを基本的に意味する。

また、式２は、

内のハイパープレーンを定義することにも留意されたい（Rendering Techniques’97, Proceedings of the Eurographics Workshop in St. Etienne, France, June 16-18, 1997に公開されたX. Guらによる「Polyhedral geometry and the two-plane parameterization」という名称の論文を参照されたい）。

この場合にも、これは、２プレーンパラメータ化されたライトフィールドからの画像のレンダリングを所望する場合、ハイパープレーンの近傍における光線のみをレンダリングすることを意味する。それらのすべてを追跡する必要はない。当然のことながら、すべてが良好に機能し、なぜなら、常に伝播の方向又はレンダリングの方向にパラメータ化プレーンを選択するからである。

２Ｄにおける表現フォーマットに関するいくつかのコメント
ライトフィールドが２つのプレーンによってパラメータ化される場合、位相空間内におけるその表現（即ち、４Ｄ光線図）は４Ｄ空間の一部分を占有する。プレーンは有限寸法を有するため、その位相空間内のプレノプティック機能の４Ｄサポートはコンパクトである。この結果、パラメータ化されたライトフィールドを保存するために必要とされる空間を推定することができる。２Ｄスライスの場合と完全な４Ｄの場合との両方を検討する。また、プレーンは、１０００×１０００個のセルによってサンプリングされると仮定する。これは、２Ｄ位相空間が１０００×１０００個のセルのマトリックスによって表され、且つ４Ｄ位相空間が１０００^４個のセルのマトリックスによって表されることを意味する。セルと関連付けられた光線のスペクトルが、通常、８ビットによって量子化された赤色（Ｒ）、緑色（Ｇ）、及び青色（Ｇ）である３つの帯域によってサンプリングされる場合、色は、２４ビット、即ち３バイトの値として保存される。この特定の場合のそれぞれの４Ｄ表現が２．８Ｔバイトのストレージを必要とすることがわかる。

また、図１５から、マトリックスが非常にまばらに入力され、何らの値も有していない多数のセルが存在し、且つこの場合がこのライトフィールドについて一般的であることがわかり、なぜなら、これが離散取得手段によってキャプチャされるからである。４Ｄ表現のマトリックスは、比例してその入力が更に少なくなり、その結果、巨大なマトリックスを操作することが意味をなさなくなる。まばらなマトリックス表現で実行されるものと同様に、恐らくこれを回避するための方法を見出すことができる。

また、２Ｄスライス化表現の場合、光線がラインの近傍に沿ってマッピングされることも観察した。４Ｄの場合、これらはハイパープレーンの近傍にマッピングされる。

以下の説明を２Ｄの場合に制限する。離散ラドン変換によってラインのパラメータを見出すための手段を有するため、代表値が存在するマトリックスの領域を見出すことができる。

説明を例証するために、以下で開示される主要な概念を理解するための一例を挙げる。図１８は、見出しに記述されるシステムの２Ｄ光線図を示す。更に正確には、図１８は、ｘ３＝２、ｚ３＝２の位置で１つのカメラによってキャプチャされた光線の２Ｄ光線図を描いており、この場合、アパーチャは、｜Ａ｜＜０．５であり、且つこの場合、パラメータ化するために使用されるラインは、２５６個のセルによってサンプリングされる。図１８に示される画像をマトリックスとして解釈した場合、これが非常にまばらに入力されることがわかる。生じる疑問は、このマトリックスからどのようにして代表データのみを抽出することができるか、これを（当然のことながら構造化された方式で）ファイル内に保存するための最良の方法はどのようなものであるかである。光線が４Ｄ位相空間マトリックスの代わりにファイル内に個々に保存される場合にも、これは、それぞれの光線について、それぞれの位置ｘ_ｉ又はｙ_ｉについての少なくとも２バイトと、加えて色用の３バイトとを保存することを必要とする。これは、２Ｄスライス化ライトフィールドの場合には光線毎に７バイトであり、且つそのフル４Ｄ表現の場合には光線毎に１１バイトである。また、その場合にも、光線は、ファイル内にランダムに保存され、これは、表現を操作する必要がある多数の用途で非常に不適切であり得るであろう。

デジタルラインのビーム
光線がラインに沿ってマッピングされることがわかるため、ラインのパラメータ（関係するスロープｓ及び切片ｄ）と、次いでそのラインに属する光線の集合体と、次いで次のラインパラメータ及び個々の光線などとを順番に保存することが相対的に効率である。

これは、ｓ用の２バイトと、ｄ用の２バイトと、次いで光線毎に３バイトのみとを必要とし、これは、色データとの比較でラインパラメータのオーバーヘッドを無視した場合、それぞれ２Ｄ及び４Ｄ光線表現で１：２及び１：４の圧縮比を提供する。更に、光線は、ファイル内でラインに沿って順序付けられるであろう。マトリックスセルを通じてラインを設定するには、最小限の誤差によってそれらを近似する、いわゆるデジタルラインを定義する必要がある。離散ラドン変換を専門とする文献に定義される一般的な定義及びデジタルラインに準拠する（例えば、Pattern Recogn., 28(12):1985-1992, Dec. 1995に公開されたW. A. Goetz及びH. J. Druckmuellerによる「A fast digital radon transform-an efficient means for evaluating the hough transform」という名称の論文、及びProc. Natl. Acad. Sci. USA, 103(51):19249-19254, 2006)におけるW. H. Pressによる「Discrete Radon transform has an exact, fast inverse and generalizes to operations other than sums along lines」という名称の論文を参照されたい）。

この段階では、デジタルラインは、ブレゼンハムアルゴリズムによって生成される。更なる進歩した再帰的なタイプのデジタルライン生成については後に示す。以前の参照文献から、デジタルラインは、（０，ｄ）及び（Ｎ−１，ｓ）のグリッドの２つのポイントによって定義され、この場合、パラメータｓは、次式：

により、ラインのスロープと結合される。ここで、ｓ∈｛０，１，…，Ｎ−１｝であり、ｄは、切片であり、且つｄ∈｛０，１，…，Ｎ−１｝である。

例えば、ｄ、ｓ及びデジタルラインのｘ軸の付番の図である、図１９を参照されたい。以前に理解したように、デジタルラインを１つのオクタントに制限することが可能であり、これは、

内の第１のもの、又は

内の第２のオクタントである。

これまで、ラインの２つのポイントのみを有している。これは、分析ラインの場合には十分であるが、ここで、分析ラインを近似するグリッドポイントも提供しなければならない。デジタルラインを取得するための最も簡便な方法は、分析ラインをその最も近いグリッドポイントに丸めることである。ブレゼンハムのアルゴリズムは、最小限の演算数によってこれを実行するための方法を提供し、上述の文献で開発された方式は、高速離散ラドン変換計算に対して相対的に良好に適合された代替定義を付与する。ブレゼンハムの実装は、http://www.cs.helsinki.fi/group/goa/mallinnus/lines/bresenh.htmlという参照文献から適合されている。上述したように、この分析は、１オクタントに制限される。この特定の場合、ｄ≦ｓとなるように０≦ａ≦１を有する。

ここで、同じスロープａを有するが、異なる切片ｄを有し、且つラインのファミリーが連続的であるデジタルラインのファミリーを検討する。このデジタルラインのファミリーを「ビーム」と呼称する。図２０は、同じｓ−ｄ値を有するが、異なるｄ切片を有する、この定義による６つのデジタルラインのビームを示す。ラインのビームが入射する領域内の特定のピクセルは、１つの一意のラインにのみ属する。

従って、まとめると、サンプリングされたラインのペア（２Ｄにおける）によってパラメータ化されると共に１つのカメラに属する光線データは、データを表すために使用される位相空間内でデジタルラインのファミリー（ビーム）に属する。ビームのヘッダは、単にビームのスロープａ及び太さｄ_ｍａｘ−ｄ_ｍｉｎを含むことができる。光線値は、そのヘッダがｄ及びｓであり得るデジタルラインに沿ったＲＧＢ色として保存される。ファイルは、サンプリングされた空間の光線図のボイドセルを保存しない。ファイルは、光線の座標ｘ_１、ｘ_２も保存せず、これは、ｄ、ｓ、及びデジタルラインに沿ったセルの位置から推定される。図２１は、これらの意見を考慮したフォーマットの説明であり、これについては後述する。

デジタルラインのビームの特徴を判定するための離散ラドン変換
以前のフォーマットが交換及びレンダリングの基礎として実装可能及び使用可能となるには、フォーマットの内部における記述を要する基本的なパラメータを計測又は推定し得ることが少なくとも望ましい。ライトフィールド又はカメラの形状からの推定を要するパラメータは、スロープａと、デジタル切片の下部及び上部境界（ｄ_ｍｉｎ、ｄ_ｍａｘ）と、次いでデジタルラインパラメータ（ｄ_ｉ，ｓ_ｉ）とである。離散ラドン変換は、光線図内のライトフィールドのサポート場所を計測するためのツールとして説明される。

図２３は、デジタルラインパラメータ空間（ｄ，ｓ）内の離散ラドン変換を示し、これは、シノグラムの（ρ，θ）空間と混同されてはならない。

更に正確には、図２３は、図１８からの分布の離散ラドン変換を示し、且つ図２４は、図２３に含まれる対象の領域内へのズームである。デジタルラインのビームは、最大値パラメータについてのサーチによってスポットされる。ＤＲＴの対称性の幾何学的な中心と最大値の実際の位置との間には、画像コンテンツに起因して何らかのオフセットが存在する可能性があり、その結果、最大値の代わりに、対称の中心を正確に特定するためのアルゴリズムを後に見出さなければならない。統合ラインに沿ってＲＧＢ値を合算する代わりに、統合ラインに沿って光線の数／セルを合算することにより、コンテンツのバイアスを伴わない最大値の特定を実行することが可能であり、これはむしろハフ変換である（ラドンのバイナリバージョン）。その結果、図２４に示されるビーム変換のウエストを見出すことが容易であり、且つこれは、フォーマット内に使用される値（ｄ_ｍｉｎ，ｄ_ｍａｘ）を直接的に付与する。実際に、ポイント（ｄ_ｍｉｎ＝７４，ｓ＝２０１）は、図１８からのデジタルラインのビームの下部エンベロープであり、且つ（ｄ_ｍａｘ＝８１，ｓ＝２０８）は、デジタルラインのビームの上部エンベロープである。

これらの値を取得したら、図２１によって規定されるフォーマット内へのデータの入力を開始することができる。

直交２Ｄラドン変換によるハイパープレーン場所の評価
ａ）原理
恐らく、このライトフィールドを表す方式で最も懸念されるのは、光線データのハイパープレーンを見出すための４Ｄ空間内における作業の必要性であろう。以下の分析では、２つの直交２Ｄ−ＤＲＴのみにより、ハイパープレーン全体の場所及び容積を評価し得ることを示す。

式２から２つの直交２Ｄスライス化空間の式を記述する。
（ｚ_２−ｚ_３）（ｘ_１＋ｙ_１）＋（ｚ_３−ｚ_１）（ｘ_２＋ｙ_２）＝（ｚ_２−ｚ_１）（ｘ_３＋ｙ_３）

また、ｘ_ｉ座標の２Ｄスライスを取得する場合、光線データが（ｘ_３，ｙ_３，ｚ_３）におけるサイズＡのアパーチャを通じてマッピングされるラインのビームの式は、

である。

同様に、ｙ_ｉ座標の２Ｄスライスを取得する場合、

である。

以前の節に従って、ｍ及び

の値を離散ドメイン内で評価することができる。

上述のフォーマットによって定義されたライトフィールドの特性を局所化するには、４Ｄ離散ラドン変換を実行する必要はない。２つの直交２Ｄ−ＤＲＴを実行する場合、ハイパープレーンのスロープｍと、すべてのデータが４Ｄ光線図内に集中するデジタルハイパープレーンのビーム幅とを計測することができる。

この場所の相対的に単純な手順は、

がすべてのハイパープレーン切片を包含し、フォーマットで記述されたいくつかの値が値を含まなくなるように円形の入口瞳孔Ａを仮定する。

ｂ）例
節３からの例を４Ｄの場合に拡張する。（ｘ_３，ｙ_３，ｚ_３）＝（２，５，２）に配置されたカメラを有すると仮定する（即ち、カメラ位置は（ｘ_３、ｙ_３、ｚ_３）である）。ｘにおけるサンプリングされた光線図内の２Ｄスライスは、図１８に表されるものと同じであり、且つ２Ｄ−ＤＲＴは図２３からのものである。図２５も、同様にｙの２Ｄ−スライスにおける直交２Ｄ−ＤＲＴを示す。更に正確には、図２５は、２つの２Ｄ光線図Π（ｘ_１，ｘ_２）及びΠ（ｙ_１，ｙ_２）のみならず、これらの２Ｄ光線図に適用された離散ラドン変換の結果も描く。

２Ｄ−ｘＳｌｉｃｅ ＤＲＴから、ハイパープレーンｍ＝０．５０５９のスロープの評価を取得し、且つ２Ｄ−ｙＳｌｉｃｅ ＤＲＴからｍ＝０．４９８０の別の独立的な評価を取得する。節ａ）における式から、真の値はｍ＝０．５である。わずかな差は、デジタルラインのビームを変換するという事実に由来する。従って、２Ｄラドン変換の最大値は幅広であり、且つ最大値の評価における不確実性が存在する。両方の２Ｄ−ＤＲＴにおけるウエストの計測から、ｘにおけるビームエンベロープの場合、

であり、且つｙにおけるビームエンベロープの場合、

であることを見出す。これらの値は、正確に予想されたものである。

ここで、残されているのは、図２１で導入されたフォーマットを４Ｄのコンテキストに拡張するための方法を見出すことである。

ｃ）マルチカメラの場合
マルチカメラに属するライトフィールドを有する場合、ＤＲＴの線形性を利用してそれぞれのカメラが占有するパラメトリック容積を再帰的に推定することにより進めることができる。

２つの直交ＤＲＴを実行すると共にその最大値に属するデジタルハイパープレーンの最大値及びエンベロープを求めることを開始することができる。すべてのパラメータを得たら、４Ｄ光線図又はそれらが保存されるファイルからすべての光線を消去することが可能であり、且つ４Ｄ光線図を空にする時点まで、再度、直交ＤＲＴのペアにより、第２の最大値の特定などを開始することができる。

２Ｄの場合について提案されるもの、即ち図２１のテーブルに類似した４Ｄの場合のフォーマットの取得に関心が持たれるであろう。これを実行するために、Π（ｘ_１，ｘ_２）プレーン上に見出される２ＤラインをΠ（ｙ_１，ｙ_２）プレーン上に見出されるライン、即ちΠ（ｘ_１，ｘ_２）及びΠ（ｙ_１，ｙ_２）の２つの直交スライスとの対応するハイパープレーンの交差の結果であるラインに対して関連付けることに関心が持たれるであろう。節ａ）に記述される式から、対応するラインが同じスロープｍを有することがわかる。これは、特定の深さにおけるカメラにおいて、Π（ｘ_１，ｘ_２）上のそれぞれのラインをΠ（ｙ_１，ｙ_２）内のラインに対して関連付ける第１のパラメータである。ここで、同じ深さに複数のカメラを有する場合（即ち、図１５の場合）、ｍという同じ推定されたスロープを有するΠ（ｘ_１，ｘ_２）内の３つのライン及びΠ（ｙ_１，ｙ_２）内の３つのラインを有する。次いで、これらの２つのプレーン内のライン間のラインオフセットにおける対応性を判定する必要がある。これを実行するために、節ａ）で言及される式中のラインの式を活用する。具体的には、

と表記することにより、以下のように、オフセットを得る。

ｋ、ｘ_３、及びｙ_３について、これらの式の組を解くことができる。（ｘ_３，ｙ_３，ｚ_３）は、カメラの座標であり、又は換言すれば、カメラの半径Ａの出口瞳孔の中心でもある投影の中心であることに留意されたい。

となるように、ｚ_３に位置決めされたプレーン上のアパーチャが円形であると想定し、且つ以前の式の組を解くことにより、

が得られる。

ここで、ブレゼンハムのデジタルラインを使用することにより、Π（ｘ_１，ｘ_２）上で以前と同様にデジタルラインをスキャンする。Π（ｘ_１，ｘ_２）上のそれぞれの個々の（ｘ_１，ｘ_２）値について、ライトフィールド内でキャプチャされた、Π（ｙ_１，ｙ_２）内の対応する（ｙ_１，ｙ_２）値を保存する必要がある。このような値を見出すために式２を活用する。以下のすべては、既知であるか又は上述の式から推定される。

ここで、それぞれの

について、Π（ｘ_１，ｘ_２）内のそれぞれのライン上で移動することにより、以下のような（ｙ_１，ｙ_２）における関係を得る。

従って、

である。

（Π（ｘ_１，ｘ_２）内で識別されたラインのラインパラメータの代わりに）Π（ｙ_１，ｙ_２）内のラインパラメータをフォーマットに保存することを所望する場合、Π（ｙ_１，ｙ_２）のポイントからΠ（ｘ_１，ｘ_２）内の対応する値を回収するために同じ式を適用し得ることに留意されたい。

ここで、カメラのアパーチャは、半径Ａを有する円である。従って、変数ｙ_３ ^＊はｙ_３±Ａで変化する。この結果、Π（ｘ_１，ｘ_２）内のそれぞれのポイントについて、Π（ｙ_１，ｙ_２）内のラインの集合体を保存する必要がある。従って、

は、スキャンされると共に

について保存される必要があるラインのオフセットに対応する。これが機能する方式を描き出すために、図２０を参照することができる。着色された正方形のそれぞれのものは、

ポイントであり、且つこれらのポイントのそれぞれについて、描かれるものに対して垂直であるが、４Ｄ空間内に位置する、式

によって定義されたデジタル束に沿って図のプレーンから外に延在するブレゼンハムデジタルラインの組が存在する。

ここで、コンパクトなライトフィールド表現フォーマットは、以下のように定義される（図２２（ａ）を参照されたい）。まず、４つの軸の境界及びその対応するサンプリングという４Ｄ空間の一般的なメタデータを提供する。次いで、カメラ（束）の数を提供する。それぞれのカメラについて、テーブル内にブロックを生成し、且つカメラｊについて以下のパラメータを保存する。
− アパーチャＡ_ｊのサイズに対応するｃａｍ_ｊ
− ｆｏｃｕｓＰｏｉｎｔ＝（ｘ_３，ｙ_３，ｚ_３）
− ｄ_ｊと表記された（ｘ_１、ｘ_２）内の最小ｃａｍ_ｊ切片
− ｃａｍ_ｊの急峻性に対応するｍ_ｊ
− ｃａｍ_ｊの（ｘ_１，ｘ_２）におけるデジタルラインの数に対応する

− ｃａｍ_ｊの（ｙ_１，ｙ_２）におけるデジタルラインの数に対応する

次いで、このカメラ上でそれぞれの

について、ブレゼンハムデジタルラインを使用することにより、式

との関係で（ｙ_１，ｙ_２）のスキャニングを開始し、且つＲＧＢ値を保存する。具体的には、ｙ_３ ^＊がｙ_３ ^＊−Ａからｙ_３ ^＊＋Ａまで変更され、且つ対応するｄ_ｏｆｆが、

に従って算出される。保存されたメタデータを使用することにより、同じ計算がデコーディングステップで実行される。具体的には、

を判定することにより、ｋが見出される。従って、フォーマットはコンパクトな状態に留まる。システム内でそれぞれの光線について４つのインデックスを保存する必要はない。加えて、アパーチャサイズが判明し、且つすべてのカメラについて同じと仮定することに留意されたい。但し、フォーマットを一般的な状態に維持するために、これをそれぞれのカメラについて保存することを提案する。

上述のハイパープレーンのサンプリングは、４Ｄ光線空間のサンプリングであり、且つ単一のｘ_１，ｙ_１，ｘ_２，ｙ_２場所を見逃さないことを確実にしている点に注意されたい。

これは、すべてのデータを非常にコンパクトな形態に保存するための４Ｄ光線空間のシステマチックなスキャニングの一例に過ぎない。当然のことながら、他の方式が存在し得るであろう。パラメトリック形態は、ハイパープレーンを調査するために適合されるように思われ、なぜなら、それは、インターリーブされた空間調査を許容するからである。

マルチカメラの場合
ハイパープレーンのいくつかの束（複数のカメラに起因したラドン変換におけるいくつかの極大値）を含むデータについて作業するために、貪欲なアルゴリズムを使用することができる。事前処理ステップとして、パラメータ（ｍ，ｋ）がΠ（ｘ_１，ｘ_２）に対するラドン変換におけるすべてのピークについて見出され、且つ１つの組として配置される。同じ内容が（ｙ_１，ｙ_２）におけるピークについても実行され、且つパラメータが別の組として配置される。ここで、貪欲なアルゴリズムのそれぞれの反復において最大ピーク強度が（ｘ_１，ｘ_２）の２Ｄラドン変換に見出され、且つ予め見出されるパラメータ（ｍ，ｋ）をマッチングさせることにより、（ｙ_１，ｙ_２）内の対応するピークが見出される。直前の節で言及されるようにデータを保存した後、これらのピークは、ラドン変換からクリーニングされ、且つ有意なものがライトフィールド内に存在しなくなる時点まで次の反復が開始される。

図２２（ａ）内のコンテキストは、１つのライトスラブに限定されることに留意されたい。但し、これは、６つのライトスラブが使用される際のコンテキストに一般化することができる。図２２（ｃ）及び図２２（ｄ）は、二重ボックス内に封入され得る物体（ペンギン）を描いており、この物体の側部は、二重ボックス／キューブの外側に配置されたいくつかのランダムに分散されたカメラによってキャプチャされる放出ライトフィールドをパラメータ化するためのライトスラブを構築するために使用される。従って、図２２（ａ）のファイルフォーマットは、６つのライトスラブのタグを保持するように拡張することができる。＋ｚは、既に予め仮定されるが、ライトフィールド全体の完全なパラメータ化を得るために−ｚ、＋ｘ、−ｘ、−ｙ、＋ｙを追加することができる。

次いで、６つの向きのそれぞれに対して、パラメータ化プレーンを参照するための座標系が割り当てられる。方向ｗ∈｛−ｚ，＋ｚ，＋ｘ，−ｘ，−ｙ，＋ｙ｝のパラメータ化を所望すると仮定する。この方向に対して、成分（ｕ，ｘ，ｗ）を有する座標系

が割り当てられる。プレーンがｗ_１及びｗ_２に設定され、且つそれらの寸法はｕ_ｍｉｎ、ｕ_ｍａｘ、及びｖ_ｍｉｎ、ｖ_ｍａｘである。４Ｄ光線空間は、ｕ_１、ｕ_３、ｖ_１、ｖ_２における成分を有する。

図２２（ｂ）は、図２２（ａ）のフォーマットの一般化を提示する。図２２（ｂ）は、２つのライトスラブのみを提示するが、一般に、用途と、更にシーンとに応じて１〜６の任意の数のセクションが存在し得る。値１は、１つの方向のみにおけるライトフィールド伝播用のフォーマットとなり、且つ６の値は、すべての方向におけるライトフィールド伝播用のものとなるであろう。ライトフィールドをパラメータ化するために使用されるプレーンは、必ずしもチューブ／ボックスの面ではなく、且つプレーンのそれぞれのものは、凸状キューブを構築するようにそのサイズの制限を有する必要がないことに留意されたい。

図２６（ａ）は、コンパクトなライトフィールド表現を提供する方法のいくつかのステップを提示する。

本開示の一実施形態では、ライトフィールドコンテンツは、電子装置に対して提供される。このようなライトフィールドコンテンツは、例えば、先に詳述した４Ｄライトフィールドデータ又は光線の２プレーンパラメータ化であってもよい。

２０００という参照符号が付与されたステップでは、ライトフィールドコンテンツが２つのプレーンの使用を介した光線のパラメータ化によって表されない場合、ライトフィールドコンテンツの光線のパラメータ化が２つのプレーンの使用を介して実行される。図２６（ｂ）は、４Ｄライトフィールドデータ又は従来の２Ｄ画像からの２つのプレーンの使用を介した光線のパラメータ化に基づいた表現への変換を描く合成方式を提示し、これは前記ステップ２０００に対応する。

次いで、２００１という参照符号が付与されたステップでは、１つのプレーン上における光線の投影が（プレーン４０５又はプレーン４０４上で実行され、且つ１つの２Ｄ光線図（即ち、プレーン４０４上の投影が使用される場合の２Ｄ光線図Π（ｘ_１，ｘ_２）、又はプレーン４０５上における投影が使用される場合の２Ｄ光線図Π（ｙ_１，ｙ_２）の生成が実行される。前記１つの２Ｄ光線図の生成は、２つのパラメータ化プレーンのサンプリングから直接的に取得し得ることは明らかである。

２００２という参照符号が付与されたステップでは、２Ｄ光線図内の対象のいくつかのラインを識別するために、離散ラドン変換が、ステップ２００１で出力された２Ｄ光線図に対して適用される（即ち、離散ラドン変換は、ステップ２００１の出力に応じて、Π（ｘ_１，ｘ_２）又はΠ（ｙ_１，ｙ_２）に対して適用される）。

２００３という参照符号が付与されたステップでは、ステップ２００２における識別されたラインをエンコードするためにブレゼンハムアルゴリズムが使用される。これは、例えば、識別されたラインパラメータｄ及びｓを供給する。一変形形態では、これは、パラメータｄと、識別されたラインのスロープとのみを供給する。（上述のように）いくつかの識別されたラインがビームに属する場合、ビームのスロープ及び太さを保存することができる。

２００４という参照符号が付与されたステップでは、ライトフィールドコンテンツがコンパクトな方式で保存される。実際に、ステップ２００２における識別されたラインを別の２Ｄ光線図内のラインと関連付けることが可能であるため、前記別の２Ｄ光線図内の座標を保存する必要はない。実際に、ステップ２００１における出力された２Ｄ光線図が２Ｄ光線図Π（ｘ_２，ｘ_２）に対応する場合、Π（ｘ_１，ｘ_２）内の識別されたラインは、２Ｄ光線図Π（ｙ_１，ｙ_２）内の同じスロープを有するラインと関連付けられなければならないことがわかり、且つ更に正確には、以下の式：

が成立するため、識別されたライン上のそれぞれのポイント（即ち、識別されたラインに属するため、明示的に保存される必要がない座標

を有するポイント）について、ポイントの集合体

のポイントを「通過」する対応する光線の値（即ち、ＲＧＢ値）が保存される。但し、いくつかの場合、対応する光線が存在せず、且つヌル値が保存される。例えば、識別されたラインを提示する図１９の値を取得することにより、電子装置がライトフィールドコンテンツを保存しなければならない場合、ｙ_２の値がプレーンの境界の外になる時点まで、座標ｘ_１＝０，ｘ_２＝５，ｙ_１＝０，及びｙ_２＝ｍ．０＋ｄ_ｏｆｆ（０，５、ｘ_３，ｙ_３＊）を「通過」する光線（又は更に正確には、そのような光線の投影）の値（即ち、ＲＧＢ値）のみならず、ｘ_１＝９，ｘ_２＝５，ｙ_１＝１，及びｙ_２＝ｍ．１＋ｄ_ｏｆｆ（０，５，ｘ_３，ｙ_３＊）を「通過」する光線の値（即ち、ＲＧＢ値）なども保存される（例えば、ｘ_１＝０，ｘ_２＝５，ｙ_１＝１５，及びｙ_２＝ｍ．１５＋ｄ_ｏｆｆ（０，５，ｘ_３，ｙ_３ ^＊）を「通過」する光線の値（即ち、ＲＧＢ値）は、それがプレーンの境界の外であるために保存されない。次いで、ｙ２の値がプレーンの境界の外になる時点まで、座標ｘ_１＝１，ｘ_２＝６，ｙ_１＝０，及びｙ_２＝ｍ．０＋ｄ_ｏｆｆ（１，６，ｘ_３，ｙ_３ ^＊）を「通過」する光線の値（即ち、ＲＧＢ値）のみならず、ｘ_１＝１，ｘ_２＝６，ｙ_１＝１、及びｙ_２＝ｍ．１＋ｄ_ｏｆｆ（１，６，ｘ_３，ｙ_３ ^＊）を「通過」する光線の値（即ち、ＲＧＢ値）なども保存される。同じプロセスは、識別されたライン上のそれぞれのポイントについて（即ち、ポイントｘ_１＝１５，ｘ_２＝１３の処理の時点まで）反復される。ライトフィールドは、ステップ２００２で識別されたラインに属するすべてのポイントが処理された際、このコンパクトなフォーマットでエンコードされる。

図２６（ｂ）は、４Ｄライトフィールドデータ又は従来の２Ｄ画像から２つのプレーンの使用を介した光線のパラメータ化に基づいた表現への変換を描く合成方式を提示する。

一実施形態では、ピクセルバック追跡動作を介して、従来のカメラから（即ち、ピクセルの組を有する従来の２Ｄ画像から）、ラフ／平均ライトフィールド表現に対応する光線の組を取得し得ることに留意されたい。

本開示の一実施形態では、（例えば、プレノプティックカメラ又はカメラアレイを介して取得された）入力される４Ｄライトフィールドデータは、光線の集合体を抽出し得るピクセルの組を有する。このような光線の集合体を抽出するために、変換する方法は、ピクセルを光線に変換し得るピクセルバック追跡方法／動作を含む。実際に、４Ｄライトフィールドデータの表現の１つをサブアパーチャ画像の組（即ち、同時に又は近接した時点で取得された異なる視点からの画像の組であり、それぞれの画像は、ピクセルセンサと仮想的に関連付けることができる）に変換することができるため、従って、サブアパーチャ画像の組に含まれるそれぞれの画像に対してピクセルバック追跡を適用することにより、４Ｄライトフィールドデータの光線表現を取得することができる。

光線の組がピクセル（又は仮想的なピクセル）から抽出されたら、パラメータ化動作が電子装置によって実行される。このようなパラメータ化動作は、４つの座標（即ち、２つのプレーンとの光線の交差の座標）として光線を表すために２つのプレーンの使用を有する（これらのプレーンが有限プレーンであるのは明らかである）。

以下では、「従来」の２Ｄ画像からのピクセルバック追跡動作に関係した詳細が付与される（次いで、このピクセルバック追跡動作は、上述のように４Ｄライトフィールドデータ用の光線表現を取得するために、サブアパーチャ画像の組に含まれるいくつかの（又はすべての）画像に対して適用される）。わかりやすさを目的として、カメラの投影の中心が（０，０，０）に位置し、画像プレーンが（０，０，ｆ）でセンタリングされると想定する。カメラは回転されず、その主軸はＺ方向を指し示す。また、ｍ_ｕ＝ｍ_ｖ＝ｍ個のピクセルとなるようにピクセルが正方形であるとも想定する。最後に、底部左側のピクセルが（ｕ＝０，ｖ＝０）に位置するように、画像プレーンが（ｔ_ｕ，ｔ_ｖ）だけ平行移動される。ピクセルは、その列インデックのペア（ｉ，ｊ）によってアドレス指定される。Ｉがピクセル（ｉ，ｊ，１）における画像位置ベクトルである場合、ピクセルと、中央投影を通じてそのピクセルに対してマッピングされるポイントＰ（Ｘ，Ｙ，Ｚ）との間の関係は、

である。

また、ここで、ｍ、ｆ、ｔ_ｕ、ｔ_ｖが較正ステップから判明することにより、ピクセルのバック追跡は、単純に、
Ｋ^−１Ｉ＝Ｐ
をもたらす。

Ｐは、ピクセル（ｉ，ｊ）から放出された光線が通過する３Ｄ空間内のポイントである。従って、１つの位置Ｐを有し、方向の取得は証拠の問題であり、なぜなら、その光線が（０，０，０）も通過するからであり、方向はベクトルＰ（Ｘ，Ｙ，Ｚ）である。

この例は、ピクセルをバック追跡する方法を示し、又は換言すれば、ピクセルからライトフィールドまで進む方法を示す。

４Ｄライトフィールドデータを処理する場合、マルチカメラモデルを使用することができる（即ち、サブアパーチャ画像のそれぞれに対してカメラが関連付けられる）。

パラメータ化は、いくつかのタグによって一意にそれぞれの光線を識別するプロセスである。光線は、所定の位置を通過し且つ方向を有するため、最も簡便なパラメータ化は、空間及び方向座標を混合した６つの実数（ｘ，ｙ，ｚ，ｕ，ｖ，ｗ）の組となるであろう。わかりやすさを目的として、ここで、既に上述した２プレーンパラメータ化を採用する。非常に頻繁に問われる疑問は、それらのプレーンを取得システムとの関係でいずれの箇所に配置するかである。多くの場合、特に、プレノプティックカメラの文献では、何らかの計算上の利便のために、１つがセンサに配置され、且つ別のものが小型レンズのアレイ又はメインレンズ上に配置される。これらの位置は回避されるべきであり、なぜなら、マイクロレンズが厚さを有するからであり、では、プレーンの１つを正確にいずれの箇所に配置するべきであるか。メインレンズは、未知である非常に複雑なレンズ処方を有する。従って、一実施形態では、解決策は、プレーンを取得システムの外側に配置することである。

１つのプレーンをｚ＝ｚ_１に有し、且つ別のものをｚ＝ｚ_２に有し、ここで、ｚ_２＞ｚ_１と仮定する。ピクセル（ｉ，ｊ）からバック追跡された光線用のパラメータを、

として見出すことができる。

連立方程式が記述されたら、２つの第１のラインをｚ_１によって除算しなければならず、なぜなら、これが均一な座標のための規則であるからである。

また、第２のプレーンとの交差に由来するパラメータの第２の組も、

のように記述される。

（ｚ_１，ｚ_２）という対が判明するため、以前の導出から、光線は、４アップレット

により一意に記述し得ることがわかる。加えて、光線にはＲＧＢ値が割り当てられる。従って、このパラメータ化で光線を表すには、合計で１９バイトである、４小数点数と３バイトとを必要とする（但し、これまで光線空間をサンプリングしていない）。画像に基づいたフォーマットでは、基礎的データは、２小数点数と、３バイトとのみによって表される。従って、このパラメータ化が多数のデータをコンテンツに追加し、且つ一般に、ライトフィールドは、４次元データの組であるため、それが、そのままでは管理可能でないストレージの量を必要とすることがわかる。

図２６（ｃ）及び図２６（ｄ）は、光線がピクセル（又は仮想的ピクセル）センサから「抽出」される方式を提示する。実際に、２６１又は２６４という参照符号が付与されたピクセル（又は仮想ピクセル）から（２６２又は２６３という参照符号が付与された）主光線を取得することができる（これは、ピクセル場所におけるコーン（コーンには、２６５という参照符号が付与される）のピークを通じてコーンのベースの中心まで通過する光線である（ベースは、カメラのメインレンズのサイズの関数として定義される）。

パラメータ化のために使用される２つのプレーンのサンプリングが過剰に幅広である場合、図２６（ａ）に記述される方法を使用する際に消失データ又はピクセルクロストークが依然として発生し得ることに留意されたい。本開示の一実施形態では、パラメータ化プレーンをサンプリングするための技法に関係した詳細について後述される。このような技法は、サンプリングが消失データ又はピクセルクロストークを回避するような方式により、図２１及び図２２に記述されるライトフィールドフォーマットにおけるデータの入力を可能にする。

図２７（ａ）は、本開示の一実施形態による方法のサンプリングステップを導出するために使用されるパラメータを提示する。図２７（ａ）の図は、プレーンＰ上の投影に対応する。このようなプレーンは、Π（ｘ_１，ｘ_３）又はΠ（ｘ_２，ｘ_３）などと同じあることに留意されたい。

図２７（ｂ）は、いくつかの更なる要素を伴って図１７の３Ｄ表現に対応する。

更に正確には、最初に、１つのカメラを有すると想定すると共に、一般性の何らの損失も伴うことなく分析を２Ｄスライスに制限するものとする。焦点距離ｆのカメラの投影の中心は、座標（ｘ_３，ｙ_３，ｚ_３）に位置し、且つｚ_ｆ−ｚ_３＝ｆとなるような深さｚ_ｆでピクセルアレイを有する。ピクセルピッチはｐである。実際に、２７２という参照符号が付与されたセルアレイ（ピクセルセンサとも呼称される）がピクセル要素を含み、それぞれの要素は、ｐ^２に等しい表面を有する。

２７７という参照符号が付与されたキャンドルを有するバースデイケーキは、光線が放出される物体空間（即ち、リアルシーン）内の物体を表し、且つこれらの光線は、３Ｄ空間内の座標（ｘ_３，ｙ_３，ｚ_３）に位置決めされた、わかりやすさを目的としてカメラとも呼称されるカメラの投影の中心を通過する。このようなカメラは、Ａと表記されたアパーチャを有する（アパーチャは、半径ｒの円である）。

均等な三角形及び図２７（ａ）から次式：

を確立することが可能であり、これは、図２７（ａ）で２７０という参照符号が付与された光線について、以下のようにΠ_２上の位置に結び付く。

隣接するピクセル、図２７（ａ）からの２７１という参照符号が付与された光線について、以下のように同じのものを記述することができる。

ｚ_ｆ−ｚ_３＝ｆと設定し、且つピクセルセンサ２７２からのそれぞれのピクセルが１つの光線を受け取り、且つこの光線が両方のプレーンによって一意にパラメータ化されることを所望する場合、ｘ_２（及び／又はｘ_１）上における最大のサンプリングインターバルは、

（個別に、

）であり、以下のように境界が定められるべきである。

同じ内容は、分析を２Ｄスライスに制限しない場合、ｙサンプリングステップについても当てはまる。

従って、以下の式：

も成立する。

このような実施形態では、２つのプレーン（ｘ_１，ｙ_１）及び（ｘ_２，ｙ_２）は、バースデイケーキ２７７を有するシーンを取得するすべてのカメラの外部において、且つこれらに対して共通するようにグローバルに選択される。プレーン（ｘ_３，ｙ_３）は、それぞれのカメラのアパーチャ上に位置決めされる。

図２７（ｃ）は、ライトフィールドのパラメータ化を実行するために使用されるプレーンの離散化を提示する。図２７（ａ）及び図２７（ｂ）に詳述される構成でピクセルセンサ上に１つの光線のみを有するには、２７５及び２７６という参照符号が付与された離散化されたプレーンが上述の制限を充足する必要がある。

例えば、ピクセルピッチは４μｍに等しくしてもよく（フルフレームカメラ）、パラメータｆ＝５０ｍｍであり、ｚ_３−ｚ_２の値＝５ｍであり、且つｚ_３−ｚ_１の値＝６ｍである。センサが６０００×４０００個のピクセルを含む場合、離散化されたプレーンは、（プレーンｘ_１，ｘ_２内における）６０００個のセルと、（プレーンｙ_１，ｙ_２内における）４０００個のセルとを含む。

ここで、

におけるその投影の中心と、焦点距離ｆ^ｉと、ピクセルピッチｐ^ｉとを有する複数のカメラを有すると仮定すれば、その結果、それぞれの光線がライトフィールド光線ファイルフォーマットに一意にマッピングされることを保証する両方のプレーン上の最大サンプリングステップは、

である。

また、同じ式の組は、分析を２Ｄスライスに制限しない場合、ｙ次元についても当てはまる。パラメータ化プレーン上におけるサンプリングインターバルは、これよりも小さくてよい。唯一の影響は、ストレージ効率の欠如となるが、これは、それらの値を上回ることは決してない。

また、本技法は、半径Ａと関連付けられた座標ｘ_３，ｙ_３，ｚ_３における投影の中心の強度を推定するために使用され得ることにも留意されたい。

このような強度の推定は、ｘ_１，ｘ_２プレーン及びｙ_１，ｙ_２のプレーンの１つのプレーンのラドン変換時に対応する領域の合算を実行する電子装置によって実行することができる。具体的には、プレーンΠ（ｘ_１，ｘ_２）上における強度の１つの近似を提供するために、

間でキャプチャされた強度が合算される。Π（ｙ_１，ｙ_２）における結果を取得するために同じ内容が実行され、且つ最後に、投影の中心における強度の最終的な近似を取得するために２つの値が合計される。この技法は、投影の中心におる光強度の近似を付与するに過ぎず、且つ投影の中心間の相対的な強度が対象である際にのみ、使用されることに留意されたい。

本開示の一実施形態では、２つのプレーン（ｘ_１，ｙ_１）及び（ｘ_２，ｙ_２）は、すべてのカメラの外部において、且つこれらに対して共通するようにグローバルに選択され、且つプレーン（ｘ_３，ｙ_３）は、それぞれのカメラのアパーチャ上に位置決めされ、且つｚ_１、ｚ_２、及びｚ_３は、正となるように定義される。この場合、（前述の式

における）ｍの相対的に大きい値は、ｚ_３の相対的に大きい値を意味する（

であることに留意されたい）。２つの異なる値ｍ_１及びｍ_２を有する２つの束を有することにより、ｍ_１＞ｍ_２である場合、第１の束が第２のラインによって特定の座標に閉塞されるものと推定することができる。従って、第１の束上の対応する座標の光線強度は不明である。

図２６（ａ）に記述される方法は、効率的な方法によってコード化されたライトフィールドコンテンツの取得を可能にする（即ち、このようなライトフィールドコンテンツのストレージサイズは、コンパクトである）。但し、リアルシーンでは、図２８に描かれるようにいくつかの閉塞が発生し得ることに留意されたい。図２１及び図２２に記述される提案されたフォーマットは、シーン内に閉塞を有するという問題に対処せず、これは、シーンの閉塞部分の情報も保存されることを意味する。

特定の又は更なる特徴の使用が、この課題を克服し得ると共に、更に効率的なエンコードされたライトフィールドコンテンツの取得を可能にする。図２８は、画像がカメラの使用によって取得される（２つの物体を含む）シーンを提示する。更に正確には、画像は、２つのカメラの３つのグループから取得される。

カメラのグループは、同じ深さプレーン内に位置するカメラの組として定義されることに留意されたい。

第１のグループは、それぞれデカルト座標値

を有する第１のカメラ及び第２のカメラを含み、ここで、

である。また、第１のカメラは、アパーチャ値Ａ_１と関連付けられており、且つ第２のカメラは、アパーチャ値Ａ_２と関連付けられる。

第２のグループは、それぞれデカルト座標値

を有する第３のカメラ及び第４のカメラを含み、ここで、

である。また、第３のカメラは、アパーチャ値Ａ_３と関連付けられており、且つ第４のカメラは、アパーチャ値Ａ_４と関連付けられる。

第３のグループは、それぞれデカルト座標値

を有する第５のカメラ及び第６のカメラを含み、ここで、

である。また、第５のカメラは、アパーチャ値Ａ_５と関連付けられており、且つ第６のカメラは、アパーチャ値Ａ_６と関連付けられる。

図２８は、いくつかの閉塞がカメラ間に発生する構成を提示する。例えば、第４のカメラは、いくつかの光線が第１のカメラ又は第２のカメラによって阻止されるという事実に起因して、シーン用のその視野内の物体からのすべての光線をキャプチャすることはできない。

図２９は、２つのカメラの３つのグループの２Ｄ光線図を表す。

第１のカメラと関連付けられた２Ｄ光線図内のラインの太さは他のものよりも太いため、第１のカメラのアパーチャの値（即ち、Ａ_１の値）は、他のカメラからの他のアパーチャの値を上回る。

図２８に上述した閉塞は、２Ｄ光線図内の交差によって表すことができる。例えば、図２９におけるＡという参照符号が付与された組は、第２のカメラ及び第３のカメラと関連付けられたラインに属するポイントの組に対応する。本技法は、２つの（又はこれを上回る数の）ラインの交差ポイントに対応する２Ｄ光線図内のポイント（ポイントは、光線と関連付けられる）を保存するための解決策について詳述する。

図３０は、ライトフィールドコンテンツ内の閉塞を処理する方法を描く。更に正確には、この方法は、先に定義されたように、２つの２Ｄ光線図Π（ｘ_１，ｘ_２）及びΠ（ｙ_１，ｙ_２）内に表されるライトフィールドの光線を入力として取得する。

事前処理ステップとして見なされる、３８０という参照符号が付与されたステップでは、入力された２Ｄ光線図Π（ｘ_２，ｘ_２）に対する離散ラドン変換の適用により、識別されたそれぞれのラインのパラメータ（ｍ，ｋ）が第１の組Ω_１上に保存される。次いで、入力された２Ｄ光線図Π（ｙ_１，ｙ_２）に対する離散ラドン変換の適用により、識別されたそれぞれのラインのパラメータ（ｍ，ｋ）が第２の組Ω_２上に保存される。

３８１という参照符号が付与されたステップでは、第１の組Ω_１がパラメータｍに従ってソートされる。

３８２という参照符号が付与されたステップでは、最小のｍ値を有する束が完全にキャプチャされ、且つ従って、図２２（ａ）に描かれる方法によって完全に保存される。

次いで、３８３という参照符号が付与されたステップでは、以下のステップが第１の組Ω_１に対して反復される。
− 次の最小のスロープｍ_ｎを検討し、且つｍ_ｎよりも小さいスロープを有する束のすべての光線とのこの束内の光線の交差を見出し、このような束の組は、ω_ｉｎｆ⊂Ω_１として表記され、
− この束のそれぞれのラインｉについて、スロープｍ_ｉ＝ｍ_ｎを有し、且つΠ（ｘ_１，ｘ_２）内のライン式は、以下：
ｘ_２＝ｍ_ｉｘ_１＋ｄ_ｉ
のように記述され、ここで、ｄ_ｉは、対応する束の

によって境界が定められる。ここで、ω_ｉｎｆの束に属するスロープｍ_ｊ＜ｍ_ｉを有するすべてのラインｊを検討する。以下：

を通じて、ｉとｊとの間のすべての交差ポイント

を見出す。ラインｉ上のこれらの交差ポイントは、ラインｊによって閉塞される。従って、ラインｉの値を図２２（ａ）に保存する場合、これらの

について、ヌル又は未知を保存するべきであり、
− 最後に、クリーニングステップでは、Π（ｘ_１，ｘ_２）及びΠ（ｙ_１，ｙ_２）の２Ｄラドン変換から対応する強度ピークをクリーニングし、且つ有意なものがライトフィールド内に存在しなくなる時点まで次の反復が開始される。

従って、このような方法を図２８に描かれる例に対して適用することにより、スロープｍ_０を有するラインに属するすべてのポイントが保存されるものと考えられる。

次いで、スロープｍ_１を有するラインが処理される。組Ａ、Ｂ、Ｃ、及びＤに属するポイントは保存されない。

次いで、スロープｍ_２を有するラインが処理される。組Ｅ、Ｆ、Ｇ、Ｈ、Ｉ、及びＪに属するポイントは保存されない。

更に正確には、図１９の例を追跡することにより、相対的に小さいスロープを有する別のラインが図１９のラインと交差した場合に（例えば、座標（ｘ_１，ｘ_２）＝（５，８），（ｘ_１，ｘ_２）＝（６，８），（ｘ_１，ｘ_２）＝（７，９），（ｘ_１，ｘ_２）＝（８，９）におけるポイントがこれら２つのライン間の交差に属する場合、上述のように図１９におけるラインのポイントを処理する場合、ポイント（ｘ_１，ｘ_２）＝（５，８），（ｘ_１，ｘ_２）＝（６，８），（ｘ_１，ｘ_２）＝（７，９），（ｘ_１，ｘ_２）＝（８，９）用のポイント

の集合体の値を保存する代わりに、値が利用可能ではないことを示す情報がこれらのポイントについて保存される（例えば、ヌル値又は何らかのシンボルが保存される）。

別の実施形態では、以前と同様に、処理済みの２Ｄ光線図がΠ（ｙ_１，ｙ_２）であり、且つΠ（ｘ_１，ｘ_２）ではない場合、Π（ｙ_１，ｙ_２）内のラインを処理する際に同じ方法を適用することが可能であり、即ち交差エリアに属するポイント（ｙ_１，ｙ_２）用のポイント

の集合体の値は保存されない（又は閉塞を示す情報が保存される）。

本開示の一実施形態では、Π（ｘ_１，ｘ_２）内の識別されたライン上に含まれる座標

を有するポイントの場合、

の形態を有する特定のポイントを「通過」する光線が存在しない場合、ゼロに等しい（即ち、３バイトがゼロにセットアップされる）ＲＧＢ値を保存する代わり、提案された技法は、ゼロに等しい３つのバイトの保存を回避するために追加情報（例えば、１ビット）を使用する。実際に、このような追加情報は、ライトフィールドコンテンツを表すためのＲＧＢ値のすべてに対して関係付けられる。実際に、Π（ｘ_１、ｘ_２）内の識別されたライン上に含まれる座標

を有するポイントの場合、

の形態を有する特定のポイントを通過する光線が存在しない場合、追加情報は１にセットアップされ、且つこの追加情報後にＲＧＶ値が保存される。Π（ｘ_１，ｘ_２）内の識別されたライン上に含まれる座標

を有するポイントの場合、

の形態を有する特定のポイントを「通過」する光線が存在しない場合、追加情報はゼロにセットアップされ、且つこの追加情報後にＲＧＶ値は保存されない。

以下は、４Ｄサンプリングされた光線図からのコード化されたデータラインの一例である。
１ ２０１ １８０ １２８ １ ００２ ０９０ ２５５ ０ １ ２０６ ０２５ ００９ １ ２０１ ２０１ ２０１ ０ ０ ０ １ ２５５ ２５５ ２５５
これは、以下のように解釈される。第１のデータセルは、ＲＧＢ値２０１ １８０ １２８を含み、第２のデータセルは、ＲＧＢ値００２ ０９０ ２５５を含み、第３のデータセルは、何らの光線も含んでおらず、第４のデータセルは、ＲＧＢ値２０６ ０２５ ００９を含み、第５のデータセルは、ＲＧＢ値２０１ ２０１ ２０１を含み、第６、第７、及び第８のデータセルは、何らの光線も含んでおらず、第９のデータセルは、ＲＧＢ値２５５ ２５５ ２５５を含む。

更に、このような追加情報の使用は、黒色ピクセルと、光線情報が存在しないこととの間を弁別することを許容し、これは非常に困難である。更に、多数のボイドセルが存在し得るため、このような技法は、相対的にコンパクトなエンコード済みのライトフィールドコンテンツの取得を可能にする。

図３１は、本開示の一実施形態による、画像を電子装置によって供給するために、例えば、図２２（ａ）のテーブルなどのライトフィールドコンテンツのコンパクトな表現からこのような画像のピクセルの値を取得する方式を提示する。

（図２２（ａ）又は図２２（ｂ）に記述されるテーブルなどの２８２という参照符号が付与されたライトフィールドコンテンツの少なくとも２つの２Ｄ光線図表現に基づいたテーブルから、供給対象である、ｍ及びｎが１超である、ｍ×ｎ個のピクセルを含む、２８０という参照符号が付与された画像のピクセルの値を入力するために、本開示の一実施形態によれば、
− （例えば、図２２（ａ）又は図２２（ｂ）のテーブルなどのテーブル２８２内のデータに対するポインタを含む、２８１という参照符号が付与された２次元ルックアップテーブルを取得し、且つ
− インデックス（ｉ，ｊ）によってアドレス指定されたピクセルについて、同じインデックス（ｉ，ｊ）に位置決めされた前記２次元ルックアップテーブル内のポインタの取得を介して図２２（ａ）又は図２２（ｂ）のテーブルから光線の放射輝度値を取得することが提案される。

次いで、位置（ｌ，ｋ）に配置されたこのような放射輝度値は、インデックス（ｉ，ｊ）におけるピクセル内で供給されるように画像２８０内に挿入される。

ピクセル値を画像内に入力するためのこのようなプロセスは、すべてのピクセルについて反復される。これは、図２２（ａ）又は図２２（ｂ）のテーブルから取得／抽出するべき値を判定するための演算の回避を可能にする。

図３１で使用される２次元ルックアップテーブルを生成／作成するために、電子装置は、取得装置／カメラのセンサプレーンからのそれぞれのピクセルについて、対応する光線の座標を判定するために、図２６（ｂ）に記述されるピクセルバック追跡を実行し得ることに留意されたい。このような座標を有するこのような光線は、図２２（ａ）に描かれるように、テーブル内に保存されるその放射輝度値を有する。但し、使用されるコンパクトな保存表現に起因して、４座標は保存されない。従って、供給対象である画像の１つと同じインデックスを有する２次元ルックアップテーブルは、光線について図２２（ａ）に描かれるものとして、テーブル内の放射輝度値を容易に見出すためのポインタ（インデックスなどであり、それぞれのインデックスは、例えば、２つの要素を有する）を含む。このような２次元ルックアップテーブルのポインタの生成は、プロセスを加速させるために並行して実行することができる。

このような２次元ルックアップテーブルの使用は、図２２（ａ）又は図２２（ｂ）におけるように表されたデータからの画像の生成のプロセスを加速し得ることに留意されたい。

図３２は、本開示の別の実施形態による、画像及び２次元ルックアップテーブルから、例えば、図２２（ａ）のテーブルとしてのライトフィールドコンテンツのコンパクトな表現を生成する方式を提示する。

更に正確には、（図２２（ａ）又は図２２（ｂ）に記述されるテーブルなどの）ライトフィールドコンテンツ２８２の少なくとも２つの２Ｄ光線図に基づいたテーブル内に放射輝度値を入力するために、本開示の一実施形態によれば、
− （例えば、図２２（ａ）又は図２２（ｂ）のテーブルなどの）テーブル２８２内のデータ位置に対するポインタを含む、２８１という参照符号が付与された２次元ルックアップテーブルを取得し、
− インデックス（ｉ，ｊ）によってアドレス指定されたピクセルについて、ｍ及びｎが１超の整数である、ｍ×ｎ個のピクセルを含む画像２８０から光線の放射輝度値を取得し、
− 同じインデックス（ｉ，ｊ）に位置決めされた前記２次元ルックアップテーブル内のポインタの取得を介して、取得された放射輝度値をテーブル２８２（即ち、図２２（ａ）又は図２２（ｂ）のテーブル）内に保存することが提案される。従って、取得された放射輝度値は、テーブル２８２内の位置（ｌ，ｋ）に保存される。

放射輝度値をテーブル２８２内に入力するこのようなプロセスは、画像２８０のすべてのピクセルについて反復される。

本開示の一実施形態では、放射輝度値は、並行プロセスでテーブル２８２内に保存される。

本開示の別の実施形態では、ライトフィールド光線フォーマットを通じたユーザーのナビゲートを支援するための方法が提案される。これは、以前の節で定義されるフォーマットの説明に対して非常に緊密にリンクされる。恐らく、マルチビューキャプチャでナビゲートするためのいくつかの方法が存在するであろうが（これはライトフィールドではない）、ここで提示するものは、特定のフォーマットを利用するための方法である。

図２２（ａ）は、特定のコンパクトな光線フォーマットについて記述する。このフォーマットでは、異なるカメラが組織化された方式で保存される。それらの位置は、ｘ_３ｉ、ｙ_３ｉ、ｚ_３ｉのトリプレットによってタグ付けされ、且つそれらの軸の向きとの関係において、まず、最も近接したものから最も離れたものまでの深さｚ_３ｉにより、且つ次いで、底部から最上部までのｘ_３ｉにより、且つ最後に、底部から最上部までのｙ_３ｉによりｃａｍ_ｉを順序付けするために決定することができる。

ライトフィールドが、ネットワーク上で送信されるか又はアンテナまで無線送信される際、それは、帯域幅を節約するために部分的にのみ送信され、その結果、１つの視点のみが送信される。また、この視点と共にすべてのｃａｍ_ｉ焦点を送信することもできる。

次いで、観察者は、メニューボタンから、オリジナルフォーマットで利用可能である他のライトフィールド視点を視覚化する３Ｄ画面オーバーレイを自らのディスプレイ上に表示することができる。これは、他の視点が実際の観察者の位置との関係でいずれの箇所に配置されるかを３Ｄで示す３Ｄ軸システムの形態を有することができる。

方向パッドにより、ユーザーは、望ましい位置にナビゲートし、位置を検証し、且つフィードバックがネットワーク上でサーバーに送信される。次いで、サーバーは、エンドユーザーに対してストリーミング又はブロードキャストされなければならない選択されたデータラインを位置決めする。

また、スクリーンオーバーレイは、視点を通じてアスペクト及びナビゲーションにおいて変化することもできる。

ユーザーが立体コンテンツの視聴を所望する場合、ファイルフォーマットは、スクリーンオーバーレイが立体コンテンツの指示も表示するように、補正されたカメラペアに対してタグ付けするために変更することが可能であり、この場合、デジタルラインデータの２つのスロットを送信しなければならない。

表現フォーマットとの関係でこのような技法を可能にするものは、特定のライトフィールド分析である。相対的に近接したハイパープレーンは、遠く離れたものよりも小さいｍを有することがわかるため、距離に応じた異なるデータラインのソートを開始することができる。ｍは、上述のように、離散ラドン変換によって算出される。また、上述のように、ｘ_３ｉ、ｙ_３ｉ、及びｚ_３ｉを演算すると共に焦点成分の符号及びモジュラスに従ってフォーマットにおいて異なるデータラインをソートすることもできる。

データラインが容積内のその３Ｄ焦点位置に従ってソートされるという事実は、ブロードキャストのために必要とされるものに対する迅速なアクセスを可能にする。ブロードキャストされるものは視点であり、又は立体の場合には視点のペアであり、且つ数学的には、それはハイパープレーンの１つの特定の束（又はそのペア）であり、これは、４Ｄブレゼンハムスキャンライン又はパラメトリックデータスキャンニングに従って保存された光線の集合体である。

図３３は、ユーザーが、４Ｄライトフィールドデータと関連付けられたカメラの位置を選択することができる３Ｄ表現を含むメニューを提示する。

更に正確には、３７０という参照符号が付与された表示装置は、いくつかのカメラの３Ｄ空間内の位置をユーザーに対して提示する（３７１〜３７５という参照符号が付与された位置は、いくつかのカメラの位置に対応する）。

次いで、ユーザーは、３７６という参照符号が付与された遠隔制御ユニットを介してこれらの位置の１つを選択することができる。選択が実行されたら、選択されたカメラと関連付けられた４Ｄライトフィールドデータが前記表示装置によって取得される。次いで、表示装置がこのような４Ｄライトフィールドデータを表示する。

本開示の別の実施形態では、ユーザーは、遠隔制御ユニット３７６を使用する代わりに、表示装置に接触することにより、これらの位置の１つを選択することができる（即ち、これは、ある種のタッチスクリーンである）。

更に、本開示の一実施形態では、ユーザーが、４Ｄライトフィールドデータと関連付けられたカメラの位置を選択し得る表示された３Ｄ表現は、境界が定められた空間ゾーンに対応する。但し、本開示のいくつかの実施形態では、カメラの位置を含む空間ゾーンは、表示されたものを上回ることができる。従って、カメラの位置が利用可能である方向を示すための（矢印などの）更なる視覚的インジケータを表示可能であってもよい。別の実施形態では、軸ラインｘ、ｙ、ｚのみならず、原点も表示される。一実施形態では、原点の位置は、ユーザーの入力に従ってセンタリングされる。

本開示の一実施形態では、３つの軸ラインの回転を実行することができる。本開示の一実施形態では、ユーザーは、ユーザーによって選ばれた選択済みのゾーンにズームイン又はズームアウトすることができる。

図３４は、本明細書に開示される方法の１つ又は複数のステップを実行するために使用され得る電子装置の一例を提示する。

３４０という参照符号が付与されたこのような電子装置は、３４１という参照符号が付与された演算ユニット（例えば、「中央処理ユニット」の略号であるＣＰＵ）と、３４２という参照符号が付与された１つ又は複数のメモリユニット（例えば、コンピュータプログラムの命令の実行時に中間結果が一時的に保存され得るＲＡＭ（「ランダムアクセスメモリ」の略号である）ブロック、又はとりわけコンピュータプログラムが保存されるＲＯＭブロック、又はＥＥＰＲＯＭ（「電気的消去可能プログラマブル読み出し専用メモリ」）ブロック、又はフラッシュブロック）とを含む。コンピュータプログラムは、演算ユニットによって実行され得る命令から構成される。また、このような電子装置３４０は、装置３４０が他の電子装置と通信することを許容するために入力−出力インターフェイスを構成する、３４３という参照符号が付与された専用のユニットを含むこともできる。具体的には、この専用のユニット３４３は、（接触を伴うことなしに通信を実行するための）アンテナ又は（通信「接点」を担持するための）シリアルポートと接続することができる。図３４内の矢印は、リンクされたユニットが、例えば、協働して、バスを通じてデータを交換し得ることを意味することに留意されたい。

一代替実施形態では、上述の方法のステップのいくつか又はすべては、ハードウェアでは、プログラム可能なＦＰＧＡ（「フィールドプログラマブルゲートアレイ」）コンポーネント又はＡＳＩＣ（「特定用途向け集積回路」）コンポーネントとして実装することができる。

一代替実施形態では、上述の方法のステップのいくつか又はすべては、図３４に開示されるものとしてのメモリユニット及び処理ユニットを含む電子装置上で実行することができる。

本開示の一実施形態では、図３４に描かれる電子装置は、画像（従来の２Ｄ画像又はライトフィールドのサンプリング）をキャプチャするように構成されたカメラ装置に含むことができる。これらの画像は、１つ又は複数のメモリユニット上に保存される。従って、これらの画像は、ビットストリームデータ（即ち、ビットのシーケンス）と見なすことができる。また、ビットストリームは、バイトストリーム上で変換されることが可能であり、且つこの逆も真であることは明らかである。

Claims (15)

1. ライトフィールドコンテンツをエンコードする方法において、
   − 前記ライトフィールドコンテンツと関連付けられた光線の組（４０１）について、前記ライトフィールドコンテンツの２プレーン（４０２、４０３）パラメータ化から光線毎に４つの座標を取得すること（２０００）と、
   − 前記組からのそれぞれの光線について、第１の２Ｄ光線図（Π（ｘ_１，ｘ_２），Π（ｙ_１，ｙ_２））内のポイントを定義する、前記２プレーンパラメータ化で使用される２つのプレーンに対して垂直であるプレーン（４０４、４０５、Ｐ）上への前記組からの前記光線の投影に対応する、前記４つの座標からの２つの座標を取得すること（２００１）と、
   − 前記第１の２Ｄ光線図内の対象のラインを供給する前記第１の２Ｄ光線図（Π（ｘ_１，ｘ_２），Π（ｙ_１，ｙ_２））に対して離散ラドン変換を適用すること（２００２）と、
   − 前記対象のラインを、エンコードされた対象のラインにエンコードすること（２００３）と、
   − 前記エンコードされた対象のラインを保存すること（２００４）と
   を含むことを特徴とする方法。
2. 前記対象のラインの前記エンコード（２００３）は、ブレゼンハムアルゴリズムを適用することを更に含む、請求項１に記載のライトフィールドコンテンツをエンコードする方法。
3. 第１のプレーン及び第２のプレーンと呼称される、前記２プレーンパラメータ化で使用される前記２つのプレーンは、矩形要素（Δｘ_１、Δｙ_１；Δｘ_２、Δｙ_２）を含む離散化されたプレーン（２７５、２７６）であり、前記第１のプレーン内の矩形要素の長辺の最大値は、
   
   に等しく、ここで、ｚ_ｆは、ピクセルピッチｐを有するカメラ装置に含まれるセンサアレイの深度値であり、ｆは、前記カメラ装置の焦点距離であり、及びｚ_１は、前記第１のプレーンと関連付けられた第１の深度値であり、前記第２のプレーン内の矩形要素の長辺の最大値は、
   
   に等しく、ここで、ｚ_２は、前記第２の第１のプレーンと関連付けられた第２の深度値である、請求項１又は２に記載のライトフィールドコンテンツをエンコードする方法。
4. 前記保存（２００４）は、前記第１の２Ｄ光線図内の第１のエンコードされた対象のラインに属する少なくとも１つの第１のポイント
   
   について、
   − 第２の２Ｄ光線図（Π（ｘ_１，ｘ_２），Π（ｙ_１，ｙ_２））内の第２のエンコードされた対象のラインに属する少なくとも第２のポイント（（ｙ_１，ｙ_２）；（ｘ_１，ｘ_２））と関連付けられた光線の放射輝度を保存することであって、前記第２のエンコードされた対象のラインは、前記第１のエンコードされた対象のラインと同じスロープを有する、保存すること、及び光線の存在を示す第１の追加情報を保存すること、並びに／又は
   − 光線が、前記第２のエンコードされた対象のラインに属する少なくとも第３のポイント（（ｙ_１，ｙ_２）；（ｘ_１，ｘ_２））と関連付けられていないことを示す第２の追加情報を保存すること
   を含む、請求項１〜３のいずれか一項に記載のライトフィールドコンテンツをエンコードする方法。
5. 前記第１及び／又は第２の追加情報はビットであり、前記光線の放射輝度は３バイト値によってエンコードされる、請求項４に記載のライトフィールドコンテンツをエンコードする方法。
6. 投影の少なくとも１つの中心の座標及び前記投影の少なくとも１つの中心と関連付けられた半径を推定することを更に含み、前記推定は、
   − 前記第１の２Ｄ光線図内の対象のラインの少なくとも１つのスロープパラメータｍ及び太さパラメータ
   
   を取得することであって、前記対象のラインは、投影の中心ｘ_３，ｙ_３，ｚ_３及び半径Ａと関連付けられる、取得することと、
   − 前記少なくとも１つのスロープパラメータｍ及び前記太さパラメータ
   
   から前記投影の中心の座標ｘ_３，ｙ_３，ｚ_３及び前記半径Ａを推定することと
   を含む、請求項１〜５のいずれか一項に記載のライトフィールドコンテンツをエンコードする方法。
7. 第１のプレーン及び第２のプレーンと呼称される、前記２プレーンパラメータ化で使用される前記２つのプレーンは、それぞれ第１の深度値ｚ_１及び第２の深度値ｚ_２と関連付けられ、前記推定は、
   
   を取得することを含む、請求項６に記載のライトフィールドコンテンツをエンコードする方法。
8. 前記エンコードされた対象のラインの前記保存（２００４）は、エンコードされた対象のラインと関連付けられたスロープを保存することと、前記第１の２Ｄ光線図内のエンコードされた対象のラインに属するそれぞれのポイントについて、第２の２Ｄ光線図に属するポイントの組を保存することと、前記第１の２Ｄ光線図内の処理済みのエンコードされた対象のラインと関連付けられたスロープが、前記第１の２Ｄ光線図内の他のエンコードされた対象のラインと関連付けられた別のスロープよりも大きい場合、前記第１の２Ｄ光線図内のポイントが、前記処理済みのエンコードされた対象のラインと前記他のエンコードされた対象のラインとの間の交差に属する際に、前記第２の２Ｄ光線図に属する前記ポイントの組の前記保存を回避することとを更に含む、請求項１〜７のいずれか一項に記載のライトフィールドコンテンツをエンコードする方法。
9. 前記回避は、閉塞を示す情報を保存することを更に含む、請求項８に記載のライトフィールドコンテンツをエンコードする方法。
10. 前記情報はヌル値である、請求項９に記載のライトフィールドコンテンツをエンコードする方法。
11. コンピュータによって実行されると、ライトフィールドコンテンツをエンコードする方法を実装するためのコンピュータ実行可能命令の組を含むコンピュータプログラムを保存するコンピュータ可読且つ非一時的記憶媒体であって、前記命令は、実行されると、請求項１〜１０のいずれか一項に記載の方法を実行するように前記コンピュータを構成する命令を含む、コンピュータ可読且つ非一時的記憶媒体。
12. ライトフィールドコンテンツをエンコードする電子装置において、メモリと、前記メモリに結合された少なくとも１つのプロセッサとを含み、前記少なくとも１つのプロセッサは、
    − 前記ライトフィールドコンテンツと関連付けられた光線（４０１）の組について、前記ライトフィールドコンテンツの２プレーン（４０２、４０３）パラメータ化から光線毎に４つの座標を取得すること（２０００）と、
    − 前記組からのそれぞれの光線について、第１の２Ｄ光線図（Π（ｘ_１，ｘ_２），Π（ｙ_１，ｙ_２））内のポイントを定義する、前記２プレーンパラメータ化で使用される２つのプレーンに対して垂直であるプレーン（４０４、４０５、Ｐ）上への前記組からの前記光線の投影に対応する、前記４つの座標からの２つの座標を取得すること（２００１）と、
    − 前記第１の２Ｄ光線図内の対象のラインを供給する前記第１の２Ｄ光線図（Π（ｘ_１，ｘ_２），Π（ｙ_１，ｙ_２））に対して離散ラドン変換を適用すること（２００２）と、
    − 前記対象のラインをエンコードすること（２００３）と、
    − 前記エンコードされた対象のラインを保存すること（２００４）と
    を行うように構成されることを特徴とする電子装置。
13. 前記少なくとも１つのプロセッサは、ブレゼンハムアルゴリズムによって前記対象のラインをエンコードするように更に構成される、請求項１２に記載のライトフィールドコンテンツをエンコードする電子装置。
14. 第１のプレーン及び第２のプレーンと呼称される、前記２プレーンパラメータ化で使用される前記２つのプレーンは、矩形要素（Δｘ_１、Δｙ_１；Δｘ_２、Δｙ_２）を含む離散化されたプレーン（２７５、２７６）であり、前記第１のプレーン内の矩形要素の長辺の最大値は、
    
    に等しく、ここで、ｚ_ｆは、ピクセルピッチｐを有するカメラ装置に含まれるセンサアレイの深度値であり、ｆは、前記カメラ装置の焦点距離であり、及びｚ_１は、前記第１のプレーンと関連付けられた第１の深度値であり、前記第２のプレーン内の矩形要素の長辺の最大値は、
    
    に等しく、ここで、ｚ_２は、第２の第１のプレーンと関連付けられた第２の深度値である、請求項１２又は１３に記載のライトフィールドコンテンツをエンコードする電子装置。
15. 前記少なくとも１つのプロセッサは、前記第１の２Ｄ光線図内の第１のエンコードされた対象のラインに属する少なくとも１つの第１のポイント
    
    について、
    − 第２の２Ｄ光線図（Π（ｘ_１，ｘ_２），Π（ｙ_１，ｙ_２））内の第２のエンコードされた対象のラインに属する少なくとも第２のポイント（（ｙ_１，ｙ_２）；（ｘ_１，ｘ_２））と関連付けられた光線の放射輝度を保存することであって、前記第２のエンコードされた対象のラインは、前記第１のエンコードされた対象のラインと同じスロープを有する、保存すること、及び光線の存在を示す第１の追加情報を保存すること、並びに／又は
    − 光線が、前記第２のエンコードされた対象のラインに属する少なくとも第３のポイント（（ｙ_１，ｙ_２）；（ｘ_１，ｘ_２））と関連付けられていないことを示す第２の追加情報を保存すること
    を行うように更に構成される、請求項１２〜１４のいずれか一項に記載のライトフィールドコンテンツをエンコードする電子装置。