JP2022141637A - ライト・フィールドを表すデータを生成する方法および装置 - Google Patents

ライト・フィールドを表すデータを生成する方法および装置 Download PDF

Info

Publication number
JP2022141637A
JP2022141637A JP2022095978A JP2022095978A JP2022141637A JP 2022141637 A JP2022141637 A JP 2022141637A JP 2022095978 A JP2022095978 A JP 2022095978A JP 2022095978 A JP2022095978 A JP 2022095978A JP 2022141637 A JP2022141637 A JP 2022141637A
Authority
JP
Japan
Prior art keywords
data
light field
pixel
light
ray diagram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022095978A
Other languages
English (en)
Inventor
ドラジツク，バルター
Drazic Valter
ブロンデ，ローレント
Blonde Laurent
シユーベルト，アルノ
Schubert Arno
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital VC Holdings Inc
Original Assignee
InterDigital VC Holdings Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by InterDigital VC Holdings Inc filed Critical InterDigital VC Holdings Inc
Publication of JP2022141637A publication Critical patent/JP2022141637A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/9201—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/229—Image signal generators using stereoscopic image cameras using a single 2D image sensor using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20061—Hough transform
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】プレノプティック装置の光学系の物体空間において１組の光線によって占められるボリュームを表す画素ビームの情報を記憶するコンパクトなフォーマットを提供する方法、装置、データ・パッケージ及びプログラムを提供する。【解決手段】方法は、画素ビームを表すライト・フィールド（ＬＦ）光線と、物体空間における相異なる深度に対応する複数の所与の基準平面との交点を規定する交点データを、光取得システムによって捕捉されたライト・フィールド・データから得ることと、２Ｄ光線図において交点データの図式的な表現を規定する２Ｄ光線図パラメータを得ることと、画素ビームを表すデータを提供するために、２Ｄ光線図パラメータを、画素ビームを規定するパラメータに関連付けることと、を含む。【選択図】図８Ａ

Description

本発明は、ライト・フィールド（light field）を表すデータの生成に関する。
ＥＣＣＶ２００８の会議の会報において公開されたAnat Levin氏その他による論文である「Understanding camera trade-offs through a Bayesian analysis of light field projections（ライト・フィールド・プロジェクションのベイズ解析によるカメラ・トレードオフの理解）」において、４Ｄ（４次元）ライト・フィールドのサンプリングとして、すなわち、光線の記録として見ることのできる４Ｄライト・フィールド・データの取得技術が説明されており、活発な研究課題となっている。
カメラから得られる古典的な２Ｄ（２次元）画像と比較して、４Ｄライト・フィールド・データは、ユーザが、画像の描画と、ユーザとのインタラクティビティとを高度化する、より多くの後処理機能を利用することを可能にしている。例えば、４Ｄライト・フィールド・データによって、焦点面の位置を事後的に規定、選択できることを意味する、自由に選択された焦点距離による画像の再合焦（refocusing）と、画像のシーン内での視点の若干の変更とを行うことが可能になる。４Ｄライト・フィールド・データを取得するためには、幾つかの技術を用いることができる。例えば、プレノプティック・カメラが、４Ｄライト・フィールド・データを取得できる。図１Ａには、プレノプティック・カメラの構造の詳細が示されている。図１Ａは、プレノプティック・カメラ１００を概略的に表す図である。プレノプティック・カメラ１００は、メイン・レンズ１０１と、２次元アレイに配置された複数のマイクロレンズ１０３から成るマイクロレンズ・アレイ１０２と、イメージ・センサ１０４と、を備えている。
４Ｄライト・フィールド・データを取得するもう１つの方法は、図１Ｂに示されているようなカメラ・アレイを用いることである。図１Ｂは、マルチアレイ・カメラ１１０を表している。マルチアレイ・カメラ１１０は、レンズ・アレイ１１２とイメージ・センサ１１４を備えている。
図１Ａに示されたプレノプティック・カメラ１００の例では、メイン・レンズ１０１が、メイン・レンズ１０１のオブジェクト・フィールド（object field）内のオブジェクト（対象物）（図示せず）から光を受けて、その光を、メイン・レンズ１０１のイメージ・フィールド（image field）を通過させる。
最後に、４Ｄライト・フィールドを取得する更にもう１つの方法は、同一シーンの一連の２Ｄ画像を種々の焦点面で撮るように構成された従来型カメラを用いることである。例えば、２０１４年１０月に公開された、ＯＰＴＩＣＳ ＥＸＰＲＥＳＳ、Ｖｏｌ.２２、Ｎｏ.２１におけるJ.-H. Park氏その他による文献である「Light ray field capture using focal plane sweeping and its optical reconstruction using 3D displays（焦点面掃引による光線フィールド撮像、及び、３Ｄディスプレイによるその光学的復元）」に記載された技術を用いて、従来型カメラによる４Ｄライト・フィールド・データの取得を実現できる。
４Ｄライト・フィールド・データを表す方法は、幾つかある。実際、２００６年７月に公開されたRen Ng氏による「Digital Light Field Photography（デジタル・ライト・フィールド写真技術）」という題目の博士号論文の第３.３章においては、４Ｄライト・フィールド・データを表す３つの相異なる方法が説明されている。第一に、４Ｄライト・フィールド・データは、プレノプティック・カメラによって記録する場合、マイクロレンズ画像のコレクション（収集物）によって表せる。その際に表される４Ｄライト・フィールド・データは、生画像（raw image）、或いは、生４Ｄライト・フィールド・データ（raw 4D light-field data）と呼ばれる。第二に、４Ｄライト・フィールド・データは、プレノプティック・カメラ又はカメラ・アレイによって記録する場合、１組のサブ・アパチャ（sub-aperture）画像によって表せる。サブ・アパチャ画像は、ある視点から撮られた、あるシーンの画像に相当し、この視点は、２つのサブ・アパチャ画像間で少し異なる。これらのサブ・アパチャ画像は、撮像されたシーンの視差と奥行きとについての情報を提供する。第三に、４Ｄライト・フィールド・データは、１組のエピポーラ画像（epipolar image）によって表せるが、これについては、例えば、ＩＳＶＣ２０１１の会議の会報内で公開されたS. Wanner氏その他による「Generating EPI Representation of a 4D Light Fields with a Single Lens Focused Plenoptic Camera（単一レンズ合焦プレノプティック・カメラによる４Ｄライト・フィールドのＥＰＩ表象の生成）」という表題の論文を参照されたい。
ライト・フィールド・データは大量の記憶領域を占めることがあり、これは、記憶（格納）を厄介にし、かつ処理効率を低下させ得る。また、ライト・フィールド取得装置は、極めて異種混交的である。種々のライト・フィールド・カメラは、例えば、プレノプティック、或いは、カメラ・アレイといった互いに異なるタイプである。更に、各々のタイプ内で、例えば、相異なる光学的構成、或いは、相異なる焦点距離のマイクロレンズのような多くの相違点がある。各々のカメラは、自己の固有のファイル・フォーマットを有している。現在のところ、ライト・フィールドが依存する種々のパラメータの包括的な概要について、多次元情報の取得と伝送とをサポートする規格がない。従って、相異なるカメラについて取得されたライト・フィールド・データは、様々なフォーマットを有している。本発明は、これらのことを念頭において、考案された。
本発明の第１の態様によれば、光取得システムのセンサの少なくとも１つの画素が光取得システムの瞳を介して検出できる１組の光線によって占められる、光取得システムの物体空間におけるボリュームを表すデータを生成する、コンピュータにより実施される方法であって、ボリュームは画素ビームと称され、
画素ビームを表すライト・フィールド光線と、物体空間における相異なる深度に対応する複数の所与の基準平面との交点を規定する交点データを、光取得システムによって捕捉されたライト・フィールド・データから得ること（Ｓ８０３）と、
４Ｄ光線図において交点データの図式的な表現を規定する光線図パラメータを得ること（Ｓ８０５，Ｓ８０６）と、
画素ビームを表すデータを提供するために、画素ビームを規定するパラメータに光線図パラメータを関連付けることと、
を含む、上記方法が提供される。
本発明の一態様によれば、画素ビームを表すライト・フィールド光線は、画素の中心と上記瞳の中心とを通過する直線であり、画素ビームを規定するパラメータは、物体空間における画素の共役の位置およびサイズである。
本発明の一態様によれば、ライト・フィールド光線に対応する交点データは、光線図においてデータ・ラインとして図式的に表され、上記光線図パラメータには、
データ・ラインの傾きと、
データ・ラインと光線図の軸との交点と、
のうちの少なくとも一方を表すデータが含まれる。
本発明の一態様によれば、データ・ラインは、ラドン変換を適用することによって、２Ｄ光線図において検出される。
本発明の一態様によれば、図式的な表現は、デジタル・データ・ラインを提供するセルのマトリクスとして提供され、各々のデジタル・データ・ラインのフォーマットが、ラインと軸との交点を表す少なくとも１つの第１のセルと、ラインの傾きを特定し得る少なくとも１つの第２のセルとの複数のセルによって規定される。
本発明の一態様によれば、各々のデジタル・データ・ラインは、ブレゼンハムのアルゴリズムの適用によって生成される。
本発明の一態様によれば、画素ビームを表すデータは、対応するライト・フィールド光線の色を表す色データを更に備えている。
本発明の一態様によれば、画素ビームを表すデータは、メタデータとして提供され、メタデータのヘッダが、２Ｄ光線図において交点データの図式的な表現を規定する光線図パラメータを備えており、メタデータのボディが、光線の色を表すデータと、物体空間における画素の共役の位置およびサイズを規定するパラメータと、を備えている。
本発明のもう１つの対象は、光取得システムのセンサの少なくとも１つの画素が光取得システムの瞳を介して検出できる１組の光線によって占められる、光取得システムの物体空間におけるボリュームについてのメタデータを提供する装置であって、ボリュームは画素ビームと称され、ライト・フィールド・カメラによって捕捉されたライト・フィールド・データを取得するライト・フィールド・データ取得モジュールと、ライト・フィールド・データ生成モジュールとを備え、ライト・フィールド・データ生成モジュールが、
画素ビームを表すライト・フィールド光線と、互いに平行でありかつ物体空間における相異なる深度に対応する複数の所与の基準平面との交点を規定する交点データを、取得されたライト・フィールド・データから得て、
取得されたライト・フィールド・データを表すデータを提供するために２Ｄ光線図において交点データの図式的な表現を規定する光線図パラメータを得て、
画素ビームを表すデータを提供するために、画素ビームを規定するパラメータに光線図パラメータを関連付ける、
ように構成されている、上記装置である。
本発明のもう１つの対象は、
規則的な格子構造の状態で配置されたマイクロレンズ・アレイと、
マイクロレンズ・アレイから光センサに投影された光を捕捉するように構成された光センサであって、光センサは複数の画素組を備えており、各々の画素組は、マイクロレンズ・アレイのそれぞれのマイクロレンズと光学的に関連付けられている、上記光センサと、
請求項９に記載のメタデータを提供する装置と、
を備えた、ライト・フィールド・イメージング装置である。
本発明のもう１つの対象は、請求項１から８のいずれか１項に記載の方法によって得られたライト・フィールド・データから画像を描画する装置に関する。
本発明のもう１つの態様によれば、光取得システムのセンサの少なくとも１つの画素が光取得システムの瞳を介して検出できる１組の光線によって占められる、光取得システムの物体空間におけるボリュームを表すデータについてのデータ・パッケージであって、ボリュームは画素ビームと称され、データ・パッケージは、画素ビームを表す光線の交点データの、２Ｄ光線図における図式的な表現を規定する光線図パラメータであって、交点データは、画素ビームを表すライト・フィールド光線と、互いに平行でありかつ物体空間における相異なる深度に対応する複数の所与の基準平面との交点を規定している、光線図パラメータと、画素ビームを表すライト・フィールド光線の色を規定する色データと、物体空間における画素の共役の位置およびサイズを規定するパラメータと、を有している、上記データ・パッケージが提供される。
本発明の要素によって実施される一部の処理は、コンピュータによって実施されることがある。従って、このような要素は、一般的に、ここで「回路」、「モジュール」又は「システム」と称されることがある完全なハードウェア実施形態、完全なソフトウェア実施形態（ファームウェア、常駐型ソフトウェア、マイクロコードなどを含む）、或いは、ソフトウェアとハードウェアの態様を組み合わせた実施形態の形を取ることがある。更に、このような要素は、表現式を備えた任意の有形媒体において具現されるコンピュータ・プログラム製品の形を取ることがあり、その表現式は、その媒体において具現されるコンピュータ使用可能プログラム・コードを有する。
本発明の要素がソフトウェアの状態で実施できるので、本発明は、任意の適当な搬送媒体を介してプログラム可能装置に提供されるコンピュータ可読コードとして、具現できる。有形搬送媒体は、例えばフロッピーディスク、ＣＤＲＯＭ、ハードディスク装置、磁気テープ装置、或いは、ソリッド・ステート・メモリ装置などのような記憶媒体で構成されることがある。一時的な搬送媒体には、電気的信号、電子的信号、光学的信号、音響的信号、磁気的信号、或いは、電磁的信号、例えばマイクロ波又はＲＦ信号、のような信号が含まれることがある。
以下、下記の図面を参照して、本発明の実施形態を、単に例として、説明する。
プレノプティック・カメラを概略的に表す図である。 マルチアレイ・カメラを表す図である。 本発明の一実施形態によるライト・フィールド・カメラの機能的な図である。 本発明の一実施形態によるライト・フィールド・データ・フォーマッタ（formator）とライト・フィールド・データ・プロセッサの機能的な図である。 光センサ・アレイ上に形成された２Ｄライト・フィールド画像の一例を示す図である。 カメラ又は光取得システムの光学系の物体空間において１組の光線によって占められるボリュームを表す図である。 一葉双曲面を表す図である。 本発明の１つ又は複数の実施形態によるライト・フィールド・データのパラメータ化のための基準平面の使用を図式的に例示する図である。 本発明の１つ又は複数の実施形態によるライト・フィールド・データのパラメータ化のための基準平面の使用を図式的に例示する図である。 本発明の実施形態による基準平面についてのライト・フィールド光線の表現を概略的に例示する図である。 本発明の１つ又は複数の実施形態による方法のステップを例示するフローチャートを示す図である。 本発明の１つ又は複数の実施形態による、光データ・フォーマットを提供する装置のモジュールを例示する機能的なブロック図である。 本発明の実施形態によるライト・フィールド光線の表現のためのパラメータを概略的に例示する図である。 本発明の実施形態による、交点データを図式的に例示する２Ｄ光線図である。 本発明の実施形態によって生成された１つのデジタル・ラインを図式的に例示する図である。 本発明の実施形態によって生成された複数のデジタル・ラインを図式的に例示する図である。 本発明の実施形態によってデジタル・ラインに適用されたラドン変換を図式的に例示する図である。 本発明の実施形態によってデジタル・ラインに適用されたラドン変換を図式的に例示する図である。 本発明の実施形態によってデジタル・ラインに適用されたラドン変換を図式的に例示する図である。 本発明の実施形態による、複数のカメラについての交点データを図式的に例示する２Ｄ光線図である。
当業者であれば理解できるように、本原理の態様は、システム、方法、或いは、コンピュータ可読媒体として実施できる。従って、本原理の態様は、一般的に、ここで「回路」、「モジュール」又は「システム」と称することができる完全なハードウェア実施形態、完全なソフトウェア実施形態（ファームウェア、常駐型ソフトウェア、マイクロコードなどを含む）、或いは、ソフトウェアとハードウェアの態様を組み合わせた実施形態の形を取ることができる。更に、本原理の態様は、コンピュータ可読記憶媒体の形態を取ることができる。１つ又は複数のコンピュータ可読記憶媒体の任意の組み合わせを利用してもよい。
本発明の実施形態は、例えばフォーマット変換、再合焦、視点変更、及び、３Ｄ画像生成のような更なる処理用途のためのライト・フィールド・データのフォーマット化を提供する。
図２Ａは、本発明の一実施形態によるライト・フィールド・カメラ装置のブロック図である。このライト・フィールド・カメラは、図１Ａのライト・フィールド・カメラに合わせて、アパチャ／シャッタ２０２、メイン・レンズ（対物レンズ）２０１、マイクロレンズ・アレイ２１０及び光センサ・アレイ２２０を備えている。一部の実施形態において、ライト・フィールド・カメラには、被写体またはシーンのライト・フィールド画像を撮るために起動されるシャッタ・レリーズが含まれている。これらの機能的特徴が図１Ｂのライト・フィールド・カメラにも適用されることは理解されるであろう。
光センサ・アレイ２２０はライト・フィールド画像データを提供し、ＬＦデータ取得モジュール２４０がこのライト・フィールド画像データを取得し、これにより、ライト・フィールド（ＬＦ）データ・フォーマット化モジュール２５０がライト・フィールド・データ・フォーマットを生成し、及び／又は、ライト・フィールド（ＬＦ）データ・プロセッサ２５５がこのライト・フィールド画像データを処理する。ライト・フィールド・データは、取得の後、及び、処理の後にサブ・アパチャ画像として又はサブ・フォーカル・スタック（sub focal stack）として生データ・フォーマットで、或いは、本発明の実施形態による１つのライト・フィールド・データ・フォーマットでメモリ２９０に記憶されてもよい。
図示の例では、ライト・フィールド・データ・フォーマット化モジュール２５０とライト・フィールド・データ・プロセッサ２５５は、ライト・フィールド・カメラ２００内に配置又は組み込まれている。本発明のその他の実施形態において、ライト・フィールド・データ・フォーマット化モジュール２５０及び／又はライト・フィールド・データ・プロセッサ２５５は、このライト・フィールド・キャプチャ・カメラの外部の別個の構成部分内に設けてもよい。この別個の構成部分は、このライト・フィールド・イメージ・キャプチャ装置に対してローカルであっても、或いは、リモートであってもよい。尚、任意の適切な有線又は無線プロトコルを用いてライト・フィールド画像データをフォーマット化モジュール２５０又はライト・フィールド・データ・プロセッサ２５５に送信してもよく、例えば、ライト・フィールド・データ・プロセッサは、取り込まれたライト・フィールド画像データ及び／又はその他のデータを、インターネット、セルラー・データ・ネットワーク、ＷｉＦｉネットワーク、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信プロトコル、及び／又は、その他の任意の適切な手段を介して、伝送してもよいことが理解されるであろう。
ライト・フィールド・データ・フォーマット化モジュール２５０は、本発明の実施形態に従って取得されたライト・フィールドを表すデータを生成するように構成されている。ライト・フィールド・データ・フォーマット化モジュール２５０は、ソフトウェア、ハードウェア、或いは、それらの組み合わせで実施されてもよい。
ライト・フィールド・データ・プロセッサ２５５は、ＬＦデータ取得モジュール２４０から直接受信された生ライト・フィールド画像データを処理して、例えば、本発明の実施形態に従って、フォーカル・スタックを生成する、或いは、ビューのマトリクスを生成するように構成されている。例えば、撮像されたシーンの静止画像、２Ｄビデオ・ストリームなどのような出力データが生成されてもよい。このライト・フィールド・データ・プロセッサは、ソフトウェア、ハードウェア、或いは、それらの組み合わせで実施されてもよい。
少なくとも１つの実施形態において、ライト・フィールド・カメラ２００は、ユーザ・インタフェース２６０も備えていることがあり、このユーザ・インタフェース２６０は、ユーザがコントローラ２７０によりカメラ２００の動作を制御するためのユーザ入力を与えることを可能にする。カメラの制御には、例えばシャッタ速度のようなカメラの光学的パラメータの制御が１つ又は複数含まれることがあり、或いは、調節可能ライト・フィールド・カメラの場合、マイクロレンズ・アレイと光センサとの間の相対的な距離、又は、対物レンズとマイクロレンズ・アレイとの間の相対的な距離の制御が含まれることがある。一部の実施形態では、ライト・フィールド・カメラの光学的素子相互間の相対的な距離は、手動で調節されることがある。また、カメラの制御には、カメラのその他のライト・フィールド・データ取得パラメータ、ライト・フィールド・データ・フォーマット化パラメータ、或いは、ライト・フィールド処理パラメータも含まれることがある。ユーザ・インタフェース２６０は、例えばタッチスクリーン、ボタン、キーボード、及び／又は、ポインティング装置などのような任意の適切なユーザ入力装置で構成されてもよい。このようにして、ユーザ・インタフェースによって受信された入力を用いて、ＬＦデータ・フォーマット化モジュール２５０を制御及び／又は環境設定してデータ・フォーマット化を制御でき、また、ＬＦデータ・プロセッサ２５５を制御及び／又は環境設定して取得済みライト・フィールド・データの処理を制御でき、また、コントローラ２７０を制御及び／又は環境設定してライト・フィールド・カメラ２００を制御できる。
ライト・フィールド・カメラは、例えば１つ又は複数の交換可能な、或いは、再充電可能なバッテリのような電力供給源２８０を含んでいる。ライト・フィールド・カメラは、取り込まれたライト・フィールド・データ及び／又は描画された最終画像を記憶する、或いは、例えば、本発明の実施形態の方法を実施するためのソフトウェアのようなその他のデータを記憶するためのメモリ２９０を備えている。このメモリには、外部メモリ及び／又は内部メモリが含まれ得る。少なくとも１つの実施形態において、このメモリは、カメラ２００とは別の装置、及び／又は、別の場所に設けることができる。また、一実施形態において、このメモリには、例えばメモリスティックのような取り外し可能／交換可能な記憶装置が含まれる。
また、ライト・フィールド・カメラには、カメラの前に在るシーンを撮像前に見るための、及び／又は、以前に撮像された画像及び／又は描画された画像を見るための表示部２６５（例えば、ＬＣＤスクリーン）も含まれることがある。このスクリーン２６５は、ユーザに対して１つ又は複数のメニュー、或いは、その他の情報を表示するために用いられることもある。更に、ライト・フィールド・カメラには、例えば、ＦｉｒｅＷｉｒｅ又はユニバーサル・シリアル・バス（ＵＳＢ）のインタフェースのような、或いは、インターネット、セルラー・データ・ネットワーク、ＷｉＦｉネットワーク、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信プロトコル、及び／又は、その他の任意の適切な手段を介するデータ通信用の有線又は無線通信のインタフェースのような１つ又は複数のＩ／Ｏインタフェース２９５が含まれることがある。Ｉ／Ｏインタフェース２９５は、例えばコンピュータ・システム又は表示装置のような外部装置との間で、描画用途のために、例えばＬＦデータ・フォーマット化モジュールが本発明の実施形態に従って生成したライト・フィールドを表すデータのようなデータと、例えば生ライト・フィールド・データ又はＬＦデータ・プロセッサ２５５が処理したデータのようなライト・フィールド・データと、を送受信するために用いられることがある。
図２Ｂは、ライト・フィールド・データ・フォーマット化モジュール２５０とライト・フィールド・データ・プロセッサ２５５の実施可能な特定の実施形態を例示するブロック図である。
回路２０００には、メモリ２０９０と、メモリ・コントローラ２０４５と、１つ又は複数の処理装置（ＣＰＵ）から成る処理回路網２０４０と、が含まれている。１つ又は複数の処理装置２０４０は、メモリ２０９０に記憶された種々のソフトウェア・プログラム及び／又は複数組の命令を実行して、ライト・フィールド・データ・フォーマット化とライト・フィールド・データ処理とを含む種々の機能を実施するように構成されている。上記メモリに記憶されたソフトウェア・コンポーネント（ソフトウェア構成要素）には、本発明の実施形態に従って取得済み光データを表すデータを生成するためのデータ・フォーマット化モジュール（１組の命令）２０５０と、本発明の実施形態に従ってライト・フィールド・データを処理するためのライト・フィールド・データ処理モジュール（１組の命令）２０５５と、が含まれている。上記メモリには、ライト・フィールド・カメラ装置のアプリケーションのためにその他のモジュールが含まれていることがあり、例えば、一般的なシステム・タスク（例えば電源管理、メモリ管理）を制御する、及び、装置２０００の種々のハードウェアとソフトウェアの構成要素相互間の通信を容易にするためのオペレーティング・システム・モジュール２０５１と、Ｉ／Ｏインタフェース・ポートを介するその他の装置との通信を制御及び管理するためのインタフェース・モジュール２０５２と、が含まれていることがある。
図３には、図１Ａの光センサ・アレイ１０４又は図１Ｂの光センサ・アレイ１１４上に形成された２Ｄ画像の一例が示されている。この２Ｄ画像は、生４Ｄライト・フィールド画像と呼ばれることが多いが、マイクロ画像ＭＩのアレイで構成されており、各々のマイクロ画像は、マイクロレンズ・アレイ１０２，１１２のそれぞれのマイクロレンズ（ｉ，ｊ）によって生成されている。マイクロ画像は、軸ｉと軸ｊによって規定される矩形格子構造のアレイに配置されている。マイクロレンズ画像は、それぞれのマイクロレンズの座標（ｉ，ｊ）によって参照されることがある。また、光センサ１０４，１１４の画素ＰＩは、その空間座標（ｘ，ｙ）によって参照されることがある。所与の画素に関連付けられた４Ｄライト・フィールド・データは、（ｘ，ｙ，ｉ，ｊ）として参照されることがある。
４Ｄライト・フィールド画像を表す（又は規定する）方法は、幾つかある。例えば、４Ｄライト・フィールド画像は、図３を参照して説明したようにマイクロレンズ画像の集合によって表せる。また、４Ｄライト・フィールド画像は、プレノプティック・カメラによって記録される場合、１組のサブ・アパチャ画像によっても表せる。各々のサブ・アパチャ画像は、各々のマイクロレンズ画像から選択された同じ位置の画素から構成される。更に、４Ｄライト・フィールド画像は、１組のエピポーラ画像（epipolar image）によっても表せるが、これは画素ビームの場合ではない。
本発明の一部の実施形態によれば、ライト・フィールド・データは、画素ビームの概念に基づいて表される。この点で、フォーマット及びライト・フィールド装置における多様性を考慮することがある。実際、光線に基づくフォーマットの１つの欠点は、画素のフォーマット及びサイズを表すために、パラメータ化平面（parametrization plane）をサンプリングする必要がある。それ故、物理的な重要な情報を復元するために、このサンプリングをその他のデータに従って規定する必要がある。
図４に示されている画素ビーム４０は、カメラの光学系４１の物体空間（object space）において１組の光線よって占められるボリューム（volume）を表している。この１組の光線は、上記光学系４１の瞳４４を介して、カメラのセンサ４３の画素４２によって感知される。光線とは反対に、画素ビーム４０は、自由にサンプリングしてもよく、その理由は、画素ビームが、それ自体、物理的な光線の断面中のエネルギの保存に相当する「エテンデュ（etendue）」を伝えるためである。
光学系の瞳は、アパチャ・ストップ（開口絞り）の前に在る光学系、すなわちカメラのレンズ、を介して見られる該アパチャ・ストップの像として定義される。アパチャ・ストップは、カメラの光学系を通過する光の量を制限する開口である。例えば、カメラ・レンズの前面付近に配置された調節可能ダイアフラム（レンズ絞り）は、そのレンズについてのアパチャ・ストップである。このダイアフラムを通過する光の量は、カメラのユーザが通過させたい光の量に従って適合化され得るダイアフラムの開口の直径によって、制御される。例えば、この開口を小さくすることによって、ダイアフラムを通過する光の量は低減されるが、焦点の深度は増大される。ストップ（絞り）の有効サイズは、レンズの屈折作用のために、そのストップの物理的サイズよりも大きい又は小さいことがある。正式には、瞳は、カメラの光学系の一部を介するアパチャ・ストップの像である。
画素ビーム４０は、入射瞳４４を介して光学系４１を伝播して通り抜ける場合に所与の画素４２に到達する光線束として定義される。光は自由空間において直線上を進むので、このような画素ビーム４０の形状は、２つの断面、すなわち、一方が画素４２の共役４５であり、他方が入射瞳４４である、２つの断面によって規定できる。画素４２は、非ヌル（non-null）表面とその感度マップとによって規定される。
従って、画素ビームは、図５に示されているように、２つの要素、すなわち、カメラの物体空間における瞳５４と画素４２の共役５５とによってサポートされる一葉双曲面５０によって表されることがある。
一葉双曲面は、光線束の概念をサポートでき、且つ、物理的な光ビームの「エテンデュ」の概念と適合する線織面である。
本発明の一実施形態において、画素ビーム４０，５０は、４つの独立したパラメータ、すなわち、瞳４４，５４の前方における画素共役４５，５５の位置とサイズとを規定するｚＰ，θｘ，θｙ，ａによって、規定される。
画素ビームを表す一葉双曲面は、次式によって規定されることがある。
Figure 2022141637000002
 ここでは、ｔｘ＝ｔａｎθｘ，ｔｙ＝ｔａｎθｙである。
画素ビーム４０、５０のパラメータが規定される座標系（ｘ,ｙ,ｚ）の原点Ｏは、図４に示されているように、瞳４４の中心に対応しており、ここで、ｚ軸は、瞳４４，５４の表面に対して垂直な方向を規定している。
パラメータθｘ，θｙは、瞳４４の中心の入口に対する主光線の方向を規定している。これらは、センサ４３上の画素４２の位置と光学系４１の光学的要素とに依存する。更に正確に述べると、パラメータθｘ，θｙは、瞳４４の中心から画素４２の共役４５の方向を規定するずれ角（shear angle）を表している。
パラメータｚＰは、ｚ軸に沿う、画素ビーム４０，５０のウエスト（waist）５５、或いは、画素４２の共役４５、の距離を表している。
パラメータａは、画素ビーム４０，５０のウエスト５５の半径を表し、ｃは、次式によって与えられる。
Figure 2022141637000003
 ここで、ｒは、瞳４４、５４の半径である。
パラメータｚＰ，ａ及びｃの値の算定は、所与のカメラの各々の画素ビームについて、そのカメラのキャリブレーション（calibration）（較正）段階中に、実現される。このキャリブレーション段階は、例えば、カメラの光学系を通り抜ける光線の伝播をモデル化できるプログラムを実行することに本質がある。このようなプログラムは、例えば、Ｚｅｍａｘ（コピーライト）、ＡＳＡＰ（コピーライト）、又は、Ｃｏｄｅ Ｖ（コピーライト）のような光学的設計プログラムである。光学的設計プログラムは、光学系を設計して分析するために用いられる。光学的設計プログラムは、光学系を通り抜ける光線の伝播をモデル化し、例えば、単体レンズ、非球面レンズ、屈折率分布型レンズ（gradient index lens）、ミラー、回折性光学的要素などのような光学的要素の効果をモデル化できる。
従って、画素ビーム４０，５０は、その主光線とパラメータｚＰ，ａ及びｃとによって規定されることがある。
しかしながら、画素ビーム４０，５０をこのように表したものは、大量の記憶領域を占有することになり、その理由は、光線を記憶するための古典的ファイル・フォーマットの本質が３Ｄ空間における位置と方向とを記憶することにあるためである。
必要とする記憶領域がより少ない光線記憶用ファイル・フォーマットを提案するために、ライト・フィールド放射輝度の４つの次元をパラメータ化する（parametrizing）方法が、図６Ａに例示された立方体を基準にすることがある。この立方体の全ての６つの表面を用いてライト・フィールドをパラメータ化することがある。方向をパラメータ化するために、この立方体の表面に対して平行な第２の一組の平面が追加されることがある。このようにして、ライト・フィールドは、軸方向に沿う垂線を
Figure 2022141637000004
とする６対の平面について規定されることがある。
図６Ｂには、パラメータ化用に使用され、互いに平行に配置され、それぞれ、既知の深度ｚ１及びｚ２に位置する２つの基準平面Ｐ１及びＰ２を通過するライト・フィールド光線が例示されている。このライト・フィールド光線は、深度ｚ１に位置する第１の基準平面Ｐ１と交点（ｘ１，ｙ１）で交差し、深度ｚ２に位置する第２の基準平面Ｐ２と交点（ｘ２，ｙ２）で交差している。このようにして、ライト・フィールド光線が、４つの座標（ｘ１，ｙ１，ｘ２，ｙ２）によって識別されることがある。従って、ライト・フィールドは、１対の、ここでパラメータ化平面とも称される、パラメータ化用基準平面Ｐ１、Ｐ２によってパラメータ化でき、各々のライト・フィールド光線は、４Ｄ光線空間において点
Figure 2022141637000005
として表される。
例えば、基準座標系の原点が、座標軸系の基底ベクトル
Figure 2022141637000006
によって生成される平面Ｐ１の中心に置かれることがある。
Figure 2022141637000007
軸は、生成された平面Ｐ１に対して垂直であり、第２の平面Ｐ２は、簡単明解にするために、平面Ｐ１から
Figure 2022141637000008
軸に沿った距離ｚ＝Δに置ける。伝播の６つの相異なる方向を考慮に入れるために、全体のライト・フィールドを６対のそのような平面によって特徴づけることがある。ライト・スラブ（light slab）と呼ばれることの多い１対の平面が、伝播の方向に沿ってライト・フィールド・カメラのセンサ又はセンサ・アレイと相互作用するライト・フィールドを特徴づける。
パラメータ化用基準平面の位置は、
Figure 2022141637000009
 として与えることができ、ここで、
Figure 2022141637000010
は垂線であり、ｄは垂線の方向に沿っての３Ｄ座標系の原点からのオフセットである。
パラメータ化用基準平面のデカルト方程式（Cartesian equation）は、
Figure 2022141637000011
 として与えることができる。
ライト・フィールド光線が、既知の位置、すなわち、
Figure 2022141637000012
と、正規化された伝播ベクトル、すなわち、
Figure 2022141637000013
とを有する場合、３Ｄにおける光線の一般的な媒介変数方程式は、
Figure 2022141637000014
 として与えられることがある。
ライト・フィールド光線と基準平面との交点
Figure 2022141637000015
の座標は、
Figure 2022141637000016
 として与えられる。
次の条件が満たされない場合、ライト・フィールド光線と基準パラメータ化との交点は無い。
Figure 2022141637000017
ライト・フィールドをパラメータ化するために用いられる基準平面のペア（対）が系の軸の１つに対して垂直であるので、光線交点の成分の１つは、各々の平面について常に一定である。従って、ライト・フィールド光線の第１の基準平面との交点
Figure 2022141637000018
と、該ライト・フィールドの第２の基準平面との交点
Figure 2022141637000019
と、がある場合、４つの座標が変化し、等式Ａを用いてライト・フィールド光線の４つのパラメータを算出できる。これらの４つのパラメータを用いて、ライト・フィールドの４Ｄ光線図を作ることができる。
２つのパラメータ化基準平面を基準とするライト・フィールドのパラメータ化の場合、ライト・フィールドを表すデータは、次のように得られることがある。基準系が、図７に描かれているように設定されると、第１のパラメータ化平面Ｐ１は、ｚ＝ｚ１においてｚ軸に対して垂直であり、第２のパラメータ化平面Ｐ２は、ｚ＝ｚ２においてｚ軸に対して垂直に配置されており、ライト・フィールド・パラメータがＬ（ｘ１；ｙ１；ｘ２；ｙ２）である光線が、ライト・フィールド・カメラの光センサ・アレイが置かれている位置ｚ＝ｚ３において描画される。等式Ａから
Figure 2022141637000020
 が得られる。
上記の式を展開すると、
Figure 2022141637000021
 が与えられる。
両方の組の等式によって、新たな位置における描画されるライト・フィールド光線と同じ点
Figure 2022141637000022
が与えられるはずである。
Figure 2022141637000023
と
Figure 2022141637000024
の関数として、ｕｘ，ｕｙ，ｕｚをそれらの対応する式に置き換えて、上に記したブロックの２番目の組の等式を用いて、ｘ３とｙ３とを加算すると、
Figure 2022141637000025
 が得られる。
これから下記の式が導かれる。
Figure 2022141637000026
下付き数字３を有する座標は、ライト・フィールドが描画される既知の点（ｘ３，ｙ３，ｚ３）に関係する。全ての深度座標ｚｉは、既知である。パラメータ化平面は、伝播の、或いは、描画の方向にある。ライト・フィールド・データ・パラメータＬは、（ｘ１，ｙ１，ｘ２，ｙ２）である。
点（ｘ３，ｙ３，ｚ３）において画像を形成するライト・フィールド光線は、
Figure 2022141637000027
において超平面を規定する式Ｂによって、リンクされる（関連付けられる）。
これは、画像が２平面パラメータ化済みライト・フィールドから描画される場合、超平面付近の光線のみを描画すればよく、それらをトレースする要求はない。図８Ａは、本発明の１つ又は複数の実施形態に従ってライト・フィールドを表すデータを生成する方法のステップを例示するフローチャートである。図８Ｂは、本発明の１つ又は複数の実施形態に従ってライト・フィールドを表すデータを生成するシステムの主要モジュールを概略的に例示するブロック図である。
この方法の準備ステップＳ８０１において、カメラのセンサの画素に関連付けられた相異なる画素ビームを規定するパラメータが、カメラを較正することによって取得されるか、或いは、遠隔サーバに記憶されたデータ・ファイルから、或いは、例えばカメラのメモリ２９０又はカメラに接続されたフラッシュ・ディスクのようなローカル記憶装置に記憶されたデータ・ファイルから、上記パラメータを取り出すことによって取得される。
上記パラメータは、相異なる画素ビームの主光線の座標であり、瞳の前方における画素共役の位置とサイズとを規定するパラメータＺｐ及びａは、カメラのキャリブレーション（較正）期間中に、各々の画素ビームについて、得られる。画素ビームの主光線は、その画素ビームをサポートする画素の中心と瞳の中心とを通過する直線である。もう１つの準備ステップＳ８０２において、生ライト・フィールド・データが、ライト・フィールド・カメラ８０１によって取得される。この生ライト・フィールド・データは、例えば、図３を参照して説明したようなマイクロ画像の形態であってもよい。また、このライト・フィールド・カメラは、図１Ａ又は１Ｂと２Ａ及び２Ｂに示されたようなライト・フィールド・カメラ装置であってもよい。
ステップＳ８０３において、取得されたライト・フィールド・データが、光線パラメータ・モジュール８０２によって処理され、これによって、画素ビーム４０，５０の主光線に相当する捕捉されたライト・フィールド光線と、それぞれ深度ｚ１，ｚ２における１対のパラメータ化用基準平面Ｐ１，Ｐ２と、の交点を規定する交点データ（ｘ１，ｙ１，ｘ２，ｙ２）とが提供される。
カメラのキャリブレーションから、次記のパラメータ、すなわち、投影の中心（ｘ３，ｙ３，ｚ３）と、カメラの光軸の向きと、カメラのピンホールから光センサの平面までの距離ｆと、が特定できる。これらのライト・フィールド・カメラのパラメータが、図９に例示されている。光センサの平面は、深度ｚｐに配置されている。光センサの画素出力は、ライト・フィールド光線の幾何学的表現に変換される。２つの基準平面Ｐ１とＰ２を備えるライト・スラブが、それぞれ深度ｚ１とｚ２において、ｚ３を越えて、光センサに対するカメラの投影の中心の向こう側において、配置されている。光線に三角形の原理を適用することによって、マイクロレンズのアレイから投影された光を記録する画素座標（ｘｐ，ｙｐ，ｚｐ）は、次の式の適用により、光線パラメータ、すなわち、基準平面交点（ｘ１，ｙ１，ｘ２，ｙ２）にマッピングできる。
Figure 2022141637000028
上記の計算は、相異なるペア（対）のトリプレット（ｘｐ,ｙｐ,ｚｐ）（ｘ３,ｙ３,ｚ３）を有する複数のカメラに拡張してもよい。
プレノプティック・カメラの場合、アパチャを有するカメラ・モデルが用いられ、ライト・フィールド光線が、位相空間において、原点（ｘｐ，ｙｐ，ｚｐ）と方向（ｘ'３，ｙ’３，１）とを有するものとして記述される。深度ｚ３における平面（ｘ３，ｙ３）へのその伝播は、行列変換として記述できる。レンズが、ＡＢＣＤ行列として作用して光線を屈折させ、もう１つのＡＢＣＤ伝播行列が、光線をライト・スラブ基準平面Ｐ１とＰ２に導く。
このステップから、ライト・フィールド光線と基準平面Ｐ１，Ｐ２との交点を幾何学的に規定する交点データ（ｘ１，ｙ１，ｘ２，ｙ２）が得られる。
ステップＳ８０４において、交点データ（ｘ１，ｙ１，ｘ２，ｙ２）をグラフィック的に（図式的に）表す２Ｄ光線図が、光線図生成モジュール８０３によって、得られる。
図１０は、カメラによって位置ｘ３＝２、深度ｚ３＝２、アパチャ|Ａ|＜０.５で捕捉されたライト・フィールド光線の交点データ（ｘ１，ｘ２）を図式的に表す２Ｄ光線図である。パラメータ化に用いられる光線図のデータ・ラインが、２５６×２５６個の画素の画像を提供する２５６個のセルによって、サンプリングされる。
図１０に例示された光線図をマトリクス（行列）として解釈すると、その密度が疎らであると分かる。光線を４Ｄ位相空間行列の代わりにファイルに個々に保管しようとするならば、各々の光線について、各々の位置ｘｉ又はｘ３についての少なくとも２バイト（ｉｎｔ１６）と色についての３バイトとの合計、すなわち、２Ｄスライス・ライト・フィールドについて光線毎に７バイト、そして、そのフル（full）の４Ｄ表現について光線毎に１１バイトを保管する必要がある。たとえそうであっても、光線は、表現を巧みに操作する必要があるアプリケーションにとって不適当であるかもしれないファイルにランダムに記憶されることになる。本発明の発明者は、どのようにして、光線図マトリクスから代表的なデータのみを抽出して、そのデータを構造化された方法でファイルに記憶すべきかを突き止めた。
２Ｄスライス・ライト・フィールド光線が２Ｄ光線図のデータ・ラインに沿ってマッピングされるので、ライン値自身ではなく、データ・ラインを規定するパラメータを記憶する方がより効率的である。例えば傾きを規定するパラメータｓと軸交点（切片）ｄのようなデータ・ラインを規定するパラメータが、そのデータ・ラインに属する１組のライト・フィールド光線と共に、記憶されることがある。
これによって、例えば、傾きパラメータｓについて僅か２バイト、傾きパラメータｄについて２バイト、従って、光線毎に３バイトのみを必要とすることができる。更に、光線は、ファイル内でラインに沿って配列されることがある。マトリクス・セルを通じてラインを設定するために、最小の誤差で光線ラインに近似する、所謂、デジタル・ラインが生成される。
ステップＳ８０５でデータ・ラインの位置を特定し、且つ、傾きパラメータｓと切片パラメータｄとを得るために、ステップＳ８０４で生成された光線図についてラドン変換（Radon transform）がライン検出モジュール８０４によって行われる。
ステップＳ８０６において、代表的なデジタル・ラインが、得られた傾きパラメータｓと切片パラメータｄから、デジタル・ライン生成モジュール８０５によって、生成される。このステップにおいて、デジタル・ラインは、例えばブレゼンハムのアルゴリズム（Bresenham's algorithm）を適用して、分析ラインをその最も近くの格子点に近づけることによって、生成される。実際に、ブレゼンハムのアルゴリズムは、最小限の演算で、デジタル・ラインを提供する方法を提供する。ブレゼンハムのアプリケーション（適用）の一例は、次の参考資料、すなわち、http://www.cs.helsinki.fi/group/goa/mallinnus/lines/bresenh.htmlから適合化されたものである。
デジタル・フォーマットは、格子（０，ｄ）と（Ｎ－１，ｓ）の２点によってデータ・ラインを規定し、ここで、ｄは、ｘ１＝０である時のｘ２の値に対応する交点（切片）であり、ｓは、ｘ１＝Ｎ－１である時のｘ２の値に対応する傾きパラメータである。この生成されたデジタル・フォーマットから、各々の個別のラインの傾きａは、ｄとｓとの関数として、
Figure 2022141637000029
 と表されることがあり、ここで、
ｓ∈｛０，１，．．．Ｎ－１｝、ｄ∈｛０，１，．．．Ｎ－１｝
である。
図１１には、ブレゼンハムのアルゴリズムの適用によって生成されたデジタル・ラインの一例が例示されている。
図１２には、同一の傾きａ（又は、ｓ－ｄ）及び相異なる切片ｄを有し、互いに隣接する一群のデジタル・ライン（データ・ライン）が例示されている。この一群のデータ・ラインは、ここでは「ラインのバンドル（束）（bundle of lines）」と呼ぶが、理想的に精密ではないカメラから得られるビームに相当する。各々のラインは、相異なる画素を取り扱う。換言すれば、１つの画素は、同一の傾き及び相異なる切片を有する１つのバンドルのうちの１つの固有のラインのみに属する。軸交点（切片）ｄの上側及び下側の境界は、それぞれ、ｄｍａｘ及びｄｍｉｎとして与えられる。
サンプリングされた（２Ｄにおける）１対のラインによってパラメータ化され、且つ、１つのカメラに属する光線データは、そのデータを表すための位相空間において、デジタ
ル・ラインの１つのファミリー（ビーム）に属する。ビームのヘッダは、単に、傾きａと、軸交点（切片）の上側及び下側の境界ｄｍａｘ及びｄｍｉｎによって規定されるビームの厚さと、で構成できる。光線の値は、ヘッダがｄ及びｓであり得るデジタル・ラインに沿ったＲＧＢ色として、記憶される。サンプリングされた空間における光線図の空のセルは、記憶される必要はない。光線の座標ｘ１、ｘ２は、パラメータｄ及びｓと、デジタル・ラインに沿ったセルの位置と、から推定できる。
ライト・フィールドから、或いは、カメラのジオメトリ（幾何学的な位置関係）から推定されるパラメータは、傾きａ、デジタル・ライン交点（切片）の下側及び上側の境界（ｄｍｉｎ，ｄｍａｘ）、及び、デジタル・ライン・パラメータ（ｄｉ，ｓｉ）である。離散ラドン変換（discrete Radon transform）は、光線図においてライト・フィールドのサポート位置を測定する手段として、既に述べている。
図１３Ｂには、図１３Ａのデータ・ラインのデジタル・ライン・パラメータ空間（ｄ，ｓ）における離散ラドン変換（Discrete Radon Transform）が示されている。図１３Ｃは、図１３Ｂに含まれている対象領域のズーム（zoom）である。デジタル・ラインのビームの位置は、最大値パラメータの検索によって特定される。画像内容に因り、ＤＲＴの幾何学的な対称の中心と最大値の実際の位置との間にある程度のオフセットがあり得るので、後で、最大値の代わりに、１つのアルゴリズムを用いて対称の中心を正確に特定する。次に、図１３Ｃに示されているようなビーム変換のウエストは容易に見つかり、値（ｄｍｉｎ，ｄｍａｘ）が得られる。点（ｄｍｉｎ＝７４，ｓ＝２０１）が、図１３Ａから得られるデジタル・ラインのビームの下側エンベロープ（envelope）であり、点（ｄｍａｘ＝８１，ｓ＝２０８）が、そのデジタル・ラインのビームの上側エンベロープである。
等式Ｂから２つの直交する２Ｄスライス空間の等式は、
Figure 2022141637000030
 として与えられる。
ｘｉ座標についての２Ｄスライスを求める場合、（ｘ３，ｙ３，ｚ３）におけるサイズＡのアパチャを介する光線データが位置するラインのビームの等式は、
Figure 2022141637000031
 として与えられる。
同様に、２Ｄスライスをｙｉ座標について求める場合は、
Figure 2022141637000032
 となる。
前述のように、ｍ及び
Figure 2022141637000033
，
Figure 2022141637000034
，
Figure 2022141637000035
，
Figure 2022141637000036
の値を離散領域において求めて、前述のフォーマットによって規定されるようなライト・フィールドの特徴をローカライズすることがあり、４Ｄ離散ラドン変換を行なう要求はない。２つの直交する２Ｄ ＤＲＴを得る場合、超平面の傾きｍと、全てのデータが４Ｄ光線図において集中するデジタル超平面のビーム幅と、についての測定を行うことができる。
このより簡単な位置特定方法は、
Figure 2022141637000037
，
Figure 2022141637000038
，
Figure 2022141637000039
，
Figure 2022141637000040
が全ての超平面交点を包含するように、且つ、このフォーマットで書かれた一部の値には値が含まれないように、円形入射瞳Ａを前提としている。
２Ｄのケースについて提案したものに類似する４Ｄのケースについてのフォーマットを得ることは興味深いであろう。そうする場合、
Figure 2022141637000041
平面上に在る２Ｄラインを、
Figure 2022141637000042
平面上に在るラインに、すなわち、対応する超平面と
Figure 2022141637000043
及び
Figure 2022141637000044
の２つの直交するスライスとの交差の結果であるラインに、関連付けることは興味深いであろう。式ＤとＥから、対応するラインが同じ傾きｍを有することが分かる。これは、カメラについて、ある深度において、
Figure 2022141637000045
内の各々のラインを
Figure 2022141637000046
内のラインに関連付ける第１のパラメータである。複数のカメラが同じ深度にある場合（すなわち、図１３Ａのケース）、
Figure 2022141637000047
内に３つのラインと
Figure 2022141637000048
内に３つのラインが、同じ推定された傾きｍで、存在する。そのとき、これらの２つの平面内のライン相互間のライン・オフセットの対応関係が特定される。これを行うために、式ＤとＥにおけるラインの式を利用する。詳しくは、
Figure 2022141637000049
 として、オフセットは、
Figure 2022141637000050
 及び
Figure 2022141637000051
 となる。
これらの組の方程式は、ｋ，ｘ３及びｙ３について解ける。尚、（ｘ３，ｙ３，ｚ３）は、カメラの座標、換言すれば、対応する光のバンドル（光束）が半径Ａの円にフォーカス（focus）されるボクセル（voxel）の座標に相当する。ｚ３に位置する平面上のアパチャが円形であると仮定しているので、
Figure 2022141637000052
 となり、上記の組の方程式を解くことによって、
Figure 2022141637000053
Figure 2022141637000054
Figure 2022141637000055
Figure 2022141637000056
 が得られる。
デジタル・ラインは、ブレゼンハムのデジタル・ラインを用いて、
Figure 2022141637000057
上で、従来通りにスキャンしてもよい。各々の個別の（ｘ１，ｘ２）の値について、ライト・フィールドで捕捉された対応する（ｙ１，ｙ２）の値が記憶される。これらのような値を求めるために、式Ｃが利用される。ｘ３，ｙ３，ｚ３，ｚ１及びｚ２の全ては、既知であるか、或いは、式ＦとＧから推定される。
Figure 2022141637000058
内の各々のラインに関して、各々の
Figure 2022141637000059
について、（ｙ１，ｙ２）における下記の関係が得られる。
Figure 2022141637000060
 又は、
Figure 2022141637000061
Figure 2022141637000062
内の各々の点について、
Figure 2022141637000063
内のラインのコレクションが保管される。ｄｏｆｆは、
Figure 2022141637000064
についてスキャンされ保管されるラインのオフセットに相当する。尚、
Figure 2022141637000065
 である。
図１２を参照すると、各々の正方形は、
Figure 2022141637000066
の点であり、これらの点の各々について、下記の式
Figure 2022141637000067
 によって規定され、且つ、４Ｄ空間において図示のデータ・ラインに対して垂直なデジタル・バンドルに沿って図面の平面から出るようにして進む１組のブレゼンハムのデジタル・ラインが存在する。
表１には、カメラ毎のデータ・ラインのバンドルについての代表的なデータ・フォーマットが例示されている。
Figure 2022141637000068
先ず、４つの軸ｘ１，ｘ２，ｙ１，ｙ２の境界とそれらの対応するサンプリングとを含む、４Ｄ空間の一般的なメタデータが規定される。カメラ（バンドル）の数も規定される。各々のカメラｊについて、下記のパラメータが保管される。
・アパチャのサイズＡｊ（これは画素ビームの瞳の直径に相当する）
・カメラｃａｍｊのフォーカス点（合焦点）、すなわち、focusPoint = (u3,u3,w3)
・(x1x,2)における最も低い交点（切片）ｄ＝ｄｊ
・（ｘ１，ｘ２）におけるデジタル・ライン数 ＝
Figure 2022141637000069
・（ｙ１，ｙ２）におけるデジタル・ライン数 ＝
Figure 2022141637000070
各々のカメラにおいて、各々の
Figure 2022141637000071
について、スキャンが、式Ｋに関してブレゼンハムのデジタル・ラインを用いて（ｙ１，ｙ２）上で開始されて、各々のライト・フィールド光線のＲＧＢ値が保管される。詳しくは、
Figure 2022141637000072
から
Figure 2022141637000073
、及び、対応するｄｏｆｆが、式Ｋに従って計算される。
ライト・フィールド光線が画素ビームの主光線に相当するので、所与の画素ビームのパラメータｚＰ、ａの値は、表１に示されているように、対応するライト・フィールド光線のＲＧＢ値と並んで記憶される。
復号ステップにおいて、同じ計算が、記憶済みメタデータを用いて行われる。特に、ｋが、等式Ｇを用いて求められる。従って、フォーマットは、コンパクトなままである。系（system）において、各々の光線について、４つのインデックス（指標）を記憶する必要はない。尚、前述の超平面のサンプリングは、４Ｄ光線空間のサンプリングであり、従って、１つのｘ１、ｙ１、ｘ２、ｙ２の位置は、逃されない。これは、全てのデータを非常にコンパクトな形態で保管するための４Ｄ光線空間のシステマティックなスキャンの一例に過ぎない。当然、その他のプロセス（処理工程）を適用してもよい。パラメータ形態は、インタリーブされた空間の探究を可能にするので、超平面を探究するのに適合していると考えられる。
幾つかの超平面のバンドル（複数のカメラのためにラドン変換における幾つかの最大値）を含むデータに取り組む複数のカメラの場合、更に複雑なアルゴリズムが用いられることがある。前処理ステップとして、パラメータ（ｍ，ｋ）が、
Figure 2022141637000074
のラドン変換において、全てのピークについて、求められて、１つの組に入れられる。同じことが（ｙ１，ｙ２）におけるピークについて行われて、パラメータが別の１つの組に入れられる。貪欲なアルゴリズムの各々の繰返しにおいて、最大ピーク強度が、（ｘ１，ｘ２）の２Ｄラドン変換において求められて、（ｙ１，ｙ２）における対応するピークが、前に求められたパラメータ（ｍ，ｋ）と一致させることによって、求められる。データが前述の如く保管された後に、これらのピークがラドン変換から取り除かれて、ライト・フィールドに重要なものが残らなくなるまで、次の繰返しが開始される。
以上、具体的な実施形態を参照して本発明を説明したが、本発明は、これらの具体的な実施形態には限定されず、本発明の有効範囲内に在る修正は、当業者に明らかであろう。
上述の実施例を参照すれば、多数の更なる修正と変形が当業者の心にひとりでに浮かぶであろうし、また、これらの実施例は、単に例として記載されており、本発明の有効範囲を制限する意図はなく、本発明の有効範囲は、後述の特許請求の範囲のみによって決定される。特に、相異なる実施形態から得られる相異なる特徴は、適切な場合、入れ替えてもよい。

Claims (13)

  1. 光取得システムのセンサの少なくとも１つの画素が前記光取得システムの瞳を介して検出できる１組の光線によって占められる、前記光取得システムの物体空間におけるボリュームを表すデータを生成する、コンピュータにより実施される方法であって、前記ボリュームは画素ビームと称され、前記方法は、
    前記画素ビームを表すライト・フィールド光線と、前記物体空間における相異なる深度に対応する複数の所与の基準平面との交点を規定する交点データを、前記光取得システムによって捕捉されたライト・フィールド・データから得ること（Ｓ８０３）と、
    ４Ｄ光線図において前記交点データの図式的な表現を規定する光線図パラメータを得ること（Ｓ８０５，Ｓ８０６）と、
    前記画素ビームを表すデータを提供するために、前記光線図パラメータを、前記画素ビームを規定するパラメータに関連付けることと、
    を含む、前記方法。
  2. 前記画素ビームを表すライト・フィールド光線が、前記画素の中心と前記瞳の中心とを通過する直線であり、前記画素ビームを規定するパラメータが、前記物体空間における前記画素の共役の位置およびサイズである、請求項１に記載の方法。
  3. 前記ライト・フィールド光線に対応する前記交点データが、前記光線図においてデータ・ラインとして図式的に表され、前記光線図パラメータには、
    データ・ラインの傾きと、
    データ・ラインと前記光線図の軸との交点と、
    のうちの少なくとも一方を表すデータが含まれる、請求項２に記載の方法。
  4. 前記データ・ラインは、ラドン変換を適用することによって、２Ｄ光線図において検出される、請求項３に記載の方法。
  5. 前記図式的な表現は、デジタル・データ・ラインを提供するセルのマトリクスとして提供され、各々のデジタル・データ・ラインのフォーマットが、前記ラインと軸との交点を表す少なくとも１つの第１のセルと、該ラインの傾きを特定し得る少なくとも１つの第２のセルとの複数のセルによって規定される、請求項３又は４に記載の方法。
  6. 各々の前記デジタル・データ・ラインが、ブレゼンハムのアルゴリズムの適用によって生成される、請求項５に記載の方法。
  7. 前記画素ビームを表すデータが、対応する前記ライト・フィールド光線の色を表す色データを更に備えている、請求項１から７のいずれか１項に記載の方法。
  8. 前記画素ビームを表すデータが、メタデータとして提供され、前記メタデータのヘッダが、２Ｄ光線図において前記交点データの図式的な表現を規定する光線図パラメータを備えており、前記メタデータのボディが、光線の色を表すデータと、前記物体空間における前記画素の共役の位置およびサイズを規定するパラメータと、を備えている、請求項７に記載の方法。
  9. 光取得システムのセンサの少なくとも１つの画素が前記光取得システムの瞳を介して検出できる１組の光線によって占められる、前記光取得システムの物体空間におけるボリュームについてのメタデータを提供する装置であって、前記ボリュームは画素ビームと称され、前記装置は、ライト・フィールド・カメラによって捕捉されたライト・フィールド・データを取得するライト・フィールド・データ取得モジュールと、ライト・フィールド・
    データ生成モジュールとを備え、該ライト・フィールド・データ生成モジュールは、
    前記画素ビームを表すライト・フィールド光線と、互いに平行でありかつ前記物体空間における相異なる深度に対応する複数の所与の基準平面との交点を規定する交点データを、前記取得されたライト・フィールド・データから得て、
    前記取得されたライト・フィールド・データを表すデータを提供するために２Ｄ光線図において前記交点データの図式的な表現を規定する光線図パラメータを得て、
    前記画素ビームを表すデータを提供するために、前記光線図パラメータを、前記画素ビームを規定するパラメータに関連付ける、
    ように構成されている、前記装置。
  10. 規則的な格子構造の状態で配置されたマイクロレンズ・アレイと、
    前記マイクロレンズ・アレイから光センサに投影された光を捕捉するように構成された光センサであって、該光センサは複数の画素組を備えており、各々の画素組は、前記マイクロレンズ・アレイのそれぞれのマイクロレンズと光学的に関連付けられている、前記光センサと、
    請求項９に記載のメタデータを提供する装置と、
    を備えた、ライト・フィールド・イメージング装置。
  11. 請求項１から８のいずれか１項に記載の方法によって得られたライト・フィールド・データから画像を描画する装置。
  12. 光取得システムのセンサの少なくとも１つの画素が前記光取得システムの瞳を介して検出できる１組の光線によって占められる、前記光取得システムの物体空間におけるボリュームを表すデータについてのデータ・パッケージであって、前記ボリュームは画素ビームと称され、前記データ・パッケージは、
    前記画素ビームを表す光線の交点データの、２Ｄ光線図における図式的な表現を規定する光線図パラメータであって、前記交点データは、前記画素ビームを表すライト・フィールド光線と、互いに平行でありかつ前記物体空間における相異なる深度に対応する複数の所与の基準平面との交点を規定している、前記光線図パラメータと、
    前記画素ビームを表すライト・フィールド光線の色を規定する色データと、
    前記物体空間における前記画素の共役の位置およびサイズを規定するパラメータと、
    を有している、前記データ・パッケージ。
  13. プログラム可能な装置用のコンピュータ・プログラム製品であって、該プログラム可能な装置にロードされて実行される際に請求項１から８のいずれか１項に記載の請求項に記載された方法を実施する一連の命令を備えた前記コンピュータ・プログラム製品。
JP2022095978A 2015-09-17 2022-06-14 ライト・フィールドを表すデータを生成する方法および装置 Pending JP2022141637A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15306446.4A EP3144879A1 (en) 2015-09-17 2015-09-17 A method and an apparatus for generating data representative of a light field
EP15306446.4 2015-09-17
JP2016180175A JP2017063414A (ja) 2015-09-17 2016-09-15 ライト・フィールドを表すデータを生成する方法および装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016180175A Division JP2017063414A (ja) 2015-09-17 2016-09-15 ライト・フィールドを表すデータを生成する方法および装置

Publications (1)

Publication Number Publication Date
JP2022141637A true JP2022141637A (ja) 2022-09-29

Family

ID=54252224

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016180175A Ceased JP2017063414A (ja) 2015-09-17 2016-09-15 ライト・フィールドを表すデータを生成する方法および装置
JP2022095978A Pending JP2022141637A (ja) 2015-09-17 2022-06-14 ライト・フィールドを表すデータを生成する方法および装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2016180175A Ceased JP2017063414A (ja) 2015-09-17 2016-09-15 ライト・フィールドを表すデータを生成する方法および装置

Country Status (9)

Country Link
US (1) US10021340B2 (ja)
EP (2) EP3144879A1 (ja)
JP (2) JP2017063414A (ja)
KR (1) KR102583723B1 (ja)
CN (1) CN107018293B (ja)
CA (1) CA2940535A1 (ja)
MX (1) MX357947B (ja)
RU (1) RU2734018C2 (ja)
TW (1) TW201730707A (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10317597B2 (en) * 2014-08-26 2019-06-11 The Board Of Trustees Of The Leland Stanford Junior University Light-field microscopy with phase masking
EP3145168A1 (en) * 2015-09-17 2017-03-22 Thomson Licensing An apparatus and a method for generating data representing a pixel beam
EP3144888A1 (en) * 2015-09-17 2017-03-22 Thomson Licensing An apparatus and a method for generating data representing a pixel beam
JP2018537877A (ja) * 2015-09-17 2018-12-20 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ライトフィールドコンテンツをエンコードする方法
JP7120929B2 (ja) * 2016-06-07 2022-08-17 エアリー３ディー インコーポレイティド 深度取得及び３次元撮像のためのライトフィールド撮像デバイス及び方法
CN106373152B (zh) * 2016-09-18 2019-02-01 清华大学深圳研究生院 一种基于手持式光场相机的距离估计方法
EP3835847A1 (en) * 2018-08-08 2021-06-16 Universitat de Valéncia Plenoptic ocular device
RU2760845C1 (ru) * 2021-02-12 2021-11-30 Федеральное государственное бюджетное военное образовательное учреждение высшего образования "Военно-космическая академия имени А.Ф. Можайского" Министерства обороны Российской Федерации Способ обнаружения и определения характеристик целей на основе регистрации и обработки хода лучей от объектов в наблюдаемом пространстве и устройство для его реализации
WO2022193104A1 (zh) * 2021-03-15 2022-09-22 华为技术有限公司 一种光场预测模型的生成方法及相关装置
CN116070687B (zh) * 2023-03-06 2023-07-04 浙江优众新材料科技有限公司 一种基于全局光线空间仿射变换的神经网络光场表示方法
CN116778068B (zh) * 2023-08-22 2023-11-10 中国电子科技集团公司第十五研究所 基于视点椭球相似特征数的光线采样精确优化方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013145982A (ja) * 2012-01-13 2013-07-25 Canon Inc 撮像装置、画像処理装置及び方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6097394A (en) * 1997-04-28 2000-08-01 Board Of Trustees, Leland Stanford, Jr. University Method and system for light field rendering
US6342917B1 (en) * 1998-01-16 2002-01-29 Xerox Corporation Image recording apparatus and method using light fields to track position and orientation
ES2372515B2 (es) * 2008-01-15 2012-10-16 Universidad De La Laguna Cámara para la adquisición en tiempo real de la información visual de escenas tridimensionales.
US20120249550A1 (en) * 2009-04-18 2012-10-04 Lytro, Inc. Selective Transmission of Image Data Based on Device Attributes
JP2010256291A (ja) * 2009-04-28 2010-11-11 Toyota Motor Corp 距離画像撮影装置
KR101668869B1 (ko) * 2009-05-29 2016-10-28 삼성전자주식회사 거리 센서, 3차원 이미지 센서 및 그 거리 산출 방법
US8749694B2 (en) * 2010-08-27 2014-06-10 Adobe Systems Incorporated Methods and apparatus for rendering focused plenoptic camera data using super-resolved demosaicing
CN104081414B (zh) * 2011-09-28 2017-08-01 Fotonation开曼有限公司 用于编码和解码光场图像文件的系统及方法
CN104303493A (zh) * 2012-05-09 2015-01-21 莱特洛公司 用于改进的光场捕获和操作的光学系统的优化
US8754829B2 (en) * 2012-08-04 2014-06-17 Paul Lapstun Scanning light field camera and display
JP6159097B2 (ja) * 2013-02-07 2017-07-05 キヤノン株式会社 画像処理装置、撮像装置、制御方法、及びプログラム
US9412172B2 (en) * 2013-05-06 2016-08-09 Disney Enterprises, Inc. Sparse light field representation
JP6223169B2 (ja) * 2013-12-19 2017-11-01 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
KR20150127507A (ko) * 2014-05-07 2015-11-17 엘지전자 주식회사 디스플레이 장치 및 디스플레이 장치의 제어 방법
KR102364084B1 (ko) * 2014-10-21 2022-02-17 엘지전자 주식회사 이동단말기 및 그 제어방법
CN104330174B (zh) * 2014-10-23 2017-05-31 北京理工大学 一种用于测量涡旋光束的周期渐变光栅及测量方法
CN104598744B (zh) * 2015-01-27 2017-11-21 北京工业大学 一种基于光场的深度估计方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013145982A (ja) * 2012-01-13 2013-07-25 Canon Inc 撮像装置、画像処理装置及び方法

Also Published As

Publication number Publication date
MX2016011964A (es) 2017-04-25
RU2734018C2 (ru) 2020-10-12
CN107018293B (zh) 2020-11-03
EP3144880B1 (en) 2019-08-21
TW201730707A (zh) 2017-09-01
MX357947B (es) 2018-07-31
US10021340B2 (en) 2018-07-10
EP3144879A1 (en) 2017-03-22
US20170085832A1 (en) 2017-03-23
JP2017063414A (ja) 2017-03-30
RU2016136352A (ru) 2018-03-15
CN107018293A (zh) 2017-08-04
EP3144880A1 (en) 2017-03-22
KR20170035804A (ko) 2017-03-31
CA2940535A1 (en) 2017-03-17
KR102583723B1 (ko) 2023-10-05
RU2016136352A3 (ja) 2020-04-17

Similar Documents

Publication Publication Date Title
JP2022141637A (ja) ライト・フィールドを表すデータを生成する方法および装置
TWI713582B (zh) 產生像素射束表示資料之方法及裝置
EP3398161B1 (en) A method and an apparatus for generating data representative of a pixel beam
KR102585129B1 (ko) 픽셀 빔을 나타내는 데이터를 생성하기 위한 장치 및 방법
JP2019505901A (ja) ピクセルビームを表すデータを生成する方法及び装置
KR102402432B1 (ko) 픽셀 빔을 표현하는 데이터를 생성하기 위한 장치 및 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220714

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220714

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230906

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20231201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240301