JP2018514969A - ライトフィールド・メタデータ - Google Patents

ライトフィールド・メタデータ Download PDF

Info

Publication number
JP2018514969A
JP2018514969A JP2017546605A JP2017546605A JP2018514969A JP 2018514969 A JP2018514969 A JP 2018514969A JP 2017546605 A JP2017546605 A JP 2017546605A JP 2017546605 A JP2017546605 A JP 2017546605A JP 2018514969 A JP2018514969 A JP 2018514969A
Authority
JP
Japan
Prior art keywords
light field
field data
data
lfml
metadata
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017546605A
Other languages
English (en)
Other versions
JP2018514969A5 (ja
Inventor
ボアソン，ギローム
セフイ，モズデ
ヴアンダーム，ブノア
サバテール，ネウス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2018514969A publication Critical patent/JP2018514969A/ja
Publication of JP2018514969A5 publication Critical patent/JP2018514969A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/229—Image signal generators using stereoscopic image cameras using a single 2D image sensor using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Library & Information Science (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

キャプチャされたライトフィールド・データに関するメタデータを提供する方法は、ライトフィールド・データをキャプチャするために使用されるライトフィールド・カメラと、ライトフィールド・データから得られたビューのマトリックスと、ライトフィールド・データから得られたフォーカル・スタックと、のうちの少なくとも１つの特性を記述するメタデータを集約するデータ・フォーマットを提供することを含む。【選択図】図４

Description

本発明は、ライトフィールド・データに関するメタデータおよびライトフィールド・データの処理に関する。
従来のカメラは、可視光に感光する２次元センサ装置上で３次元シーンからの光をキャプチャする。このような撮像装置上で使用される感光技術は、多くの場合、例えば、電荷結合素子（ＣＣＤ）または相補型金属酸化膜半導体（ＣＭＯＳ）技術などのような、光子を電子に変換可能な半導体技術に基づいている。例えば、ディジタル画像フォトセンサは、通常、各々が入来する光をキャプチャするように構成されている感光セルのアレイを含む。空間情報を提供する２Ｄ画像は、画像センサ装置の各感光セルによってキャプチャされる光の総量の測定値から取得される。２Ｄ画像によって、光の強度についての情報およびフォトセンサの空間ポイントでの光の色についての情報を提供できるが、その一方で、入来する光の方向についての情報は何ら提供されない。
ライトフィールド・カメラ（放射キャプチャ・カメラとしても知られる）は、２Ｄ空間情報に加えて、入来する光線についての方向情報を提供できる。方向情報は、多くの場合、画像センサに関連付けられたマイクロレンズ・アレイ（ＭＬＡ）とも呼ばれる、マイクロレンズのアレイを使用して取得することができる。例えば、ライトフィールド・アレイ・カメラは、マイクロレンズ・アレイおよびフォトセンサを備える。プレノプティック・カメラは、ＭＬＡ上に光を集光する主レンズおよびＭＬＡに関連付けられたフォトセンサを備える。ライトフィールド・カメラの他の構成においては、各々が自己のレンズおよびセンサを備える複数のカメラを使用してライトフィールド・データを取得することができる。
ライトフィールドは、シーン内の複数の異なる点での複数の異なる方向から光を特徴付ける４Ｄ関数として定義されることが多い。光線の方向分布についての情報は、通常、ライトフィールド・データまたは４Ｄデータと呼ばれる。この情報は、４つのパラメータ、すなわち、２次元位置情報および２次元角度情報を提供するため、方向分布は４次元（４Ｄ）関数に対応する。ライトフィールドは、シーンの複数の２Ｄ画像を２次元に集めたものと解釈することができる。
取得されたライトフィールド・データは、例えば、シーンのリフォーカスされた画像を生成するため、複数の異なる視点からの画像を生成するため、キャプチャされたシーンについての深度情報を提供するため、または、３Ｄ画像を生成するためなど、多くのアプリケーションのために処理することができる。
ライトフィールド・カメラから取得されたデータは、様々なアプリケーションで適切に利用できるように、適切に管理されるとよい。
本発明は、上記の点を考慮してなされたものである。
本発明の第１の態様によれば、キャプチャされたライトフィールド・データに関するメタデータを提供する方法が提供される。この方法は、ライトフィールド・データをキャプチャするために使用されるライトフィールド・カメラと、ライトフィールド・データから得られたビューのマトリックスと、ライトフィールド・データから得られたフォーカル・スタックと、のうちの少なくとも１つの特性を記述するメタデータを集約するデータ・フォーマットを提供することを含む。
一実施形態においては、この方法は、ライトフィールド・データをキャプチャするために使用されるライトフィールド・カメラと、ライトフィールド・データから得られたビューのマトリックスと、ライトフィールド・データから得られたフォーカル・スタックと、の少なくとも１つの特性を記述するライトフィールド・データ・メタデータを取得することと、メタデータによって提供される情報に基づいてライトフィールド・データをレンダリングすることと、を含む。
一実施形態においては、メタデータは、ライト画像ファイルに集約される。
一実施形態においては、メタデータは、ＸＬＭに準拠したマークアップ言語で規定される。
一実施形態においては、ライトフィールド・データをキャプチャするために使用されるライトフィールド・カメラの特性を記述するメタデータは、
ライトフィールド・カメラのフォトセンサと、
ライトフィールド・カメラの主レンズと、
ライトフィールド・カメラのマイクロレンズ・アレイと、
のライトフィールド・カメラの技術的な特徴のうちの１つ以上を規定するデータを含む。
一実施形態においては、ライトフィールド・カメラのフォトセンサを記述するメタデータは、
フォトセンサの空間解像度と、
フォトセンサのカラー・フィルタのカラー・サンプリングと、
フォトセンサのカラー・フィルタの透過率と、
フォトセンサの画素のダイナミック・レンジと、
画素によって出力される信号と入来する光との非線形的な関係を規定する色変換行列と、
フォトセンサの２つの隣接する画素間のピッチと、
非正方形の画素の形状比を規定するスケールファクタと、
のうちの１つ以上のパラメータを表すデータを含む。
一実施形態においては、ライトフィールド・カメラの主レンズを記述するメタデータは、
主レンズの焦点距離と、
瞳と焦点距離との比と、
主レンズの口径食モデルと、
のうちの１つ以上のパラメータを表すデータを含む。
一実施形態においては、ライトフィールド・カメラのマイクロレンズ・アレイを記述するメタデータは、
マイクロレンズ・アレイのパターンと、
マイクロレンズ・アレイ上に配列されたカラー・フィルタのパターンと、
マイクロレンズ・アレイの２つの隣接するマイクロレンズの間のピッチと、
マイクロレンズの形状比を規定するスケールファクタと、
キャリブレーションされたマイクロレンズ中心の数と、
１つ以上のマイクロレンズ中心の空間座標と、
のうちの１つ以上のパラメータを表すデータを含む。
一実施形態においては、ライトフィールド・データから得られたビューのマトリックスの特性を記述するメタデータは、
アレイにおけるビューの数と、
１つまたは各ビューの空間解像度と、
ビューにおいて利用可能な色と、
ビューの参照点の空間座標と、
ビューの水平焦点距離および垂直焦点距離と、
のうちの１つ以上のパラメータを表すデータを含む。
一実施形態においては、ライトフィールド・データから得られたフォーカル・スタックの特性を記述するメタデータは、
フォーカル・スタックにおけるフォーカスされたピクチャの数と、
フォーカスされたピクチャの空間解像度と、
フォーカスされたピクチャの焦点距離と、
のうちの１つ以上のパラメータを表すデータを含む、
本発明の第２の形態は、キャプチャされたライトフィールド・データに関するメタデータを提供する装置を提供する。この装置は、
ライトフィールド・カメラによってキャプチャされたライトフィールド・データを取得するライトフィールド・データ取得モジュールと、
ライトフィールド・データをキャプチャするために使用されるライトフィールド・カメラと、
ライトフィールド・データから得られたビューのマトリックスと、
ライトフィールド・データから得られたフォーカル・スタックと、
のうちの少なくとも１つの特性を記述する集約メタデータを提供するデータフォーマッタと、を含む。
本発明の第３の態様は、ライトフィールド撮像装置を提供する。ライトフィールド撮像装置は、
規則的な格子構造に配列されたマイクロレンズのアレイと、
マイクロレンズのアレイからフォトセンサ上に投影された光をキャプチャするように構成されたフォトセンサであって、各々の組がマイクロレンズのアレイの各々のマイクロレンズに光学的に関連付けられた複数の組の画素を含む、フォトセンサと、
キャプチャされたライトフィールド・データに関するメタデータを提供する装置とを含み、このメタデータを提供する装置は、
ライトフィールド・カメラによってキャプチャされたライトフィールド・データを取得するライトフィールド・データ取得モジュールと、
ライトフィールド・データをキャプチャするために使用されるライトフィールド・カメラと、
ライトフィールド・データから得られたビューのマトリックスと、
ライトフィールド・データから得られたフォーカル・スタックと、
のうちの少なくとも１つの特性を記述する集約メタデータを提供するデータフォーマッタと、を含む。
本発明のさらなる態様は、
ライトフィールド・データをキャプチャするために使用されるライトフィールド・カメラと、
ライトフィールド・データから導出されたビューのマトリックスと、
ライトフィールド・データから導出されたフォーカル・スタックと、
のうちの少なくとも１つの特性を記述するメタデータを使用してライトフィールド・データからの画像をレンダリングする装置を提供する。この装置は、
プロセッサと、レンダリング・アプリケーション、ライトフィールド・データおよびメタデータを含むメモリとを含み、レンダリング・アプリケーションは、プロセッサに、メタデータにおいて提供された情報に基づいてライトフィールド・データをレンダリングさせるように構成されている。
本発明の別の態様は、
ライトフィールド・カメラからキャプチャされたライトフィールド・データと、
ライトフィールド・データをキャプチャするために使用されるライトフィールド・カメラと、
ライトフィールド・データから得られたビューのマトリックスと、
ライトフィールド・データから得られたフォーカル・スタックと、
の少なくとも１つの特性を記述するメタデータとを含む、データ・パッケージを提供する。
本発明の別の態様によれば、ライトフィールド・データを処理する方法が提供される。この方法は、第１のライトフィールド・データ・フォーマットを、この第１のライトフィールド・データ・フォーマットとは異なる第２のライトフィールド・データ・フォーマットに変換することを含み、この変換は、ライトフィールド・データを記述するメタデータから取得されるパラメータを使用して実行される。第１のライトフィールド・データ・フォーマットおよび第２のライトフィールド・データ・フォーマットは、ライトフィールド・カメラによってキャプチャされた生のライトフィールド・データ、サブアパーチャ画像のマトリックス、およびフォーカル・スタックからなる群より選択される。
本発明のさらに別の態様は、プロセッサと、フォーマット変換アプリケーションを含むメモリとを含むライトフィールド・データを処理する装置を提供する。フォーマット変換アプリケーションは、プロセッサに対し、第１のライトフィールド・データ・フォーマットを、この第１のライトフィールド・データ・フォーマットとは異なる第２のライトフィールド・データ・フォーマットに変換させるように構成され、この変換は、ライトフィールド・データを記述するメタデータから取得されるパラメータを使用して実行され、第１のライトフィールド・データ・フォーマットおよび第２のライトフィールド・データ・フォーマットは、ライトフィールド・カメラによってキャプチャされた生のライトフィールド・データ、サブアパーチャ画像のマトリックス、およびフォーカル・スタックからなる群より選択される。
一実施形態においては、メモリは、レンダリング・アプリケーションをさらに含み、レンダリング・アプリケーションは、プロセッサに対し、メタデータに提供された情報に基づいてライトフィールド・データをレンダリングさせるように構成される。
本発明のさらなる態様は、ライトフィールド撮像装置を提供する。このライトフィールド撮像装置は、規則的な格子構造に配列されたマイクロレンズのアレイと、マイクロレンズのアレイからフォトセンサ上に投影された光をキャプチャするように構成されたフォトセンサであって、各々の組がマイクロレンズのアレイの各々のマイクロレンズに光学的に関連付けられた複数の組の画素を含む、フォトセンサと、プロセッサおよびフォーマット変換アプリケーションを含むメモリを含んだライトフィールド・データを処理する装置と、を含み、フォーマット変換アプリケーションは、プロセッサに対し、第１のライトフィールド・データ・フォーマットを、この第１のライトフィールド・データ・フォーマットとは異なる第２のライトフィールド・データ・フォーマットに変換させるように構成され、この変換は、ライトフィールド・データを記述するメタデータから取得されるパラメータを使用して実行され、第１のライトフィールド・データ・フォーマットおよび第２のライトフィールド・データ・フォーマットは、ライトフィールド・カメラによってキャプチャされた生のライトフィールド・データ、サブアパーチャ画像のマトリックス、およびフォーカル・スタックからなる群より選択される。
一実施形態においては、ライトフィールド・メタデータは、ライトフィールド・データをキャプチャするために使用されるライトフィールド・カメラと、ライトフィールド・データから得られたサブアパーチャ画像のマトリックスと、ライトフィールド・データから得られたフォーカル・スタックと、のうちの少なくとも１つの特性を記述する。
一実施形態においては、第１のライトフィールド・データ・フォーマットは、ライトフィールド・カメラによってキャプチャされる、生のライトフィールド・データであり、生のライトフィールド・データは、マイクロ画像のアレイを含み、各マイクロ画像は、マイクロレンズ・アレイの各々のマイクロレンズによって投影され、第２のライトフィールド・フォーマットは、サブアパーチャ画像のマトリックスであり、各サブアパーチャ画像は、マイクロ画像の同じ位置にあるサンプルから生成され、焦点距離およびサブアパーチャ画像のマトリックスの軸間ベースライン距離の少なくとも一方は、メタデータに含まれるライトフィールド・カメラの技術的なパラメータを使用して得られる。
一実施形態においては、焦点距離は、ライトフィールド・カメラの主レンズの焦点距離と、ライトフィールド・カメラのフォトセンサの水平およびスケールファクタと、フォトセンサの画素ピッチと、のうちの少なくとも１つから得られる。
一実施形態においては、軸間ベースラインは、ライトフィールド・カメラのフォトセンサのスケールファクタと、フォトセンサの画素ピッチと、マイクロレンズ・アレイのピッチと、マイクロレンズ・アレイのスケールファクタと、のうちの少なくとも１つから得られる。
一実施形態においては、サブアパーチャ画像Ｖｋ，ｌの外部行列は、以下の回転Ｒ行列および平行移動Ｔ行列から構成される。
Figure 2018514969
 ここで、ｂｘおよびｂｙは、各々が水平軸間ベースライン距離および垂直軸間ベースライン距離であり、ｋおよびｌは、整数である。
一実施形態においては、第１のライトフィールド・データ・フォーマットは、ライトフィールド・カメラによってキャプチャされる、生のライトフィールド・データであり、生のライトフィールド・データは、マイクロ画像のアレイを含み、各マイクロ画像は、マイクロレンズ・アレイの各々のマイクロレンズによって投影され、第２のライトフィールド・フォーマットは、フォーカル・スタックであり、フォーカル・スタックは、生のライトフィールド・データのシフトされたマイクロ画像をスプラットすることによって計算され、フォーカスされた画像の焦点距離は、主レンズの焦点距離、フォトセンサの画素ピッチ、およびマイクロレンズ・アレイのレンズ・ピッチのうちの少なくとも１つから得られる。
一実施形態においては、焦点距離は、以下の式に基づいて求められる。
Figure 2018514969
 ここで、ｗは、フォーカスされたピクチャを規定するシフトを表し、Ｆは、主レンズの焦点距離であり、
Figure 2018514969
 は、マイクロレンズの直径に対応するフォトセンサの画素の数であり、ｒμＬは、ライトフィールド・カメラのマイクロレンズ・ピッチを表し、ｒｐは、ライトフィールド・カメラのフォトセンサ・ピッチを表す。
一実施形態においては、導出された焦点距離は、メタデータに含まれる。
一実施形態においては、第１のライトフィールド・データ・フォーマットは、サブアパーチャ画像のマトリックスであり、第２のライトフィールド・データ・フォーマットは、フォーカル・スタックである。フォーカル・スタックは、シフトされたサブアパーチャ画像をスプラットすることによって計算され、フォーカリゼーション輻輳は、焦点距離と、サブアパーチャ画像のマトリックスの軸間ベースライン距離と、のうちの少なくとも１つから得られる。
一実施形態においては、フォーカリゼーション輻輳ｖは、以下によって求められる。
Figure 2018514969
 ここで、ｂｘおよびｂｙは、軸間ベースライン距離であり、ｆｘおよびｆｙは、サブアパーチャ画像のマトリックスの焦点距離であり、ｄは、潜在する視差である。
本発明のさらなる態様は、メモリと、１つ以上のプロセッサと、メモリに記憶され、１つ以上のプロセッサによって実行されるように構成された１つ以上のモジュールとを含む電子装置を提供する。１つ以上のモジュールは、本発明の実施形態に従って、ライトフィールド・データを処理またはフォーマット化するための命令を含む。
本発明のさらなる態様は、命令を含むコンピュータ可読メモリを提供し、この命令は、ポータブル装置のプロセッサによって実行されたときに、この装置に、本発明の実施形態に従って、ライトフィールド・データを処理またはフォーマットする命令を含む処理を実行させる。
本発明の要素によって実施される処理の中には、コンピュータによって実施されるものがある。したがって、このような要素は、完全にハードウェアの実施形態で実施することも、（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）完全にソフトウェアの実施形態で実施することも、ソフトウェアおよびハードウェアの態様を組み合わせた実施形態で実施することもでき、これらは、全て、本明細書において、一般的に、「回路」、「モジュール」、または、「システム」と称することがある。さらに、このような要素は、任意の有体物としての媒体であって、内部にコンピュータが使用可能なプログラム・コードが実装された表現を有する媒体において実施されるコンピュータ・プログラム・プロダクトの形態で実施することができる。
本発明の要素は、ソフトウェアにおいて実施することができるため、本発明は、任意の適切な担持媒体上でプログラム可能な装置に提供されるコンピュータ可読コードとして実施することができる。有体物としての担持媒体には、フロッピー・ディスク、ＣＤ−ＲＯＭ、ハードディスク・ドライブ、磁気テープ装置、または、ソリッドステート・メモリ装置などが含まれる。一時的な搬送媒体には、電気信号、電子信号、光学信号、音響信号、磁気信号、電磁信号、例えば、マイクロ波またはＲＦ信号などの信号が含まれる。
次に、本発明の実施形態を以下の添付図面を参照して、例示的な目的のみで、説明する。
本発明の第１の実施形態によるライトフィールド・カメラの模式図である。 本発明の第２の実施形態によるライトフィールド・カメラの模式図である。 本発明の実施形態によるライトフィールド・カメラの機能図である。 本発明の実施形態によるライトフィールド・データ・フォーマッタおよびライトフィールド・データ・プロセッサの機能図である。 フォトセンサ・アレイ上に形成された２Ｄライトフィールド画像の例を示す図である。 本発明の実施形態によるライトフィールド・データのフォーマット化および処理のステップの例を示す図である。 本発明の実施形態に係るデータ・ファイルの例を示すスクリーン・ショットである。 本発明の実施形態に係るデータ・ファイルの例を示すスクリーン・ショットである。
ライトフィールド・カメラは、通常、ピクセルのアレイから構成されるセンサ上の４Ｄライトフィールドを記録するために使用される。４Ｄライトフィールド・データは、入来する光上の２次元空間情報および２次元角度情報を提供する。このようなライトフィールド・カメラの例としては、以下のようなものが挙げられる。図１Ａに示されているような、主レンズ１０１、レンズ１１０のアレイ、およびフォトセンサ１２０を含むプレノプティック・カメラ１００、または、図１Ｂに示されているような、主レンズを有していない、レンズ２１０のアレイおよびフォトセンサ２２０を含むマルチカメラ・アレイ。マルチアレイ・カメラは、主レンズが無限焦点を有するプレノプティック・カメラの特別な場合と考えることができる。
本発明の実施形態は、フォーマット変換、リフォーカス、視点変化、および３Ｄ画像生成などのさらなる処理アプリケーションのためのライトフィールド・データのフォーマット化を提供する。
図１Ａは、本発明の１つ以上の実施形態が適用されるライトフィールド・カメラの模式図である。
図１Ａのライトフィールド・カメラ１００は、マイクロレンズ・アレイ１１０およびこのマイクロレンズ・アレイ１１０に関連付けられた画像センサ１２０を含むプレノプティック・タイプのライトフィールド・カメラである。さらに、選択可能な光量の光がライトフィールド・カメラに入ることができるようにする開口部１０２など、光学部を設けることができる。レンズ構造は、さらに、マイクロレンズ・アレイ１１０に光を集光させる主（対物）レンズ１０１を含む。
マイクロレンズ・アレイ１１０は、規則的な格子構造のマイクロレンズ１１１，１１２，１１３，・・・１１ｎが配列されたアレイから構成される。例えば、この構造は、行および列の矩形の格子とすることができる。マイクロレンズ・アレイは、レンズレット・アレイと呼ばれることもある。例示的な目的で、比較的小さな数のマイクロレンズを有するマイクロ・アレイ１１０が示されているが、マイクロレンズの数は、数千、または数百万にも達することがあることが理解できよう。
場合によっては、画像センサ１２０で、マイクロレンズからの光が、マイクロレンズ・アレイ１１０の他のマイクロレンズの光と重複しないようにするために、スペーサを、マイクロレンズ・アレイ１１０と画像センサ１２０との間に、マイクロレンズ・アレイ１１０の各マイクロレンズの周囲に配置してもよい。
画像センサは、格子構造に配列されたｍ個のフォトセンサ１２１，１２２，１２３，１２４・・・１２ｍから構成されたフォトセンサ・アレイ１２０を含む。例えば、この構造は、行および列の矩形の格子に配列された構造とすることができる。各フォトセンサ１２１，１２２，１２３，１２４・・・１２ｍは、フォトセンサ・アレイ１２０によってキャプチャされたシーンの生の画像（ｒａｗ ｉｍａｇｅ）の画素または画素群に対応し、各画素は、シーンの部分（点とも呼ばれる）を示している。例示的な目的で、フォトセンサ・アレイ１２０は、比較的に少数のフォトセンサ１２１〜１２１ｍを有するように示されている。しかしながら、フォトセンサの数は、図１Ａに例示されたものに限られるものではなく、どのような数のフォトセンサ、例えば、数千または数百万のフォトセンサに拡張可能であることが理解できよう。示されている例においては、１２．４メガピクセルの画像が４０８８×３０４０画素／フォトセンサのアレイによって提供される。例えば、画像センサは、電荷結合素子（ＣＣＤ）とすることができる。
マイクロレンズ・アレイ１１０のマイクロレンズ１１１，１１２，１１ｎは、各マイクロレンズがフォトセンサ・アレイ１２０のフォトセンサに光学的に関連付けられるように配列されている。一般的には、フォトセンサ・アレイ１２０は、マイクロレンズ・アレイのピッチよりも細かいピッチを有する。したがって、各マイクロレンズは、フォトセンサ・アレイ１２０の複数のフォトセンサと関連付けられる。マイクロレンズとフォトセンサ群との間の光学的な関連付けは、所与のマイクロレンズを通過する光線が、所与のマイクロレンズに光学的に関連付けられているフォトセンサ群のうちの少なくとも１つのフォトセンサに達することを示すものである。
主レンズ１０１とフォトセンサ１２０との間にマイクロレンズ・アレイ１１０を配置することで、結果として、複数の画像がフォトセンサ・アレイ１２０上に形成されることとなる。マイクロレンズ・アレイ１１０の各マイクロレンズは、各画像をフォトセンサ・アレイ１２０の関連付けられたフォトセンサ上に投影する。したがって、画像センサ１２０によってキャプチャされた生の画像は、例えば、図３に例示されているような、通常、マイクロ画像と呼ばれる小さな画像のアレイから構成される。各マイクロ画像は、異なる視点からの部分的な視野に対応し、マイクロレンズ・アレイのマイクロレンズに対応する。フォトセンサ１２０の各画素は、２つの次元がセンサ上の自己の空間的な位置を特定し、２つの次元が、画素の属するマイクロ画像内での画素の２Ｄ位置に従って、この画素に入射する光の角度または方向情報を特定する、４Ｄライトフィールド座標に対応するものと考えることができる。
カラー・フィルタ・アレイ（ＣＦＡ）は、場合によっては、マイクロレンズ・アレイ１１０上、または、フォトセンサ・アレイ１２０上に配列させてもよい。ＣＦＡは、通常、フォトセンサまたはマイクロセンサ・センサ上のＲＧＢ（赤、緑、および青）のカラー・フィルタを配列させる。ＲＧＢ配列は、例えば、ベイヤーフィルタ・モザイクの形態をとる。１つのカラー・フィルタ（赤、緑、または青フィルタ）は、ベイヤーフィルタの例では、５０％緑、２５％赤、および２５％青を含む、所定のパターンに従ったＭＬＡに関連付けることができる。このようなパターンは、ＲＧＢＧ、ＧＲＧＢ、またはＲＧＧＢパターンとも呼ばれる。マイクロレンズ・アレイ１１０またはフォトセンサ・アレイ１２０上のカラー・フィルタの配列は、ＲＧＧＢパターンに限定されないことが理解できよう。他の実施形態においては、所定のパターンは、（４つのカラー・フィルタのブロックに対して）緑フィルタのうちの１つが「エメラルド」に変更されているＲＧＢＥパターンでもよく、（４つのカラー・フィルタのブロックに対して）１つの「シアン」フィルタ、２つの「黄」フィルタ、１つの「マゼンタ」フィルタを用いたＣＹＹＭパターンでもよく、１つの「シアン」フィルタ、１つの「黄」フィルタ、１つの「緑」フィルタ、および１つの「マゼンタ」フィルタを用いたＣＹＧＭパターンでもよく、１つの「赤」フィルタ、１つの「緑」フィルタ、１つの「青」フィルタ、および１つの「白」フィルタを用いたＲＧＢＷパターンでもよく、幾つかの配列構成が可能である（例えば、左上のフィルタに対して「白」、右上のフィルタに対して「赤」、左下のフィルタに対して「青」、および右下のフィルタに対して「緑」が存在する４つのカラー・フィルタのブロック上に配列され、または、第１のラインに対しては、「白」、「青」、「白」、「緑」、第１のラインの下の第２のラインに対しては、「青」、「白」、「緑」、「白」、第２のラインの下の第３のラインに対しては、「白」、「緑」、「白」、「赤」、第３のラインの下の第４のラインに対しては、「緑」、「白」、「赤」、「白」が配列される）。
マイクロレンズ・アレイとフォトセンサ・アレイとの間のギャップは、空気、屈折率ｎを有する光学材料（例えば、ガラス層）、または、少なくとも１つの空気層および少なくとも１つの光学材料層を含む複数の層からなる。ギャップを形成するためにガラス層を使用した場合には、フォトセンサ・アレイ１２０全体にわたって均一に、マイクロレンズ・アレイ１１０のフォトセンサ・アレイ１２０からの距離を一定に維持し、さらに、この距離を必要な場合に減少できるという利点が得られる。ｄがマイクロレンズ・アレイ１１０の出力部とフォトセンサ・アレイ１２０と間の長軸に沿った距離である場合には、マイクロレンズ・アレイ１１０とフォトセンサ・アレイ１２０との間で屈折率ｎ（ｎ＞１、例えば、ｎ＝１．５）を有する光学材料から構成される層を有することで、距離ｄを変更することなく、距離をｄ／ｎに設定可能である。ギャップを形成する層の光学材料の屈折率を適応化／変更することによって、距離ｄを変更することなく、マイクロレンズ・アレイ１１０とフォトセンサ・アレイ１２０との間の距離を表すパラメータを適応化／変更することが可能である。
図１Ｂは、本発明の第２の実施形態によるライトフィールド・カメラの模式図である。
本発明の第２の実施形態によるライトフィールド・カメラ２００は、マイクロレンズ・アレイ２１０およびこのマイクロレンズ・アレイ２１０に関連付けられた画像センサ２２０を含むマルチカメラ・アレイ・タイプのライトフィールド・カメラである。本実施形態においては、マイクロレンズ・アレイ２１０に光を集光する主レンズ２０１が存在しない。フォトセンサ・アレイ２２０およびマイクロレンズ・アレイ２１０のような要素は、図１Ａのプレノプティック・タイプのカメラの対応する要素と同じように動作する。主な差違は、主レンズが図１Ｂの実施形態には存在しない点である。各マイクロ画像は、異なる視点からの視野全体に対応する。
図２Ａは、本発明の実施形態によるライトフィールド・カメラ装置のブロック図である。ライトフィールド・カメラは、図１Ａのライトフィールド・カメラの通りに、開口部／シャッタ１０２、主（対物）レンズ１０１、マイクロレンズ・アレイ１１０、およびフォトセンサ・アレイ１２０を含む。実施の形態によっては、ライトフィールド・カメラは、被写体またはシーンのライトフィールド画像をキャプチャするように駆動されるシャッタ・リリースを含む。この機能的な特徴が図１Ｂのライトフィールド・カメラに対しても適用されることが理解されよう。
フォトセンサ・アレイ１２０は、ライトフィールド・データ・フォーマット化モジュール１５０によって、および／または、ライトフィールド・データ・プロセッサ１５５によって、ライトフィールド・データ・フォーマットの生成のために、ライトフィールド（ＬＦ）・データ取得モジュール１４０によって取得されたライトフィールド画像データを出力する。ライトフィールド・データは、取得後、そして処理後に、サブアパーチャ（ｓｕｂ−ａｐｅｒｔｕｒｅ）画像またはフォーカル・スタックとして、生データのフォーマットでメモリ１９０に記憶することができる。
示されている例においては、ライトフィールド・フォーマット化モジュール１５０およびライトフィールド・データ・プロセッサ１５５は、ライトフィールド・カメラ１００内に設けられるか、ライトフィールド・カメラ１００内に組み込まれている。本発明の他の実施形態においては、ライトフィールド・フォーマット化モジュール１５０および／またはライトフィールド・データ・プロセッサ１５５を、ライトフィールド・キャプチャ・カメラの外部に別体の部品として設けてもよい。別体の部品は、ライトフィールド画像キャプチャ装置に対して、ローカルに設けられていてもよいし、リモートに設けられていてもよい。フォーマット化モジュール１５０またはライトフィールド・データ・プロセッサ１５５にライトフィールド画像データを送信するために、任意の適切な無線または有線プロトコルを使用できることが理解できよう。例えば、ライトフィールド・データ・プロセッサは、キャプチャされたライトフィールド画像データおよび／または他のデータを、インターネット、携帯電話データ・ネットワーク、ＷｉＦｉネットワーク、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信プロトコル、および／または他の適切な手段を通じて転送することができる。
ライトフィールド・データ・フォーマット化モジュール１５０は、ライトフィールド・データをキャプチャするために使用されるライトフィールド・カメラ、ライトフィールド・データから得られたビューのマトリックス、およびライトフィールド・データから得られたフォーカル・スタックのうちの少なくとも１つの特性を記述するメタデータを集約し、本発明の実施形態に従って、取得されたライトフィールドを表すデータを生成するように構成されている。ライトフィールド・データ・フォーマット化モジュール１５０は、ソフトウェア、ハードウェア、または、ソフトウェアおよびハードウェアを組み合わせたもので実施することができる。
ライトフィールド・データ・プロセッサ１５５は、例えば、本発明の実施形態に従って、フォーカル・スタックまたはビューのマトリックスを生成するために、ライトフィールド（ＬＦ）データ取得モジュール１４０から直接受信した生のライトフィールド画像データに対する処理を行うように構成される。例えば、キャプチャされたシーンの静止画像、２Ｄビデオ・ストリームなどのような他の出力データを生成することができる。ライトフィールド・データは、ソフトウェアで実施することもできるし、ハードウェアで実施することもできるし、ソフトウェアおよびハードウェアを組み合わせて実施することもできる。
少なくとも一実施形態においては、ライトフィールド・カメラ１００には、ユーザがコントローラ１７０によってカメラ１００の制御動作に対するユーザ入力を行えるようにするユーザ・インタフェース（ＵＩ）１６０を含めることができる。カメラの制御には、シャッタ速度のようなカメラの光学的パラメータの制御、または、調節可能なライトフィールド・カメラの場合には、マイクロレンズ・アレイとフォトセンサと間の相対距離または対物レンズとマイクロレンズ・アレイとの間の相対距離の制御のうちの１つ以上を含めることができる。実施形態によっては、ライトフィールド・カメラの光学素子間の相対距離を手動で調節することができる。カメラの制御には、他のライトフィールド・データ取得パラメータ、ライトフィールド・データ・フォーマット化パラメータ、またはカメラのライトフィールド処理パラメータの制御を含めることもできる。ユーザ・インタフェース１６０には、タッチスクリーン、ボタン、キーボード、ポインティング装置などの、任意の適切なユーザ入力装置を含めることができる。このようにして、ユーザ・インタフェースによって受信された入力は、データ・フォーマット化を制御するためのＬＦデータ・フォーマット化モジュール１５０、取得されたライトフィールド・データの処理を制御するためのＬＦデータ・プロセッサ１５５、およびライトフィールド・カメラ１００を制御するためのコントローラ１７０を制御および／または構成設定するために使用することができる。
ライトフィールド・カメラは、１つ以上の交換可能または充電可能なバッテリなど、電源１８０を含む。ライトフィールド・カメラは、キャプチャされたライトフィールド・データおよび／またはレンダリングされた最終的な画像、または、本発明の実施形態の方法を実施するためのソフトウェアなどの他のデータを記憶するためのメモリ１９０を含む。メモリには、外部メモリおよび／または内部メモリを含めることができる。少なくとも１つの実施形態においては、メモリは、カメラ１００とは別個の装置に設けることもできるし、且つ／または、カメラ１００とは別個の位置に設けることもできる。一実施形態においては、メモリは、メモリ・スティックなどの着脱可能な／交換可能な記憶装置を含む。
ライトフィールド・カメラには、キャプチャを行う前にカメラの前方のシーンを視聴するための、且つ／または、以前にキャプチャされた画像および／または以前にレンダリングされた画像を視聴するための、表示部（ディスプレイ・ユニット）１６５（例えば、ＬＣＤ画面）を含めることができる。画面１６５は、ユーザに対して１つ以上のメニューまたは他の情報を表示するために使用してもよい。ライトフィールド・カメラは、ファイア・ワイア（ＦｉｒｅＷｉｒｅ）またはユニバーサル・シリアル・バス（ＵＳＢ）・インタフェース、またはインターネットを介したデータ通信のための無線インタフェースまたは有線インタフェース、携帯電話データ・ネットワーク、ＷｉＦｉネットワーク、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信プロトコル、および／または他の任意の適切な手段など、１つ以上のＩ／Ｏインタフェース１９５をさらに含んでいてもよい。Ｉ／Ｏインタフェース１９５は、レンダリング・アプリケーションのためのコンピュータ・システムまたはディスプレイ・ユニットなどの外部機器との、本発明の実施形態に従ったＬＦデータ・フォーマット化モジュールによって生成されたライトフィールドを表すデータおよび生のライトフィールド・データなどのライトフィールド・データ、または、ＬＦデータ・プロセッサ１５５によって処理されたデータのデータ転送のために使用することができる。
図２Ｂは、ライトフィールド・データ・フォーマット化モジュールおよびライトフィールド・データ・プロセッサの想定可能な実施態様の一実施形態を例示するブロック図である。
回路３００は、メモリ３９０、メモリ・コントローラ３４５、および１つ以上の処理ユニット（ＣＰＵ）を含む処理回路３４０を含む。１つ以上の処理ユニット３４０は、メモリ３９０に記憶された様々なソフトウェア・プログラムおよび複数組の命令を実行して、ライトフィールド・データ・フォーマット化およびライトフィールド・データ処理を含む、様々な機能を実行するように構成されている。メモリに記憶されたソフトウェア・コンポーネントは、本発明の実施形態に従って取得されたライト・データを表すデータを生成するデータ・フォーマット化モジュール（または１組の命令）３５０と、本発明の実施形態に従ってライトフィールド・データの或るフォーマットを別の異なるライトフィールド・データのフォーマットに変換するフォーマット変換モジュール（または１組の命令）３５５５を含む、本発明の実施形態に従ってライトフィールド・データを処理するライトフィールド・データ処理モジュール（または１組の命令）３５５と、を含む。一般的なシステム・タスク（例えば、省電力管理、メモリ管理）を制御し、装置３００の様々なハードウェア・コンポーネントとソフトウェア・コンポーネントとの間の通信を容易にするオペレーティング・システム・モジュール３５１およびＩ／Ｏインタフェース・ポートを介して他の装置との通信を制御および管理するインタフェース・モジュール３５２など、ライトフィールド・カメラ装置のアプリケーションのためのメモリに他のモジュールを含めることができる。
図３は、図１Ａのフォトセンサ・アレイ１２０上、または、図１Ｂのフォトセンサ・アレイ２２０上に形成された２Ｄ画像の例を示している。画像は、複数のマイクロ画像ＭＩのアレイで構成される。各マイクロ画像は、マイクロレンズ・アレイ１１０，２１０の各々のマイクロレンズ（ｉ，ｊ）によって生成される。マイクロ画像は、軸ｉおよびｊによって規定される矩形の規則的な格子構造のアレイに配列されている。マイクロレンズ画像は、各々のマイクロレンズ座標（ｉ，ｊ）によって参照される。フォトセンサ１２０，２２０の画素ＰＩは、この画素ＰＩの空間座標（ｘ，ｙ）によって参照される。所与の画素に関連付けられている４Ｄデータは、（ｘ，ｙ，ｉ，ｊ）として参照される。
本発明の実施形態は、生のライトフィールド・データ・コンテンツ、ビューのマトリックス、および、フォーカル・スタックについて記述したメタデータを集約したデータ・フォーマットを提供する。実施形態によっては、メタデータは、ライトフィールド・データを処理するために、例えば、或るフォーマットから別のフォーマットに、生のライトフィールド・データをビューのマトリックスまたはフォーカル・スタックに変換する、または、ビューのマトリックスからフォーカル・スタックに変換するなど、ライトフィールドを変換するために、もしくは、視点変更およびリフォーカスなどの一般的なライトフィールド・アプリケーションのために、使用することができる。
図４は、本発明の１つ以上の実施形態によるライトフィールド・データを処理、フォーマット化する方法のステップの概要を示している。ステップＳ４０１において、ライトフィールド・データは、図１Ａに示されたカメラなどのプレノプティック・カメラから、または、図１Ｂに示されたカメラなどのマルチカメラ・アレイから、データ取得モジュール１４０によって取得される。ライトフィールド・データ・プロセッサ１５５は、生のフォーマットでライトフィールド・データを受信する。ステップＳ４０２において、生のライトフィールド・データは、デモザイクおよび再格子化の処理によってビューのマトリックス（サブアパーチャ画像）に変換される。ステップＳ４０３において、生のライトフィールド・データがスプラット処理（シフトしたマイクロ画像の蓄積）によってフォーカル・スタック（複数の異なるフォーカル平面での１組の画像）に変換される。ステップＳ４０４において、ビューのマトリックスがスプラット処理（シフトしたサブアパーチャ画像の蓄積）によってフォーカル・スタックに変換される。
ステップＳ４１０において、取得されたライトフィールド・データのメタデータが提供され、フォーマット化される。メタデータは、カメラの技術的な特性を規定するカメラ・メタデータ、ビューのマトリックスを規定するビュー・マトリックス・メタデータ、およびフォーカル・スタックを規定するフォーカル・スタック・メタデータを含む。ステップＳ４２０において、ビューのマトリックスおよびこのビューのマトリックスを規定するライトフィールド・メタデータを使用して、視点の変更を行うことができる。ステップＳ４３０において、フォーカル・スタックおよびこのフォーカル・スタックを規定するメタデータを使用して、リフォーカスを行うことができる。２Ｄ画像は、マイクロ画像を所与の視差だけシフトし、画像を加えて単一の２Ｄ画像を形成することによって、マイクロ画像から生成される。所与の距離ｚで画像をリフォーカスするために、距離ｚに関連付けられた視差だけマイクロ画像がシフトされる。視点の変更を行うために、マイクロ画像の部分のみが追加される（例えば、左／右の視点に対し、左／右の部分）。
本発明の実施形態において、ライトフィールド・データ・コンテンツを特徴付けるメタデータに対するフォーマット化シンタックスが提供される。ライトフィールド・データ・コンテンツを特徴付けるメタデータは、以下のものを含む。
カメラ特性データ：
カメラ特性データは、センサ、ライトフィールド・データをキャプチャするライトフィールド・カメラの主レンズおよびμレンズ・アレイ、特に、μレンズの中心の位置を特徴付けるデータである。メタデータは、例えば、センサ解像度、カラー・サンプリング、カラー・フィルタ透過率、ダイナミック・レンジ、色変換行列、画素ピッチ、レンズ・ピッチ、焦点距離、口径食（ｖｉｇｎｅｔｔｉｎｇ）を表すデータを含むことができる。
ビュー特性データ：
ビュー特性データは、各ビュー／サブアパーチャ画像の各々の固有パラメータおよび外部パラメータを特徴付けるメタデータなど、ビューのマトリックスを特徴付けるデータ、および各ビュー／サブアパーチャ画像の色情報である。
フォーカル・スタック・データ：
フォーカル・スタック・データは、各フォーカスされたピクチャの焦点距離を特徴付けるメタデータなど、フォーカル・スタックを特徴付けるデータである。例えば、インデックス・マップが挙げられる。
フォーマット化シンタックスには、さらに、ビデオおよび複数のフレームのシーケンスを管理するためのファイル・ロケーションおよびファイル名を復元するために必要な基本情報を含めることができる。
メタデータは、ファイルまたは１組のファイルに記憶されたディジタル・データとして提供することができる。本発明の一実施形態においては、フォーマット化シンタックスは、例えば、ＸＭＬ規則に準拠したマークアップ言語として示される。以下、フォーマット化シンタックスをライトフィールド・マークアック言語（略してｌｆｍｌと記す）として参照する。以下の例において、メタデータのフォーマット化シンタックスは、（タグが含まれた）セクションの定義および対応する属性（メタデータ自体）を含む。
ルート・セクションおよびタイプ属性
表１は、ライトフィールド・メタデータ・ファイルのルート・セクションおよび属性の例を示している。＊．ｌｆｍｌファイルのボディは、＜ＬｉｇｈｔＦｉｅｌｄＣｏｎｔｅｎｔ＞セクションに含まれている。＊．ｌｆｍｌファイルのボディは、コンテンツのタイプを規定する属性を含み、これは、この例において、以下のように表されている。
ＬＦｔｙｐｅ＝「ＲＡＷ」は、生のプレノプティック・ピクチャを示し、「ＭＡＴＲＩＸ＿ＯＦ＿ＶＩＥＷＳ」は、ビューのアレイを示し、「ＦＯＣＡＬ＿ＳＴＡＣＫ」は、フォーカル・スタックを示している。
<LightFieldContent
lfml:LFtype="RAW"
>
[…]
</LightFieldContent>
表１：例示的な＊．ｌｆｍｌファイルのルート・セクションおよび属性
フォルダおよびファイル属性
ファイルの名称設定属性は、全てのファイルが保存されており、かつ整合性を持って名称設定がなされていれば、ルート・レベルに存在し得る。ファイル名称設定属性は、ファイルの中に同一のパスまたは、プレフィックスまたはナンバリングを共有しないものがあれば、下位のレベルのセクションに存在することもある。ｐａｔｈ属性は、フォルダ・パスを規定する文字列である。ｆｉｌｅＰｒｅｆｉｘ属性は、ファイル名のプレフィックスを規定する文字列である。ｓｔｏｒａｇｅＭｏｄｅ属性は、ファイル・ストレージ・モードおよび使用されるファイル・フォーマットを記述する、コロン（：）によって分割された２つの部分の文字列である。この文字列は、「ＦＩＬＥ＿ＳＥＱＵＥＮＣＥ：ＰＮＧ」、「ＦＩＬＥ＿ＳＥＱＵＥＮＣＥ：ＰＧＭ」、「ＦＩＬＥ＿ＳＥＱＵＥＮＣＥ：ＲＡＷ」、「ＶＩＤＥＯ＿ＦＩＬＥ：ＹＵＶ」、「ＶＩＤＥＯ＿ＦＩＬＥ：ＡＶＩ」のうちのいずれかである。
ｆｉｒｓｔＦｒａｍｅＩｄｘ属性及びｌａｓｔＦｒａｍｅＩｄｘ属性は、それぞれ、ライトフィールド・シーケンスの最初のフレームおよび最後のフレームのインデックスである。ｄｉｇｉｔＳｕｆｆｉｘ属性は、例えばハッシュ・シンボルの文字列であり、ファイル名サフィックスにおけるフレームのナンバリング専用の桁数を規定する。静止画像の場合、これらの３つのフィールドは、存在しないか、空である（表２および図５参照）。複数の画像のシーケンスの場合には、ファイル名には、フレームのインデックスでサフィックスが付けられている（図３および図６参照）。

<LightFieldContent
lfml:LFtype="RAW"
lfml:path=".\Lytro\Gallery"
lfml:filePrefix="Snake"
lfml:storageMode="FILE_SEQUENCE:RAW"
lfml:firstFrameIdx=""
lfml:lastFrameIdx=""
lfml:digitSuffix=""
>
[…]
</LightFieldContent>
表２：生のライトフィールド静止画像に対するファイル名称設定属性


<LightFieldContent
lfml:LFtype="MATRIX_OF_VIEWS"
lfml:path=".\CGI\Blender"
lfml:filePrefix="outdoor"
lfml:storageMode="FILE_SEQUENCE:PNG"
lfml:firstFrameIdx="0"
lfml:lastFrameIdx="249"
lfml:digitSuffix="####"
>
[…]
</LightFieldContent>
表３：ライトフィールド・ビデオに対するファイル名称設定属性（ここでは、ＣＧＩマルチビュー・ビデオ・シーケンス）
なお、ビューのマトリックスおよびフォーカル・スタックの場合には、ファイルは、デフォルトで、例えば、それぞれ、￥ｖｉｅｗ＃および￥ｆｏｃｕｓ＃という名称が付けられたフォルダ内に取得される（例えば、図６参照）。ファイル名は、デフォルトで、所定のプレフィックスおよびサフィックスの規則に従って構築されていてもよい。しかしながら、属性パス、フォルダ、ファイル名、およびサフィックスは、代替的なロケーションおよび名称を規定するために、複数のサブセクションにおいて使用することができる。
座標系属性
ライトフィールドの撮像の処理には、座標系による表記が必要である。座標系は、所定のデフォルト値を用いた黙示的なものであってもよいし、「ｌｅｆｔｗａｒｄ（左側）」／「ｒｉｇｈｔｗａｒｄ（右側）」および「ｕｐｗａｒｄ（上側）」／「ｄｏｗｎｗａｒｄ（下側）」の値をそれぞれ有する属性ＣＳｘおよび属性ＣＳｙを用いた記述ファイル内で明示的に記載されていてもよい。
座標系属性は、ルート・レベルまでの、＊．ｌｆｍｌファイルの任意のレベルに配置することができる。ただし、使用されている全ての座標系が互いに整合しているものとする。
生のプレノプティック・ピクチャ
生のプレノプティック・ピクチャの場合（ＬＦｔｙｐｅ＝「ＲＡＷ」）には、ライトフィールド・メタデータ・ファイル（＊．ｌｆｍｌファイル）は、セクション＜ＲａｗＰｌｅｎｏｐｔｉｃＰｉｃｔｕｒｅｓ＞を示し、これは、キャリブレーションの完全性に依存して、＜Ｓｅｎｓｏｒ＞、＜ＭａｉｎＬｅｎｓ＞、および＜μＬｅｎｓＡｒｒａｙ＞のセクションのうちの１つ以上を含み得る（表４参照）。
＜Ｓｅｎｓｏｒ＞セクションは、ライトフィールド・カメラの技術的な特徴を記述する以下の属性のうちの１つ以上を含むことができる。このような属性は、製造者によって提供されることがある。
ｒａｙｓＲｅｓｏｌｕｔｉｏｎ属性は、センサの解像度を規定する（「幅×高さ」、例えば、「４００８×２６７２」がＲａｙｔｒｉｘ Ｒ１１カメラを指し、「３２８０×３２８０」が第１のＬｙｔｒｏ「ＬｉｇｈｔＦｉｅｌｄ（ライトフィールド）」カメラを指すなど）。
ｃｏｌｏｒＦｉｌｔｅｒ属性は、センサ上のカラー・サンプリングを規定する（例えば、「ＢａｙｅｒＧＲＢＧ」または「Ｆｏｖｅｏｎｘ３ＲＧＢ」または「Ｍｏｎｏｃｈｒｏｍｅ」）。
ｃｏｌｏｒＦｉｌｔｅｒＴｒａｎｓｍｉｔｔａｎｃｅ属性は、センサのカラー・フィルタの透過率を規定する。ｃｏｌｏｒＦｉｌｔｅｒＴｒａｎｓｍｉｔｔａｎｃｅ属性は、カラー・フィルタに依存して、１つ、３つ、または４つの値を有する。この属性は、存在しないか、空となることがある。
ｄｙｎａｍｉｃＲａｎｇｅ属性は、画素のレンジを規定する。ｄｙｎａｍｉｃＲａｎｇｅ属性は、２つの値、下限および上限を有し、これを逸脱した信号は、ノイズとみなされる。
ｃｏｌｏｒＴｒａｎｓｆｏｒｍＭａｔｒｉｘは、画素によって出力される信号と入来する光との間の非線形関係を規定する３×３行列である。
ｐｉｘｅｌＰｉｔｃｈ属性は、２つの隣接する画素間の距離をメートルで規定する。
ｓｃａｌｅＦａｃｔｏｒＸおよびｓｃａｌｅＦａｃｔｏｒＹ属性は、（正方形ではない）矩形の画素の形状比を規定するために使用できる。
＜ＭａｉｎＬｅｎｓ＞セクションは、以下の属性のうちの１つ以上を含み、この項目は、製造者によって提供されることがある。
ｆｏｃａｌＬｅｎｇｔｈ属性は、主レンズの焦点距離をメートルで規定する。
ｎｕｍｅｒｉｃａｌＡｐｅｒｔｕｒｅ属性は、瞳と焦点距離との間の比を規定する。この属性は、存在しないか、空となることがある。
ｗｈｉｔｅＩｍａｇｅ属性は、実際の焦点距離に対応する白画像の取得元となるフォルダ・ロケーションを規定する。白画像は、口径食の効果を除去するために使用される。この属性は、存在しないか、空となることがある。
ｖｉｇｎｅｔｔｉｎｇ属性は、主レンズの口径食のモデルを規定する。この属性は、存在しないか、空となることがある。
＜μＬｅｎｓＡｒｒａｙ＞セクションは、以下の属性を含む。製造者によって提供されるものもあれば、さらなるキャリブレーションによって決定されるものもある。
ｐａｔｔｅｒｎ属性は、μレンズ・アレイのパターンを規定する（「Ｓｑｕａｒｅ」、または「ＨｅｘａｇｏｎａｌＲｏｗＭａｊｏｒ」、または「ＨｅｘａｇｏｎａｌＣｏｌｕｍｎＭａｊｏｒ」）。
該当する場合には、ｃｏｌｏｒＡｒｒａｎｇｅｍｅｎｔ属性は、μレンズ・アレイに配置されたカラー・フィルタのパターンを規定する。この属性は、存在しないか、空となることがある。
μＬｅｎｓＰｉｔｃｈ属性は、２つの隣接したμレンズ間の距離をメートルで規定する。
μＬｅｎｓＡｒｒａｙＲｏｔａｔｉｏｎ属性は、規定された座標系において、センサ格子に関し、μレンズの回転角を（角度で）規定する。
ｓｃａｌｅＦａｃｔｏｒＸおよびｓｃａｌｅＦａｃｔｏｒＹ属性は、μレンズの形状比を規定するために使用できる。
ｎｂμＣｅｎｔｅｒｓＣａｌｉｂｒａｔｅｄ属性は、キャリブレーションされたマイクロ画像の中心（μ中心）の数（すなわち、μ画像の中心の数）を規定する。この数は、零とすることができる。
＜μＬｅｎｓＡｒｒａｙ＞セクションは、対応する数の＜μＣｅｎｔｅｒ＞サブセクション（表５参照）を含む。これは、以下の属性を含む。
μＣｅｎｔｅｒＩｄ属性は、μ中心のインデックスである。
ｃｘ属性およびｃｙ属性は、μ中心のｘ座標およびｙ座標をそれぞれ（画素で）規定する。
<LightFieldContent
lfml:LFtype="RAW"
lfml:path=".\Lytro\Gallery"
lfml:filePrefix="Snake"
lfml:storageMode="FILE_SEQUENCE:RAW"
lfml:firstFrameIdx=""
lfml:lastFrameIdx=""
lfml:digitSuffix=""
lfml:CSx="rightward"
lfml:CSy="downward"
>
<RawPlenopticPictures>
<Sensor
lfml:raysResolution="3280x3280"
lfml:colorFilter="BayerGRBG"
lfml:colorFilterTransmittance=""
lfml:dynamicRange=""
lfml:colorTransformMatrix=""
lfml:pixelPitch="0.000001399999976158141876680929"
lfml:scaleFactorX="1.0"
lfml:scaleFactorY="1.0"
></Sensor>
<MainLens
lfml:focalLength="0.05131999969482421875"
lfml:numericalAperture="1.9"
lfml:whiteImage=””
lfml:vignetting=””
></MainLens>
<μLensArray
lfml:pattern="HexagonalRowMajor"
lfml:μLensPitch="0.00001389861488342285067432158"
lfml:μLensArrayRotation="-0.002579216146841645240783691406"
lfml:scaleFactorX="1.0"
lfml:scaleFactorY="1.00024712085723876953125"
lfml:nbμCentersCalibrated="0"
>
</μLensArray>
</RawPlenopticPictures>
</LightFieldContent>
表４：生のライトフィールド・ピクチャの＊．ｌｆｍｌファイルの例

LightFieldContent
lfml:LFtype="RAW"
[…]
>
<RawPlenopticPictures>
[…]
<μLensArray
[…]
lfml:nbμCentersCalibrated="108900"
>
[…]
<μCenter
lfml:μCenterId="27224"
lfml:cx="1633.087277"
lfml:cy="1633.490847"
></μCenter>
[…]
</μLensArray>
</RawPlenopticPictures>
</LightFieldContent>
表５：μ中心サブセクションの例
ビューのマトリックス
ビューのマトリックス（またはアレイ）の場合（ＬＦｔｙｐｅ＝「ＭＡＴＲＩＸ＿ＯＦ＿ＶＩＥＷＳ」）、＊．ｌｆｍｌファイルは、幾つかの＜ＳｕｂＡｐｅｒｔｕｒｅＩｍａｇｅ＞サブセクションを含む、セクション＜ＭａｔｒｉｘＯｆＶｉｅｗｓ＞を示す。シンタックスは、生のプレノプティック素材から再構築された１組のサブアパーチャ画像（表６参照）およびカメラ・アレイから取得されたコンテンツ（表７参照）の双方に適合する。
＜ＭａｔｒｉｘＯｆＶｉｅｗｓ＞セクションは、以下の属性を含む。
ｎｂＳｕｂＡｐｅｒｔｕｒｅＩｍａｇｅｓは、ビュー／サブアパーチャ画像の数を規定する。＜ＭａｔｒｉｘＯｆＶｉｅｗｓ＞セクションは、対応する数の＜ＳｕｂＡｐｅｒｔｕｒｅＩｍａｇｅ＞サブセクションを含む。
ｐｉｘｅｌＲｅｓｏｌｕｔｉｏｎ属性は、ビュー／サブアパーチャ画像の解像度を、この解像度が全てのビューで同一であると仮定して、画素（「ＷｉｄｔｈｘＨｅｉｇｈｔ」）で規定する。解像度が全てのビューで同一でない場合には、この属性は、後続する＜ＳｕｂＡｐｅｒｔｕｒｅＩｍａｇｅ＞サブセクションのいずれにも記述される。この属性は、対応するピクチャ・ファイルのヘッダ内で利用可能であれば、存在しないか、空となることがある。
＜ＳｕｂＡｐｅｒｔｕｒｅＩｍａｇｅ＞サブセクションは、以下の属性を含む。
ｓｕｂＡｐＩｍＩｄ属性は、ビュー／サブアパーチャ画像のインデックスである。
ｅｘｔｒｉｎｓｉｃｓ属性は、規定された座標系におけるビュー／サブアパーチャ画像の外部行列を規定する。
ｃｏｌｏｒ属性は、ビュー／サブアパーチャ画像（「Ｒ」、「Ｇ」、「Ｂ」、「ＲＧＢ」、「Ｌ」）内で利用可能な色を規定する。この属性は、どのビュー／サブアパーチャ画像によっても共有される場合には、＜ＭａｔｒｉｘＯｆＶｉｅｗｓ＞セクションに記述することができる。
ｃｘ属性およびｃｙ属性は、それぞれ、主点のｘ座標およびｙ座標を（画素で）規定する。これらの属性は、存在しないか、空となることがある。これらの属性は、どのビュー／サブアパーチャ画像によっても共有される場合には、＜ＭａｔｒｉｘＯｆＶｉｅｗｓ＞セクションに記述することができる。
ｆｘおよびｆｙ属性は、それぞれ、ビュー／サブアパーチャ・ビューの水平および垂直焦点距離を（画素で）規定する。これらの属性は、存在しないか、空となることがある。これらの属性も、どのビュー／サブアパーチャ画像によっても共有される場合には、＜ＭａｔｒｉｘＯｆＶｉｅｗｓ＞セクションに記述することができる。
ｎｕｍｅｒｉｃａｌＡｐｅｒｔｕｒｅ属性は、＜ＭａｉｎＬｅｎｓ＞セクションにおける場合と同様に、瞳と焦点距離の間の比を規定する。この属性は、存在しないか、空となることがある。この属性も、どのビュー／サブアパーチャ画像によっても共有される場合には、＜ＭａｔｒｉｘＯｆＶｉｅｗｓ＞セクションに記述することができる。
ｄｉｓｔｏｒｔｉｏｎＣｏｅｆｆｉｃｉｅｎｔｓ属性は、歪みモデル（例えば、放射状歪みおよび接線歪みのＢｏｕｇｕｅｔの５個のパラメータ・モデル）を規定する。この属性は、存在しないか、空となることがある。この属性も、どのビュー／サブアパーチャ画像によっても共有される場合には、＜ＭａｔｒｉｘＯｆＶｉｅｗｓ＞セクションに記述することができる。
<LightFieldContent
lfml:LFtype="MATRIX_OF_VIEWS"
lfml:path=".\PelicanImaging\Gallery"
lfml:filePrefix="GoldenGate"
lfml:storageMode="FILE_SEQUENCE:PGM"
lfml:firstFrameIdx=""
lfml:lastFrameIdx=""
lfml:digitSuffix=""
lfml:CSx="rightward"
lfml:CSy="downward"
>
<MatrixOfViews
lfml:nbSubApertureImages="16"
lfml:pixelResolution="1000x750"
>
<SubApertureImage
lfml:subApImId="0"
lfml:extrinsics="[[1, 0, 0, 0], [0, 1, 0, 0], [0, 0, 1, 0], [0,
0, 0, 1]]"
lfml:color="G"
lfml:cx="499"
lfml:cy="374"
lfml:fx=" 1175.0"
lfml:fy="1175.0"
lfml:numericalAperture=""
lfml:distortionCoefficients=""
></SubApertureImage>
<SubApertureImage
lfml:subApImId="1"
lfml:extrinsics="[[1, 0, 0, 0.005], [0, 1, 0, 0], [0, 0, 1, 0],
[0, 0, 0, 1]]"
lfml:color="R"
lfml:cx="500"
lfml:cy="374"
lfml:fx="1175.4"
lfml:fy="1175.4"
lfml:numericalAperture=""
lfml:distortionCoefficients=""
></SubApertureImage>
<SubApertureImage
lfml:subApImId="2"
lfml:extrinsics="[[1, 0, 0, 0.01], [0, 1, 0, 0], [0, 0, 1, 0],
[0, 0, 0, 1]]"
lfml:color="G"
lfml:cx="499"
lfml:cy="375"
lfml:fx="1175.9"
lfml:fy="1175.9"
lfml:numericalAperture=""
lfml:distortionCoefficients=""
></SubApertureImage>
<SubApertureImage
lfml:subApImId="3"
lfml:extrinsics="[[1, 0, 0, 0.015], [0, 1, 0, 0], [0, 0, 1, 0],
[0, 0, 0, 1]]"
lfml:color="B"
lfml:cx="500"
lfml:cy="375"
lfml:fx="1175.0"
lfml:fy="1175.0"
lfml:numericalAperture=""
lfml:distortionCoefficients=""
></SubApertureImage>
[…]
</MatrixOfViews>
</LightFieldContent>
表６：ペリカン・イメージング（Ｐｅｌｉｃａｎ Ｉｍａｇｉｎｇ）カメラ装置から再構築されたビューのマトリックスを記述する＊．ｌｆｍｌファイルの抜粋例

<LightFieldContent
lfml:LFtype="MATRIX_OF_VIEWS"
lfml:path=".\CGI\Blender"
lfml:filePrefix="outdoor"
lfml:storageMode="FILE_SEQUENCE:PNG"
lfml:firstFrameIdx="0"
lfml:lastFrameIdx="249"
lfml:digitSuffix="####"
lfml:CSx="rightward"
lfml:CSy="downward"
>
<MatrixOfViews
lfml:nbSubApertureImages="121"
lfml:pixelResolution="1920x1080"
lfml:color="RGB"
lfml:cx="960"
lfml:cy="540"
lfml:fx="3026.218853"
lfml:fy="3026.218853"
lfml:numericalAperture=”0.”
>
<SubApertureImage
lfml:subApImId="0"
lfml:extrinsics="[[1, 0, 0, 0], [0, 1, 0, 0], [0, 0, 1, 0], [0,
0, 0, 1]]"
lfml:distortionCoefficients=""
></SubApertureImage>
<SubApertureImage
lfml:subApImId="1"
lfml:extrinsics="[[1, 0, 0, 0.1], [0, 1, 0, 0], [0, 0, 1, 0], [0,
0, 0, 1]]"
lfml:distortionCoefficients=""
></SubApertureImage>
[…]
<SubApertureImage
lfml:subApImId="249"
lfml:extrinsics="[[1, 0, 0, 1.0], [0, 1, 0, 1.0], [0, 0, 1, 0],
[0, 0, 0, 1]]"
lfml:distortionCoefficients=""
></SubApertureImage>
</MatrixOfViews>
</LightFieldContent>
表７：コンピュータで生成されたビューのマトリックスを記述する＊．ｌｆｍｌファイルの抜粋
フォーカル・スタック
フォーカル・スタック（ＬＦｔｙｐｅ＝「ＦＯＣＡＬ＿ＳＴＡＣＫ」）の場合、＊．ｌｆｍｌファイルは、幾つかの＜ＦｏｃａｌＳｔａｃｋ＞サブセクションおよび、場合によっては、サブセクション＜ＩｎｄｅｘＭａｐ＞を含んだセクション＜ＦｏｃａｌＳｔａｃｋ＞を示す（表８参照）。
＜ＦｏｃａｌＳｔａｃｋ＞セクションは、以下の属性を含む。
ｎｂＦｏｃｕｓｅｄＰｉｃｔｕｒｅｓは、スタック内のフォーカスされたピクチャの数を規定する。＜ＦｏｃａｌＳｔａｃｋ＞セクションは、対応する数の＜ＦｏｃｕｓｅｄＰｉｃｔｕｒｅ＞サブセクションを含む。
ｆｏｃｕｓｅｄＰｉｃＩｄｘＭａｐ属性は、インデックス・マップが利用可能かどうかを規定する（「ＡＶＡＩＬＡＢＬＥ」または「ＵＮＡＶＡＩＬＡＢＬＥ」）。
ビューのマトリックスの場合のように、ｐｉｘｅｌＲｅｓｏｌｕｔｉｏｎ属性は、フォーカスされたピクチャの解像度を、この解像度が誰にとっても同一だと仮定して、画素（「ＷｉｄｔｈｘＨｅｉｇｈｔ」）で規定する。そうでない場合には、この属性は、後続する＜ＦｏｃｕｓｅｄＰｉｃｔｕｒｅ＞サブセクションのいずれにも記述される。この属性は、対応するピクチャ・ファイルのヘッダ内で利用可能であれば、存在しないか、空となることがある。
＜ＦｏｃｕｓｅｄＰｉｃｔｕｒｅ＞サブセクションは、以下の属性を含む。
ｆｏｃｕｓＰｉｃＩｄ属性は、フォーカス・ピクチャのインデックスである。
ｄｉｓｔａｎｃｅ属性は、フォーカスされたピクチャの焦点距離をメートルで規定する。この属性は、存在しないか、空となることがある。
ｖｅｒｇｅｎｃｅ属性は、フォーカスされたピクチャの焦点距離の逆数を（ｍ−１で）規定する。この属性は、存在しないか、空となることがある。
＜ＩｎｄｅｘＭａｐ＞サブセクションは、対応するファイル（ファイル名、サフィックス、場合によっては、パスまたはフォルダ）を取得するために必要な属性を含む。
<LightFieldContent
lfml:LFtype="FOCAL_STACK"
lfml:path=".\Lytro\Gallery"
lfml:filePrefix="Snake"
lfml:storageMode="FILE_SEQUENCE:PNG"
lfml:firstFrameIdx=""
lfml:lastFrameIdx=""
lfml:digitSuffix=""
lfml:CSx="rightward"
lfml:CSy="downward"
>
<FocalStack
lfml:nbFocusedPictures="8"
lfml:focusedPicIdxMap="AVAILABLE"
lfml:pixelResolution="1000x1000"
>
<FocusedPicture
lfml:focusPicId="0"
lfml:distance=""
lfml:vergence=""
></FocusedPicture>
<FocusedPicture
lfml:focusPicId="1"
lfml:distance =""
lfml:vergence=""
></FocusedPicture>
<FocusedPicture
lfml:focusPicId="2"
lfml:distance =""
lfml:vergence=""
></FocusedPicture>
<FocusedPicture
lfml:focusPicId="3"
lfml:distance =""
lfml:vergence=""
></FocusedPicture>
<FocusedPicture
lfml:focusPicId="4"
lfml:distance =""
lfml:vergence=""
></FocusedPicture>
<FocusedPicture
lfml:focusPicId="5"
lfml:distance =""
lfml:vergence=""
></FocusedPicture>
<FocusedPicture
lfml:focusPicId="6"
lfml:distance =""
lfml:vergence=""
></FocusedPicture>
<FocusedPicture
lfml:focusPicId="7"
lfml:distance =""
lfml:vergence=""
></FocusedPicture>
<IndexMap
lfml:suffix="indexMap"
></IndexMap>
</FocalStack>
</LightFieldContent>
表８：フォーカル・スタックに対する＊．ｌｆｍｌファイルの例
メタデータは、ライトフィールド・データの処理、例えば、ライトフィールドのデータ・コンテンツを或るフォーマットから別のフォーマットに、例えば、生のライトフィールド・データからビューのマトリックスまたはフォーカル・スタックに、または、ビューのマトリックスからフォーカル・スタックに変換するために、さらに、ビューポイント変更およびリフォーカスなどの一般的なライトフィールド・アプリケーションのために、使用することができる。次に、本発明の実施形態に従った、ライトフィールド・データ・プロセッサによってライトフィールド（ＬＦ）・データに対して実行される処理の例について説明する。
ファイル変換
生のプレノプティック・コンテンツからビューのマトリックスへの変換
ビュー（マイクロ画像）のアレイは、ライトフィールド・カメラから取得された生のライトフィールド・データをデモザイクおよび再格子化することによって再構築することができる。
（Ｒｉ，ｊ）は、生のライトフィールド・ピクチャにおける１組のマイクロ画像を示す。サブアパーチャ画像Ｖｋ，ｌは、各μ画像からの同じ位置にあるサンプルで構成される。
Ｖｋ，ｌ［ｉ，ｊ］ ＝Ｒｉ，ｊ［ｋ，ｌ］
対応するビューのアレイの（画素での）焦点距離、すなわち、ビューのマトリックスを記述するメタデータの水平焦点距離ｆｘおよび垂直焦点距離ｆｙ属性は、以下のように与えられる。
Figure 2018514969
 ここで、
・Ｆは、主レンズの焦点距離をメートルで表し（すなわち、セクション＜ＭａｉｎＬｅｎｓ＞の属性ｆｏｃａｌＬｅｎｇｔｈの値）、
・ＳｘおよびＳｙの各々は、センサの水平スケールファクタおよび垂直スケールファクタを表し（すなわち、セクション＜Ｓｅｎｓｏｒ＞の属性ｓｃａｌｅＦａｃｔｏｒＸおよびｓｃａｌｅＦａｃｔｏｒＹの値）、
・ｒｐは、画素ピッチをメートルで表す（すなわち、セクション＜Ｓｅｎｓｏｒ＞の属性ｐｉｘｅｌＰｉｔｃｈの値）。
さらに、基礎となる軸間ベースライン距離は、以下のように与えられる。
Figure 2018514969
 ここで、
・ｒμＬは、μレンズ・ピッチをメートルで表し（すなわち、属性μＬｅｎｓＰｉｔｃｈの値）、
・σｘおよびσｙは、μレンズ・アレイの水平スケールファクタおよび垂直のスケールファクタをそれぞれ表す（すなわち、セクション＜μＬｅｎｓＡｒｒａｙ＞の属性ｓｃａｌｅＦａｃｔｏｒＸおよびｓｃａｌｅＦａｃｔｏｒＹの値）。
（セクション＜ＳｕｂＡｐｅｒｔｕｒｅＩｍａｇｅ＞の外部属性に対応する）ビューの外部行列Ｖｋ，ｌは、したがって、ビューの光学的中心Ｖ０，０が座標系の原点として選択されると仮定し、以下の回転行列および平行移動行列で作られる。
Figure 2018514969
生のプレノプティック・コンテンツからフォーカル・スタックへの変換
フォーカル・スタックは、シフトされたμ画像を蓄積する（「スプラットする」）ことによって算出される。ｗは、フォーカスされたピクチャを規定するシフトを表す。
μ画像Ｒｉ，ｊの寄与を考慮すると、その画素
Figure 2018514969
の各々に対し、フォーカル・スタックの新たな座標は、以下のように与えられる。
Figure 2018514969
 ここで、
・
Figure 2018514969
は、生の画像座標系全体で表現され、
・ｕは、ズーム・ファクタである。
基礎となる（メートルでの）焦点距離、すなわち、セクション＜ＦｏｃｕｓｅｄＰｉｃｔｕｒｅ＞の距離属性は、以下のように与えられる。
Figure 2018514969
 ここで、
Figure 2018514969
 は、μレンズの直径に対応する画素の数である。そして、ｖｅｒｇｅｎｃｅ属性は、その逆数である。
ビューのマトリックスからフォーカル・スタックへの変換
フォーカル・スタックもまた、シフトされたビューを蓄積する（「スプラットする」）ことによって算出することができる。ただし、これらが登録されているものとする。
ここでは、サブアパーチャ画像（Ｖｋ，ｌ）を集めたものを考慮して同じ公式を使用することができる。
Figure 2018514969
 ここで、
Figure 2018514969
は、各ビューの座標系で表されている。
潜在する（ｍ−１での）焦点輻輳、すなわち、セクション＜ＦｏｃｕｓｅｄＰｉｃｔｕｒｅ＞の輻輳属性は、無差別に、以下によって与えられる。
Figure 2018514969
対応する距離属性は、輻輳ｖの逆数である。
ライトフィールド・データを記述するメタデータの提案されているフォーマットは、さらに、視点変更およびリフォーカスなどの、ライトフィールド・データの一般的なアプリケーションに適合している。
３Ｄ効果は、視点変更によって成すことができる。これは、ビューのマトリックス内でのビュー補間によって得ることができる。
リフォーカスは、フォーカル・スタックに対する一般的なアプリケーションである。この目的は、被写界深度を強調することに関わる。この場合、ユーザは、自己がフォーカスしたいと望むピクチャの１つまたは幾つかのエリアを選び出す（シーンの残りのオブジェクトは、フォーカスされた深度平面から離れているため、ぼやけている）。別の目的は、全焦点（ａｌｌ−ｉｎ−ｆｏｃｕｓ）ピクチャを供給することにある。双方の場合において、フォーカル・スタックの１つのフォーカライズされたピクチャにおけるサンプルを取得するために、インデックス・マップが局所的に取得される。
本発明を特定の実施形態を参照して上記に説明したが、本発明は特定の実施形態に限定されるものではなく、本発明の範囲の中で、改変が施されることが当業者には明らかであろう。
上述した例示的な実施形態を参照することによって、多くのさらなる改変および変形が当業者によって提案されるであろう。実施形態は、例示的な目的のみで与えられ、本発明の範囲を限定するように意図されたものではなく、本発明の範囲は、付随する請求の範囲によってのみ確定される。特に、種々の実施形態からの種々の特徴事項は、適宜、相互に置き換え可能である。

Claims (15)

  1. キャプチャされたライトフィールド・データに関するメタデータを提供する方法であって、
    前記ライトフィールド・データをキャプチャするために使用されるライトフィールド・カメラと、
    前記ライトフィールド・データから得られたビューのマトリックスと、
    前記ライトフィールド・データから得られたフォーカル・スタックと、
    のうちの少なくとも１つの特性を記述するメタデータを集約するデータ・フォーマットを提供することを含む、前記方法。
  2. ライトフィールド・データからの画像をレンダリングする方法であって、
    前記ライトフィールド・データをキャプチャするために使用されるライトフィールド・カメラと、
    前記ライトフィールド・データから得られたビューのマトリックスと、
    前記ライトフィールド・データから得られたフォーカル・スタックと、
    のうちの少なくとも１つの特性を記述するライトフィールド・データ・メタデータを取得することと、
    前記メタデータによって提供される情報に基づいてライトフィールド・データをレンダリングすることと、
    を含む、前記方法。
  3. 前記メタデータは、ライト画像ファイルに集約される、請求項１または２に記載の方法。
  4. 前記ライトフィールド・データをキャプチャするために使用される前記ライトフィールド・カメラの特性を記述する前記メタデータは、
    前記ライトフィールド・カメラのフォトセンサと、
    前記ライトフィールド・カメラの主レンズと、
    前記ライトフィールド・カメラのマイクロレンズ・アレイと、
    の前記ライトフィールド・カメラの技術的な特徴のうちの１つ以上を規定するデータを含む、請求項１〜３のいずれか１項に記載の方法。
  5. 前記ライトフィールド・カメラの前記フォトセンサを記述する前記メタデータは、
    前記フォトセンサの空間解像度と、
    前記フォトセンサのカラー・フィルタのカラー・サンプリングと、
    前記フォトセンサの前記カラー・フィルタの透過率と、
    前記フォトセンサの画素のダイナミック・レンジと、
    画素によって出力される信号と入来する光との非線形的な関係を規定する色変換行列と、
    前記フォトセンサの２つの隣接する画素間のピッチと、
    非正方形の画素の形状比を規定するスケールファクタと、
    のうちの１つ以上のパラメータを表すデータを含む、請求項４に記載の方法。
  6. 前記ライトフィールド・カメラの前記主レンズを記述する前記メタデータは、
    前記主レンズの焦点距離と、
    瞳と前記焦点距離との比と、
    前記主レンズの口径食モデルと、
    のうちの１つ以上のパラメータを表すデータを含む、請求項４または５に記載の方法。
  7. 前記ライトフィールド・カメラの前記マイクロレンズ・アレイを記述する前記メタデータは、
    マイクロレンズ・アレイのパターンと、
    前記マイクロレンズ・アレイ上に配列されたカラー・フィルタのパターンと、
    前記マイクロレンズ・アレイの２つの隣接するマイクロレンズの間のピッチと、
    マイクロレンズの形状比を規定するスケールファクタと、
    キャリブレーションされたマイクロレンズ中心の数と、
    １つ以上のマイクロレンズ中心の空間座標と、
    のうちの１つ以上のパラメータを表すデータを含む、請求項４〜６のいずれか１項に記載の方法。
  8. 前記メタデータは、ＸＬＭに準拠したマークアップ言語で規定される、請求項１〜７のいずれか１項に記載の方法。
  9. 前記ライトフィールド・データから得られたビューのアレイの特性を記述する前記メタデータは、
    前記アレイにおけるビューの数と、
    １つまたは各ビューの空間解像度と、
    ビューにおいて利用可能な色と、
    ビューの参照点の空間座標と、
    ビューの水平焦点距離および垂直焦点距離と、
    のうちの１つ以上のパラメータを表すデータを含む、請求項１〜８のいずれか１項に記載の方法。
  10. 前記ライトフィールド・データから得られたフォーカル・スタックの特性を記述する前記メタデータは、
    前記フォーカル・スタックにおけるフォーカスされたピクチャの数と、
    前記フォーカスされたピクチャの空間解像度と、
    前記フォーカスされたピクチャの焦点距離と、
    のうちの１つ以上のパラメータを表すデータを含む、請求項１〜９のいずれか１項に記載の方法。
  11. キャプチャされたライトフィールド・データに関するメタデータを提供する装置であって、
    ライトフィールド・カメラによってキャプチャされたライトフィールド・データを取得するライトフィールド・データ取得モジュールと、
    前記ライトフィールド・データをキャプチャするために使用されるライトフィールド・カメラと、
    前記ライトフィールド・データから得られたビューのマトリックスと、
    前記ライトフィールド・データから得られたフォーカル・スタックと、
    のうちの少なくとも１つの特性を記述する集約メタデータを提供するデータフォーマッタと、
    を含む、前記装置。
  12. 規則的な格子構造に配列されたマイクロレンズのアレイと、
    前記マイクロレンズの前記アレイから前記フォトセンサ上に投影された光をキャプチャするように構成されたフォトセンサであって、各々の組が前記マイクロレンズの前記アレイの各々のマイクロレンズに光学的に関連付けられている複数の組の画素を含む、前記フォトセンサと、
    請求項１１に記載されたメタデータを提供する装置と、
    を含む、ライトフィールド撮像装置。
  13. ライトフィールド・データをキャプチャするために使用されるライトフィールド・カメラと、
    前記ライトフィールド・データから得られたビューのマトリックスと、
    前記ライトフィールド・データから得られたフォーカル・スタックと、
    のうちの少なくとも１つの特性を記述するメタデータを使用して前記ライトフィールド・データからの画像をレンダリングする装置であって、
    プロセッサと、レンダリング・アプリケーション、前記ライトフィールド・データおよび前記メタデータを含むメモリとを含み、
    前記レンダリング・アプリケーションは、前記プロセッサに、前記メタデータにおいて提供された情報に基づいて前記ライトフィールド・データをレンダリングさせるように構成されている、前記装置。
  14. ライトフィールド・カメラからキャプチャされたライトフィールド・データと、
    前記ライトフィールド・データをキャプチャするために使用されるライトフィールド・カメラと、
    前記ライトフィールド・データから得られたビューのマトリックスと、
    前記ライトフィールド・データから得られたフォーカル・スタックと、
    の少なくとも１つの特性を記述するメタデータと、
    を含む、データ・パッケージ。
  15. プログラム可能な装置用のコンピュータ・プログラム製品であって、前記プログラム可能な装置にロードされ、かつ実行されたときに請求項１〜１０のいずれか１項に記載された方法を実行するための命令のシーケンスを含む、前記コンピュータ・プログラム製品。
JP2017546605A 2015-03-05 2016-02-26 ライトフィールド・メタデータ Pending JP2018514969A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15305340.0 2015-03-05
EP15305340.0A EP3065394A1 (en) 2015-03-05 2015-03-05 Light field metadata
PCT/EP2016/054041 WO2016139134A1 (en) 2015-03-05 2016-02-26 Light field metadata

Publications (2)

Publication Number Publication Date
JP2018514969A true JP2018514969A (ja) 2018-06-07
JP2018514969A5 JP2018514969A5 (ja) 2019-04-04

Family

ID=52774156

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017546605A Pending JP2018514969A (ja) 2015-03-05 2016-02-26 ライトフィールド・メタデータ

Country Status (11)

Country Link
US (1) US20180047185A1 (ja)
EP (2) EP3065394A1 (ja)
JP (1) JP2018514969A (ja)
KR (1) KR20170125078A (ja)
CN (1) CN107534718A (ja)
BR (1) BR112017019004A2 (ja)
CA (1) CA2978072A1 (ja)
MX (1) MX2017011323A (ja)
RU (1) RU2017134151A (ja)
TW (1) TW201633773A (ja)
WO (1) WO2016139134A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019047214A (ja) * 2017-08-30 2019-03-22 株式会社東芝 スマートカメラ、画像処理装置、スマートカメラシステム、データ送信方法およびプログラム

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3145168A1 (en) * 2015-09-17 2017-03-22 Thomson Licensing An apparatus and a method for generating data representing a pixel beam
EP3270589A1 (en) * 2016-07-11 2018-01-17 Thomson Licensing An apparatus and a method for generating data representative of a pixel beam
EP3494543B1 (en) * 2016-08-05 2023-06-28 InterDigital CE Patent Holdings A method for obtaining at least one sub-aperture image being associated with one view
WO2018062368A1 (ja) * 2016-09-30 2018-04-05 株式会社ニコン 撮像装置および撮像システム
KR102646437B1 (ko) * 2016-11-25 2024-03-11 삼성전자주식회사 멀티 렌즈 기반의 촬영 장치 및 방법
CN110710199B (zh) * 2017-08-22 2021-03-02 株式会社东芝 智能摄像机、图像处理装置以及数据通信方法
RU2690757C1 (ru) 2018-08-21 2019-06-05 Самсунг Электроникс Ко., Лтд. Система синтеза промежуточных видов светового поля и способ ее функционирования
KR20200067020A (ko) 2018-12-03 2020-06-11 삼성전자주식회사 캘리브레이션 방법 및 장치
CN110389140A (zh) * 2019-07-11 2019-10-29 中国科学院上海应用物理研究所 实现元素空间定位的双能焦点堆栈三维重构方法
WO2021249955A1 (en) * 2020-06-09 2021-12-16 Interdigital Vc Holdings France, Sas Metadata to describe color filter on top on camera sensors
US20240031543A1 (en) * 2020-12-04 2024-01-25 Dolby Laboratories Licensing Corporation Processing of extended dimension light field images

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004120069A (ja) * 2002-09-24 2004-04-15 Canon Inc 画像処理装置、画像処理方法および該方法を実現するためのプログラム
JP2012524467A (ja) * 2009-04-18 2012-10-11 リフォーカス イマジング，インコーポレイテッド ライト・フィールド・カメラ画像、ファイルおよび構成データ、および、これらを使用、保存および伝達する方法
JP2013255172A (ja) * 2012-06-08 2013-12-19 Canon Inc 画像処理装置及び画像処理方法
JP2014535191A (ja) * 2011-09-28 2014-12-25 ペリカン イメージング コーポレイション 明視野画像ファイルを符号化および復号するためのシステムおよび方法
JP2015005201A (ja) * 2013-06-21 2015-01-08 キヤノン株式会社 情報処理装置、情報処理システム、情報処理方法およびプログラム。

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120249550A1 (en) * 2009-04-18 2012-10-04 Lytro, Inc. Selective Transmission of Image Data Based on Device Attributes
US9693010B2 (en) * 2014-03-11 2017-06-27 Sony Corporation Method, electronic device, and server for generating digitally processed pictures

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004120069A (ja) * 2002-09-24 2004-04-15 Canon Inc 画像処理装置、画像処理方法および該方法を実現するためのプログラム
JP2012524467A (ja) * 2009-04-18 2012-10-11 リフォーカス イマジング，インコーポレイテッド ライト・フィールド・カメラ画像、ファイルおよび構成データ、および、これらを使用、保存および伝達する方法
JP2014535191A (ja) * 2011-09-28 2014-12-25 ペリカン イメージング コーポレイション 明視野画像ファイルを符号化および復号するためのシステムおよび方法
JP2013255172A (ja) * 2012-06-08 2013-12-19 Canon Inc 画像処理装置及び画像処理方法
JP2015005201A (ja) * 2013-06-21 2015-01-08 キヤノン株式会社 情報処理装置、情報処理システム、情報処理方法およびプログラム。

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019047214A (ja) * 2017-08-30 2019-03-22 株式会社東芝 スマートカメラ、画像処理装置、スマートカメラシステム、データ送信方法およびプログラム

Also Published As

Publication number Publication date
KR20170125078A (ko) 2017-11-13
EP3065394A1 (en) 2016-09-07
MX2017011323A (es) 2017-12-07
CA2978072A1 (en) 2016-09-09
WO2016139134A1 (en) 2016-09-09
CN107534718A (zh) 2018-01-02
RU2017134151A (ru) 2019-04-03
US20180047185A1 (en) 2018-02-15
TW201633773A (zh) 2016-09-16
BR112017019004A2 (pt) 2018-04-17
RU2017134151A3 (ja) 2019-10-02
EP3266194A1 (en) 2018-01-10

Similar Documents

Publication Publication Date Title
JP2018514969A (ja) ライトフィールド・メタデータ
US9866810B2 (en) Optimization of optical systems for improved light field capture and manipulation
US8593509B2 (en) Three-dimensional imaging device and viewpoint image restoration method
CN102037717B (zh) 使用具有异构成像器的单片相机阵列的图像拍摄和图像处理
US9412206B2 (en) Systems and methods for the manipulation of captured light field image data
Birklbauer et al. Panorama light‐field imaging
US10887576B2 (en) Light field data representation
EP3065395A1 (en) Processing of light field data
CN103688536B (zh) 图像处理装置、图像处理方法
JP6019729B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN104662887A (zh) 图像处理设备、图像处理方法、程序和具有该图像处理设备的摄像设备
JP5507761B2 (ja) 撮像装置
US11882259B2 (en) Light field data representation
US20240127407A1 (en) Image sensor apparatus for capturing depth information
JP6376194B2 (ja) 画像処理装置、画像処理方法及びプログラム
EP3144884A1 (en) Light field data representation
JP6239982B2 (ja) 画像変換装置及びプログラム
JP2017188788A (ja) 電子機器、再生装置、記録プログラム、再生プログラムおよび撮像システム。

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20180223

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20181220

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20181227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190222

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190222

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20191106

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200401

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20201022