JP2018536211A5 - - Google Patents

Description

上記の例示的実施形態を参照すれば、当業者は多くのさらなる修正および変形を思いつくであろう。上記の例示的実施形態は単に例として与えられており、本発明の範囲を限定することは意図されていない。本発明の範囲は付属の請求項によってのみ決定される。特に、異なる実施形態からの異なる特徴は、適宜交換されてもよい。
上述の実施形態の一部又は全部は、以下の付記のように記載され得るが、以下には限定されない。
（付記１）
ライトフィールドを表わすデータを生成するコンピュータ実装される方法であって、当該方法は、
シーンからのライトフィールド・レイと複数の所与の参照平面との交点を定義する交差データを得る段階であって、複数の参照平面はシーンにおける異なる奥行きに対応し、ライトフィールド・レイに対応する交差データの各集合はある色値をもつ、段階と、
サンプリング・セルのパラメータ空間において交差データを表わす一つまたは複数のデータ超平面を決定する段階と、
パラメトリックな式によってデータ超平面上またはデータ超平面の付近のデータを走査して、ライトフィールド・レイを表わすデータをサンプリングする段階と、
パラメータ空間において少なくとも一つのデータ超平面を定義する少なくとも一つのデータ・パラメータと、それぞれのライトフィールド・レイに関連付けられた色値とを含む、ライトフィールドを表わすデータ・フォーマットを提供する段階とを含む、方法。
（付記２）
一つまたは複数のデジタル・データ超平面は、離散ラドン変換によって決定される、付記１記載の方法。
（付記３）
二つの直交する離散ラドン変換がパラメータ空間において適用されて、一つまたは複数のデジタル超平面を得る、付記２記載の方法。
（付記４）
一つまたは複数のデータ超平面は、カメラ取得パラメータを定義するデータから決定される、付記１記載の方法。
（付記５）
データを走査することは、次のアルゴリズム

を適用することを含む、付記１乃至４のうち何れか一項記載の方法。
（付記６）
少なくとも一つのデータ超平面を定義するデータ・パラメータは、
第一の参照平面の交差データの最小値、
第一の参照平面の交差データの最大値、
第二の参照平面の交差データの最小値、
第二の参照平面の交差データの最大値、
パラメータ空間を定義するサンプリング・セルの数、
第一の参照平面の位置、及び
第二の参照平面の位置
のうちの少なくとも一つを表わすデータを含む、付記１乃至５のうち何れか一項記載の方法。
（付記７）
各データ超平面は、パラメータ空間の複数のセルによって定義され、
少なくとも一つの第一のセルが直線の、軸との切片を表わし、
少なくとも一つの第二のセルからは直線の傾きが決定できる、付記１乃至６のうち何れか一項記載の方法。
（付記８）
各デジタル超平面は、ブレゼンハムのアルゴリズムの適用によって生成される、付記１乃至７のうち何れか一項記載の方法。
（付記９）
諸レイのビームが、同じ傾きおよび異なる軸切片点をもつ複数の直線として表わされる、付記１乃至８のうち何れか一項記載の方法。
（付記１０）
取得されたライトフィールド・データを表わすデータは、前記ビームの直線の軸切片データの上端および下端に基づいて前記ビームの太さを表わすデータを含む、付記９記載の方法。
（付記１１）
付記１乃至１０のうち何れか一項記載の方法に従って提供されるライトフィールド・データからライトフィールド・レイを生成する方法であって、
少なくとも一つの超平面を定義するデータ・パラメータを定義するメタデータを読み、セルごとに色データを読むことを含む、方法。
（付記１２）
捕捉されたライトフィールド・データについてのメタデータを提供する装置であって、
ライトフィールド・カメラによって捕捉されたライトフィールド・データを取得するためのライトフィールド・データ取得モジュールと、
ライトフィールド・データ生成モジュールであって、
シーンからのライトフィールド・レイと複数の所与の参照平面との交点を定義する交差データを得る段階であって、複数の参照平面はシーンにおける異なる奥行きに対応し、ライトフィールド・レイに対応する交差データの各集合はある色値をもつ、段階と、
サンプリング・セルのパラメータ空間において交差データを表わす一つまたは複数のデータ超平面を決定する段階と、
パラメトリックな式によってデータ超平面上またはデータ超平面の付近のデータを走査して、ライトフィールド・レイを表わすデータをサンプリングする段階と、
パラメータ空間においてデータ超平面を定義する少なくとも一つのデータ・パラメータと、それぞれの生成されたライトフィールド・レイに関連付けられた色値とを含む、ライトフィールドを表わすデータ・フォーマットを提供する段階とを実行するよう構成されている、
ライトフィールド・データ生成モジュールと、
を備える、装置。
（付記１３）
規則的な格子構造に配列されたマイクロレンズのアレイと、
光センサーであって、マイクロレンズのアレイから光センサー上に投射された光を捕捉するよう構成されており、光センサーはピクセルの諸集合を含み、ピクセルの各集合がマイクロレンズのアレイのそれぞれのマイクロレンズに光学的に関連付けられている、光センサーと、
付記１２記載のメタデータを提供する装置と、
を備える、ライトフィールド撮像装置。
（付記１４）
付記１乃至１１のうち何れか一項記載の方法を使って得られたライトフィールド・データから画像をレンダリングする装置。
（付記１５）
ライトフィールドの諸レイを表わすデータのためのデータ・パッケージであって、
パラメータ空間において超平面を定義する少なくとも一つのデータ・パラメータであって、超平面はシーンからのライトフィールド・レイと複数の所与の参照平面との交点を定義する交差データを表わし、複数の参照平面はシーンにおける異なる奥行きに対応し、ライトフィールド・レイに対応する交差データの各集合は色値をもつ、データ・パラメータと、
各ライトフィールド・レイに関連付けられた前記色値と、
を含む、データ・パッケージ。
（付記１６）
ライトフィールドを表わすデータを生成するコンピュータ実装される方法であって、
シーンから捕捉されたライトフィールド・レイを表わすライトフィールド・データを取得する段階と、
取得されたライトフィールド・データから、シーンからのライトフィールド・レイと複数の所与の参照平面との交点を定義する交差データを得る段階と、
取得されたライトフィールド・データを表わすデータを提供するためのレイ図における交差データのグラフィック表現を定義するレイ図パラメータを得る段階と、
を含む方法。
（付記１７）
ライトフィールド・レイに対応する切片データが、レイ図においてデータ直線としてグラフィックに表現され、レイ図パラメータは、
データ直線の傾き、及び
データ直線のレイ図の軸との切片
のうちの少なくとも一方を表わすデータを含む、付記１６記載の方法。
（付記１８）
データ直線は、レイ図において、ラドン変換を適用することによって、検出される、付記１７記載の方法。
（付記１９）
グラフィック表現は、デジタル・データ直線を提供するためのセルのマトリクスとして提供され、各デジタル・データ直線フォーマットは、複数のセルによって定義され、少なくとも一つの第一のセルが直線の軸との切片を表わし、少なくとも一つの第二のセルからは直線の傾きが決定できる、付記１７または１８記載の方法。
（付記２０）
各デジタル・データ直線は、ブレゼンハムのアルゴリズムの適用によって生成される、付記１９記載の方法。
（付記２１）
取得されたライトフィールド・データを表わすデータが、セルのマトリクスを定義するデータを含む、付記１９または２０記載の方法。
（付記２２）
取得されたライトフィールド・データを表わすデータが、更に、対応するライトフィールド・レイの色を表わす色データを含む、付記１６乃至２１のうち何れか一項記載の方法。
（付記２３）
取得されたライトフィールド・データを表わすデータが、ライトフィールド・レイを捕捉するために使われるカメラの数を定義するデータを含む、付記１６乃至２２のうち何れか一項記載の方法。
（付記２４）
諸レイのビームが、同じ傾きおよび異なる軸切片点をもつ複数の直線として表わされる、付記１７乃至２３のうち何れか一項記載の方法。
（付記２５）
取得されたライトフィールド・データを表わすデータは、ビームの直線の軸切片データの上端および下端に基づいてビームの太さを表わすデータを含む、付記２４記載の方法。
（付記２６）
取得されたライトフィールド・データを表わすデータは、メタデータとして提供され、メタデータのヘッダは、レイ図における切片データのグラフィック表現を定義するレイ図パラメータを含み、メタデータのボディは、レイの色を表わすデータを含む、付記２５記載の方法。
（付記２７）
捕捉されたライトフィールド・データについてのメタデータを提供する装置であって、当該装置は、
ライトフィールド・カメラによって捕捉されたライトフィールド・データを取得するためのライトフィールド・データ取得モジュールと、
ライトフィールド・データ生成モジュールであって、
取得されたライトフィールド・データから、シーンからのライトフィールド・レイと複数の所与の参照平面との交点を定義する交差データを得る段階であって、複数の参照平面はシーンにおける異なる奥行きに対応する、段階と、
取得されたライトフィールド・データを表わすデータを提供するために、レイ図において交差データのグラフィック表現を定義するレイ図パラメータを得る段階と、を実行するよう構成されている
ライトフィールド・データ取得モジュールと、
を備える装置。
（付記２８）
規則的な格子構造に配列されたマイクロレンズのアレイと、
光センサーであって、マイクロレンズのアレイから光センサー上に投射された光を捕捉するよう構成されており、光センサーはピクセルの諸集合を含み、ピクセルの各集合がマイクロレンズのアレイのそれぞれのマイクロレンズに光学的に関連付けられている、光センサーと、
付記１２記載のメタデータを提供する装置と、
を備える、ライトフィールド撮像装置。
（付記２９）
付記１６乃至２６のうち何れか一項記載の方法に従って得られたデータを処理するプロセッサと、
処理されたデータに従って画像をレンダリングするディスプレイと、
を備える、ライトフィールド・データから画像をレンダリングする装置。
（付記３０）
ライトフィールドの諸レイを表わすデータのためのデータ・パッケージであって、
ライト・レイの交差データのレイ図におけるグラフィック表現を定義するレイ図パラメータであって、交差データはシーンからのライトフィールド・レイと複数の所与の参照平面との交点を定義し、複数の参照平面はシーンにおける異なる奥行きに対応する、パラメータと、
ライトフィールド・レイの色を定義する色データと、
を含む、データ・パッケージ。
（付記３１）
プログラム可能な装置にロードされて実行されるときに付記１乃至１０または１６乃至２６のうち何れか一項記載の方法を実装するための命令のシーケンスを有する、プログラム可能な装置のためのコンピュータ・プログラム・プロダクト。

Claims (17)

1. ライトフィールドを表わすデータを生成するコンピュータ実装される方法であって、当該方法は、
   シーンからのライトフィールド・レイと複数の所与の参照平面との交点を定義する交差データを得る段階であって、前記複数の参照平面はシーンにおける異なる奥行きに対応し、ライトフィールド・レイに対応する交差データの各集合はある色値をもつ、段階と、
   サンプリング・セルのパラメータ空間において前記交差データを表わす一つまたは複数のデータ超平面を決定する段階と、
   パラメトリックな式によって前記データ超平面上または前記データ超平面の付近のデータを走査して、前記ライトフィールド・レイを表わすデータをサンプリングする段階と、
   前記パラメータ空間において前記少なくとも一つのデータ超平面を定義する少なくとも一つのデータ・パラメータと、それぞれのライトフィールド・レイに関連付けられた前記色値とを含む、前記ライトフィールドを表わすデータ・フォーマットを提供する段階とを含む、方法。
2. 前記一つまたは複数のデジタル・データ超平面は、離散ラドン変換によって決定される、請求項１記載の方法。
3. 二つの直交する離散ラドン変換が前記パラメータ空間において適用されて、前記一つまたは複数のデジタル超平面を得る、請求項２記載の方法。
4. 前記一つまたは複数のデータ超平面は、カメラ取得パラメータを定義するデータから決定される、請求項１記載の方法。
5. 前記データを走査することは、次のアルゴリズム
   

   

   を適用することを含む、請求項１乃至４のうち何れか一項記載の方法。
6. 前記少なくとも一つのデータ超平面を定義する前記データ・パラメータは、
   第一の参照平面の交差データの最小値、
   前記第一の参照平面の交差データの最大値、
   第二の参照平面の交差データの最小値、
   前記第二の参照平面の交差データの最大値、
   前記パラメータ空間を定義するサンプリング・セルの数、
   前記第一の参照平面の位置、及び
   前記第二の参照平面の位置
   のうちの少なくとも一つを表わすデータを含む、請求項１乃至５のうち何れか一項記載の方法。
7. 捕捉されたライトフィールド・データについてのメタデータを提供する装置であって、
   ライトフィールド・カメラによって捕捉されたライトフィールド・データを取得するためのライトフィールド・データ取得モジュールと、
   ライトフィールド・データ生成モジュールであって、
   シーンからのライトフィールド・レイと複数の所与の参照平面との交点を定義する交差データを得る段階であって、前記複数の参照平面はシーンにおける異なる奥行きに対応し、ライトフィールド・レイに対応する交差データの各集合はある色値をもつ、段階と、
   サンプリング・セルのパラメータ空間において前記交差データを表わす一つまたは複数のデータ超平面を決定する段階と、
   パラメトリックな式によって前記データ超平面上または前記データ超平面の付近のデータを走査して、前記ライトフィールド・レイを表わすデータをサンプリングする段階と、
   前記パラメータ空間において前記データ超平面を定義する少なくとも一つのデータ・パラメータと、それぞれの生成されたライトフィールド・レイに関連付けられた前記色値とを含む、前記ライトフィールドを表わすデータ・フォーマットを提供する段階とを実行するよう構成されている、
   ライトフィールド・データ生成モジュールと、
   を備える、装置。
8. 規則的な格子構造に配列されたマイクロレンズのアレイと、
   光センサーであって、マイクロレンズの前記アレイから前記光センサー上に投射された光を捕捉するよう構成されており、前記光センサーはピクセルの諸集合を含み、ピクセルの各集合がマイクロレンズの前記アレイのそれぞれのマイクロレンズに光学的に関連付けられている、光センサーと、
   請求項７に記載のメタデータを提供する装置と、
   を備える、ライトフィールド撮像装置。
9. 請求項１乃至６のうち何れか１項に記載の方法を使って得られたライトフィールド・データから画像をレンダリングする装置。
10. ライトフィールドの諸レイを表わすデータのためのデータ・パッケージであって、
    パラメータ空間において超平面を定義する少なくとも一つのデータ・パラメータであって、前記超平面はシーンからのライトフィールド・レイと複数の所与の参照平面との交点を定義する交差データを表わし、前記複数の参照平面はシーンにおける異なる奥行きに対応し、ライトフィールド・レイに対応する交差データの各集合は色値をもつ、データ・パラメータと、
    各ライトフィールド・レイに関連付けられた前記色値と、
    を備える、データ・パッケージ。
11. ライトフィールドを表わすデータを生成するコンピュータ実装される方法であって、
    シーンから捕捉されたライトフィールド・レイを表わすライトフィールド・データを取得する段階と、
    取得されたライトフィールド・データから、シーンからのライトフィールド・レイと複数の所与の参照平面との交点を定義する交差データを得る段階と、
    取得されたライトフィールド・データを表わすデータを提供するためのレイ図における前記交差データのグラフィック表現を定義するレイ図パラメータを得る段階と、
    を含む、方法。
12. ライトフィールド・レイに対応する切片データが、前記レイ図においてデータ直線としてグラフィックに表現され、前記レイ図パラメータは、
    データ直線の傾き、及び
    データ直線の前記レイ図の軸との切片
    のうちの少なくとも一方を表わすデータを含む、請求項１１に記載の方法。
13. 前記データ直線は、前記レイ図において、ラドン変換を適用することによって、検出される、請求項１２に記載の方法。
14. 前記グラフィック表現は、デジタル・データ直線を提供するためのセルのマトリクスとして提供され、
    各デジタル・データ直線フォーマットは、複数のセルによって定義され、
    少なくとも一つの第一のセルが前記直線の軸との切片を表わし、
    少なくとも一つの第二のセルからは、前記直線の傾きが決定できる、請求項１２又は１３に記載の方法。
15. 捕捉されたライトフィールド・データについてのメタデータを提供する装置であって、当該装置は、
    ライトフィールド・カメラによって捕捉されたライトフィールド・データを取得するためのライトフィールド・データ取得モジュールと、
    ライトフィールド・データ生成モジュールであって、
    取得されたライトフィールド・データから、シーンからのライトフィールド・レイと複数の所与の参照平面との交点を定義する交差データを得る段階であって、前記複数の参照平面はシーンにおける異なる奥行きに対応する、段階と、
    取得されたライトフィールド・データを表わすデータを提供するために、レイ図において前記交差データのグラフィック表現を定義するレイ図パラメータを得る段階と、を実行するよう構成されている
    ライトフィールド・データ取得モジュールと、
    を備える装置。
16. 規則的な格子構造に配列されたマイクロレンズのアレイと、
    光センサーであって、マイクロレンズの前記アレイから前記光センサー上に投射された光を捕捉するよう構成されており、前記光センサーはピクセルの諸集合を含み、ピクセルの各集合がマイクロレンズの前記アレイのそれぞれのマイクロレンズに光学的に関連付けられている、光センサーと、
    請求項７に記載のメタデータを提供する装置と、
    を備える、ライトフィールド撮像装置。
17. ライトフィールドの諸レイを表わすデータのためのデータ・パッケージであって、
    前記ライト・レイの交差データのレイ図におけるグラフィック表現を定義するレイ図パラメータであって、前記交差データはシーンからの前記ライトフィールド・レイと複数の所与の参照平面との交点を定義し、前記複数の参照平面はシーンにおける異なる奥行きに対応する、パラメータと、
    前記ライトフィールド・レイの色を定義する色データと、
    を含む、データ・パッケージ。