JP2019505901A - ピクセルビームを表すデータを生成する方法及び装置 - Google Patents

Abstract

市場で入手可能ないくつかの種類のプレノプティック装置及びカメラアレイが存在し、それら全てのライトフィールド捕捉装置はそれらのプロプライエタリ・ファイルフォーマットを有している。しかし、多次元の情報の捕捉及び送信をサポートする標準規格は存在しない。光捕捉システムのセンサのピクセルと光捕捉システムのオブジェクト空間との間の対応に関連した情報を得ることが、関心を引いている。実際に、光捕捉システムのオブジェクト空間のどの部分をその光捕捉システムのセンサに属しているピクセルが検知しているかを知ることは、信号処理動作の改善を可能にする。そのような情報を記憶するコンパクトなフォーマットとともに、カメラの光学系のオブジェクト空間において光線の組によって占有されるボリュームを表すピクセルビームの概念は、このようにして導入される。

Description

本発明は、計算の分野にある。もっと正確に言えば、本発明は、ライトフィールドデータの送信、レンダリング、プロシーディングのために使用され得る表現形式に関する。

ライトフィールドは、夫々のとり得る方向に沿って３次元（３Ｄ）空間の各点を通る光の量を表す。それは、時間、波長、位置及び方向の関数として放射輝度を表す７つの変数の関数によってモデル化される。コンピュータ・グラフィクスでは、ライトフィールドのサポートは、４次元（４Ｄ）の方向付けられた線空間に減じられる。

４Ｄライトフィールドのサンプリングと見なされ得る４Ｄライトフィールドデータの取得、すなわち、光線の記録は、熱狂的な調査課題としてECCV 2008の会議議事録で公開されている、Anat Levin et al.による論文“Understanding camera trade-offs through a Bayesian analysis of light field projections”（非特許文献１）において説明されている。

従来のカメラから得られる古典的な２次元又は２Ｄ画像と比べて、４Ｄライトフィールドデータは、ユーザとの双方向性及び画像のレンダリングを向上させる更なる後処理機構へのアクセスを有することをユーザに可能にする。例えば、４Ｄライトフィールドデータによれば画像のシーンにおいて視点をわずかに変えることともに、焦点面の位置が帰納的に特定／選択され得ることを意味する焦点合わせの自由に選択された距離により画像のリフォーカシングを行うことが可能である。４Ｄライトフィールドデータを得るために、いくつかの技術が使用され得る。例えば、プレノプティックカメラは４Ｄライトフィールドデータを捕捉することができる。プレノプティックカメラのアーキテクチャの詳細は図１Ａで与えられている。図１Ａは、プレノプティックカメラ１００を概略的に表す図である。プレノプティックカメラ１００は、メインレンズ１０１と、２次元アレイで配置された複数のマイクロレンズ１０３を有するマイクロレンズアレイ１０２と、画像センサ１０４とを有する。

４Ｄライトフィールドデータを得るための他の方法は、図１Ｂに表されているカメラアレイを使用することである。図１Ｂはマルチアレイカメラ１１０を表す。マルチアレイカメラ１１０は、レンズアレイ１１２及び画像センサ１１４を有する。

図１Ａに示されているプレノプティックカメラ１００の例では、メインレンズ１０１は、メインレンズ１０１のオブジェクトフィールド内のオブジェクト（図示せず。）から光を受け、メインレンズ１０１の画像フィールドに光を通す。

最後に、４Ｄライトフィールドデータを得る他の方法は、異なる焦点面で同じシーンの２Ｄ画像のシーケンスを捕捉するよう構成される従来のカメラを使用することである。例えば、２０１４年１０月にOPTICS EXPRESS，Vol.22，No.21で公開された、J.-H. Park et al.による文献“Light ray field capture using focal plane sweeping and its optical reconstruction using 3D displays”（非特許文献２）において記載されている技術が、従来のカメラを用いて４Ｄライトフィールドデータの取得を達成するために使用されてよい。

４Ｄライトフィールドデータを表すためのいくつかの方法が存在する。実際に、２００６年７月に公開された、Ren Ngによる、“Digital Light Field Photography”と題された博士号学位論文のチャプター３．３（非特許文献３）には、４Ｄライトフィールドデータを表す３つの異なる方法が記載されている。初めに、４Ｄライトフィールドデータは、マイクロレンズ画像の一群によって、プレノプティックカメラによって記録される場合に、表現され得る。この表現における４Ｄライトフィールドデータは、ロー（raw）画像又はロー４Ｄライトフィールドデータと称される。２番目に、４Ｄライトフィールドデータは、サブアパーチャ画像の組によって、プレノプティックカメラによって又はカメラアレイによって記録される場合に、表現され得る。サブアパーチャ画像は、視点からのシーンの捕捉された画像に対応し、視点は、２つのサブアパーチャ画像の間でわずかに異なる。それらのサブアパーチャ画像は、撮像されたシーンの視差及び深さに関する情報を与える。３番目に、４Ｄライトフィールドデータは、例えば、ISVC 2011の会議議事録で公開された、S. Wanner et al.による、“Generating EPI Representation of a 4D Light Fields with a Single Lens Focused Plenoptic Camera”と題された論文（非特許文献４）で見られるように、エピポーラ画像の組によって表現され得る。

ライトフィールドデータは、最大で数テラバイト（ＴＢ）までの膨大な記憶空間を利用することがある。これは、記憶を扱いにくくし且つ処理を非効率にしうる。その上、ライトフィールド捕捉装置は極めて異質的（heterogeneous）である。ライトフィールドカメラには種々の種類があり、例えば、プレノプティック又はカメラアレイがある。夫々の種類の中で、異なる光学配置、又は異なる焦点長さサンド（sand）のマイクロレンズのような、多くの違いがある。特に、夫々のカメラはそれ自身のプロプライエタリ（proprietary）・ファイルフォーマットを有している。今のところ、ライトフィールドが依存する異なるパラメータの網羅的な通覧のための多次元情報の取得及び装置をサポートする標準規格はない。そのようなものとして、異なるカメラごとの取得されたライトフィールドデータは、多様なフォーマットを有している。本発明は、上記を考慮して発明された。

Anat Levin et al.，"Understanding camera trade-offs through a Bayesian analysis of light field projections"，ECCV 2008 J.-H. Park et al.，"Light ray field capture using focal plane sweeping and its optical reconstruction using 3D displays"，OPTICS EXPRESS，Vol.22，No.21，２０１４年１０月 Ren Ng，"Digital Light Field Photography"，Chapter 3.3，２００６年７月 S. Wanner et al.，"Generating EPI Representation of a 4D Light Fields with a Single Lens Focused Plenoptic Camera"，ISVC 2011

本発明の第１の態様に従って、光捕捉システムのセンサの少なくとも１つのピクセルが前記光捕捉システムのピューピル（pupil）を通じて検知することができる光線の組によって占有される前記光捕捉システムのオブジェクト空間におけるボリュームを表すデータの組を生成する、コンピュータにより実施される方法であって、前記ボリュームがピクセルビームと呼ばれる前記方法において、
前記ピクセルビームを表すパラメータの値に基づき、φと呼ばれる回転角の値を計算することと、
一葉双曲面の回転軸である第２直線の周りで、第１発生光線と呼ばれる前記ピクセルビームを表す前記双曲面の表面を表現する第１直線の角度φの回転を計算し、該角度φの回転が前記第１発生光線を第２発生光線に変換することと、
前記第２発生光線を表すパラメータ、前記双曲面の前記回転軸を表すパラメータ、及び前記双曲面の前記回転軸に対して相対的に前記第１発生光線の位置付けを表すパラメータを含む、前記ピクセルビームを表すデータの組を生成することと
を有する方法が提供される。

ピクセルビームは、光捕捉システムの光学系を通って伝播する場合に、光捕捉システムのセンサの所与のピクセルに届く光線束として定義される。ピクセルビームは、一葉双曲面（hyperboloid of one sheet）によって表される。一葉双曲面は、光線束の概念をサポートし且つ物理的な光ビームの“エテンデュ”の概念と互換性がある線織面（ruled surface）である。

“エテンデュ”は、光が面積及び角度においてどのように散開するかを示す光学系における光の特性である。

ソース視点から、“エテンデュ”は、光学系の入射瞳（entrance pupil）がソースから見られるように内在する立体角とソースの面積との積である。同じく、光学系視点から、“エテンデュ”は、ソースが入射瞳から見られるように内在する立体角に入射瞳の面積を乗じたものに等しい。

“エテンデュ”の１つの顕著な特徴は、それが如何なる光学系でも決して減少しないことである。“エテンデュ”は、理想的な光学系において一定であるという特性を共有するラグランジュ不変式及び光学不変量に関係がある。光学系の放射輝度は、“エテンデュ”に関して放射フラックスの導関数に等しい。

ピクセルビームは“エテンデュ”に関する情報をそれ自体が運ぶので、ピクセルビームを用いて４Ｄライトフィールドデータを表現することは利点である。

ピクセルデータは６から１０のパラメータによって表現され得るので、４Ｄライトフィールドデータは、膨大な記憶空間を利用する可能性があるピクセルビームの一群によって表現され得る。本発明の発明者によって開発された、４Ｄライトフィールドデータのためのコンパクトな表現形式は、プレノプティック機能の光線に基づく表現に依存する。このコンパクトな表現形式は、ランダムでないように光線がソートされることを必要とする。実際に、光線は直線に沿ってマッピングされるので、簡潔さに関して、所与の線、次いで次の線、そしてその次の線に属する光線の一群とともに、所与の線のパラメータ、すなわち、関連する傾斜及びインターセプト、を順に記憶することが有効である。

ピクセルビームは、２つの光線、すなわち、主光線と呼ばれる双曲面の回転軸、及びピクセルビームを表す双曲面の表面を示す発生光線、によって表され得る。主光線の周りの発生光線の位置付け及び主光線が双曲面の回転軸であるという事実を使用して、発生光線の位置付けを表す情報においてピクセルビームを表す追加情報を運ぶことが、関心を持たれている。

本発明の実施形態に従う方法は、ピクセルビームを表すパラメータの１つが、前記ピクセルビームを表すデータセットの簡潔さを保つことを可能にして、コンパクトな表現形式の簡潔さに寄与しながら、発生光線の位置付けを表す情報に埋め込まれるように、主光線の周りの発生光線の位置付けを制約することにある。

本発明の実施形態に従って、M_Cが前記双曲面の前記回転軸に属し、M_G0が前記第１発生光線に属するとして、前記第１発生光線は、ベクトルM_CM_G0と前記角度φの回転が計算される座標系の軸との間の角度φ₀がゼロに等しいように、選択される。

発生光線の位置付けを制約することは、ピクセルビームの再構成をより容易にする。座標系は、例えば、光捕捉システムの光学系の入射瞳に中心を置かれ、座標系の１つの軸は、光捕捉システムのセンサのピクセルの行に平行であり、座標系の他の軸は、光捕捉システムのセンサのピクセルの列に平行である。

本発明の実施形態に従って、前記双曲面の前記回転軸に対して相対的に前記第１発生光線の位置付けを表すパラメータは、前記角度φ₀と、前記座標系の原点とM_C及びM_G0を含む面との間の、基準距離と呼ばれる距離とを含む。

M_C及びM_G0を含む面は、例えば、光捕捉システムのセンサの面である。

本発明の実施形態に従って、λが前記ピクセルビームを表すパラメータの値であり、λ_max及びλ_minが、λが選択されるインターバルの夫々上限及び下限であるとして、前記回転角φは、φ=2π・(λ-λ_min)/(λ_max-λ_min)によって与えられる。

本発明の実施形態に従って、前記ピクセルビームを表す前記データの組は、λ_max及びλ_minの値を更に含む。

本発明の実施形態に従って、λは、光の分極方位又は色情報のような、前記ピクセルビームを表すパラメータの値である。

本発明の第２の態様に従って、光捕捉システムのセンサの少なくとも１つのピクセルが前記光捕捉システムのピューピルを通じて検知することができる光線の組によって占有される前記光捕捉システムのオブジェクト空間におけるボリュームを表すデータの組を生成する装置であって、前記ボリュームがピクセルビームと呼ばれる前記装置において、
前記ピクセルビームを表すパラメータの値に基づき、φと呼ばれる回転角の値を計算し、
一葉双曲面の回転軸である第２直線の周りで、第１発生光線と呼ばれる前記ピクセルビームを表す前記双曲面の表面を表現する第１直線の角度φの回転を計算し、該角度φの回転が前記第１発生光線を第２発生光線に変化し、
前記第２発生光線を表すパラメータ、前記双曲面の前記回転軸を表すパラメータ、及び前記双曲面の前記回転軸に対して相対的に前記第１発生光線の位置付けを表すパラメータを含む、前記ピクセルビームを表すデータの組を生成する
よう構成されるプロセッサを有する装置が提供される。

そのような装置は、プレノプティックカメラのような光捕捉システム、又はスマートフォン、ラップトップ、パーソナルコンピュータ、タブレット、などのような何らかの他の装置において組み込まれてよい。

本発明の第３の態様に従って、ライトフィールドコンテンツをレンダリングする方法であって、
光捕捉システムのセンサの少なくとも１つのピクセルが前記光捕捉システムのピューピルを通じて検知することができる光線の組によって占有される前記光捕捉システムのオブジェクト空間におけるボリュームを表す一葉双曲面の表面を表現する第１直線の回転角度φを、
・M_Cが前記双曲面の回転軸に属し、M_G0が第１発生光線に属するとして、ベクトルM_CM_G0と前記角度φの回転が計算される座標系の軸との間の角度φ₀と、前記座標系の原点とM_C及びM_G0を含む面との間の距離とを含む、前記双曲面の前記回転軸に対して相対的に前記第１発生光線の位置付けを表すパラメータと、
・第２発生光線を表すパラメータと、
・前記双曲面の前記回転軸を表すパラメータと
を用いて、前記双曲面の前記回転軸である第２直線の周りで計算し、前記ボリュームが、前記第１発生光線と呼ばれるピクセルビームと呼ばれ、前記角度φの回転が前記第１発生光線を前記第２発生光線に変換することと、
前記双曲面の前記回転軸を表すパラメータ及び前記第２発生光線を表すパラメータと、前記回転角度φの値に基づき前記ピクセルビームを表すパラメータの値とを用いて、前記ピクセルビームを計算することと、
前記ライトフィールドコンテンツをレンダリングすることと
を有する方法が提供される。

本発明の第４の態様に従って、ライトフィールドコンテンツをレンダリングする装置であって、
光捕捉システムのセンサの少なくとも１つのピクセルが前記光捕捉システムのピューピルを通じて検知することができる光線の組によって占有される前記光捕捉システムのオブジェクト空間におけるボリュームを表す一葉双曲面の表面を表現する第１直線の回転角度φを、
・M_Cが前記双曲面の回転軸に属し、M_G0が第１発生光線に属するとして、ベクトルM_CM_G0と前記角度φの回転が計算される座標系の軸との間の角度φ₀と、前記座標系の原点とM_C及びM_G0を含む面との間の距離とを含む、前記双曲面の前記回転軸に対して相対的に前記第１発生光線の位置付けを表すパラメータと、
・第２発生光線を表すパラメータと、
・前記双曲面の前記回転軸を表すパラメータと
を用いて、前記双曲面の前記回転軸である第２直線の周りで計算し、前記ボリュームが、前記第１発生光線と呼ばれるピクセルビームと呼ばれ、前記角度φの回転が前記第１発生光線を前記第２発生光線に変換し、
前記双曲面の前記回転軸を表すパラメータ及び前記第２発生光線を表すパラメータと、前記回転角度φの値に基づき前記ピクセルビームを表すパラメータの値とを用いて、前記ピクセルビームを計算する
よう構成されるプロセッサを有し、
前記装置は、前記ライトフィールドコンテンツをレンダリングするディスプレイを更に有する、装置が提供される。

ライトフィールドコンテンツをレンダリングすることが可能なそのような装置は、テレビ受像機、スマートフォン、ラップトップ、パーソナルコンピュータ、タブレット、などであってよい。

本発明の第５の態様に従って、
規則的な格子構造において配置されるマイクロレンズのアレイと、
ピクセルの組を含み、ピクセルの各組が前記マイクロレンズのアレイの中の夫々のマイクロレンズと光学的に関連するフォトセンサ上に前記マイクロレンズのアレイから投影される光を捕捉するよう構成される前記フォトセンサと、
メタデータを供給する請求項７に記載の装置と
を有するライトフィールドイメージング装置が提供される。

そのようなライトフィールドイメージング装置は、例えば、プレノプティックカメラである。

本発明の第６の態様に従って、光捕捉システムのセンサの少なくとも１つのピクセルが前記光捕捉システムのピューピルを通じて検知することができる光線の組によって占有される前記光捕捉システムのオブジェクト空間におけるボリュームを表すデータの組を含むライトフィールドコンテンツを表す信号であって、
前記ボリュームがピクセルビームと呼ばれ、該ピクセルビームを表す前記データの組は、
第１発生光線と呼ばれる前記ピクセルビームを表す一葉双曲面の表面を表現する第１直線を表すパラメータであって、前記第１発生光線が、前記双曲面の回転軸である第３直線の周りで、第２発生光線と呼ばれる前記双曲面の前記表面を表現する第２直線に角度φの回転を適用することによって、得られる、前記パラメータと、
前記双曲面の前記回転軸を表すパラメータと、
前記双曲面の前記回転軸に対して相対的に前記第２発生光線の位置付けを表すパラメータと
を含む、信号が提供される。

本発明の要素によって実装されるいくつかのプロセスは、コンピュータにより実施されてよい。然るに、そのような要素は、全体としてハードウェアの実施形態、全体としてソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコード、などを含む。）、又はソフトウェア態様とハードウェア態様とを組み合わせる実施形態の形をとってよく、それらの実施形態は全て、ほとんどの場合に、“回路”、“モジュール”若しくは“システム”と本願で呼ばれ得る。更に、そのような要素は、何らかの有形な媒体において具現されたコンピュータ使用可能なプログラムコードを有している前記媒体において具現されたコンピュータプログラム製品の形をとってよい。

本発明の要素はソフトウェアで実装され得るので、本発明は、何らかの適切な担体において、プログラム可能な装置への提供のために、コンピュータ読出可能なコードとして具現され得る。有形な担体は、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、ハードディスクドライブ、磁気テープ装置、又は固体状態メモリ装置などのような、記憶媒体を有してよい。一時的な担体には、電気信号、電子信号、光信号、音響信号、磁気信号、又は電磁気信号（例えば、マイクロ波又はＲＦ信号）のような、信号が含まれ得る。

本発明の実施形態は、これより、単なる例として、次の図面を参照して、記載される。
プレノプティックカメラを概略的に表す図である。 マルチアレイカメラを表す。 本発明の実施形態に従うライトフィールドカメラの機能図である。 本発明の実施形態に従う、ライトフィールドデータフォーマッタ及びライトフィールドデータプロセッサの機能図である。 フォトセンサアレイにおいて形成されるロー・ライトフィールド画像の例である。 カメラ又は光捕捉システムの光学系のオブジェクト空間において光線の組によって占有されるボリュームを表す。 一葉双曲面を表す。 本発明の１つ以上の実施形態に従う、ピクセルビームの発生光線をソートする装置のモジュールを表す機能ブロック図である。 本発明の１つ以上の実施形態に従う、ピクセルビームの発生光線をソートする方法のステップを表すフローチャートである。 本発明の１つ以上の実施形態に従う、ライトフィールドデータのパラメータ化のための基準面の使用を図式的に表す。 本発明の１つ以上の実施形態に従う、ライトフィールドデータのパラメータ化のための基準面の使用を図式的に表す。 本発明の実施形態に従う、基準面に関するライトフィールド光線の表現を概略的に表す。 本発明の１つ以上の実施形態に従う方法のステップを表すフローチャートである。 本発明の１つ以上の実施形態に従う、簡単なデータ形式を提供する装置のモジュールを表す機能ブロック図である。 本発明の実施形態に従う、ライトフィールド光線の表現のためのパラメータを概略的に表す。 本発明の実施形態に従う、交差データを図式的に表す２Ｄ光線図である。 本発明の実施形態に従って生成されるデジタル線分を図式的に表す。 本発明の実施形態に従って生成されるデジタル線分を図式的に表す。 本発明の実施形態に従う、デジタル線分へ適用されるラドン変換を図式的に表す。 本発明の実施形態に従う、デジタル線分へ適用されるラドン変換を図式的に表す。 本発明の実施形態に従う、デジタル線分へ適用されるラドン変換を図式的に表す。 本発明の実施形態に従う、複数のカメラのための交差データを図式的に表す２Ｄ光線図である。

当業者に明らかなように、本原理の態様は、システム、方法、又はコンピュータ可読媒体として具現され得る。然るに、本原理の態様は、全体としてハードウェアの実施形態、全体としてソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコード、などを含む。）、又はソフトウェア態様とハードウェア態様とを組み合わせる実施形態の形をとることができ、それらの実施形態は全て、ほとんどの場合に、“回路”、“モジュール”若しくは“システム”と本願で呼ばれ得る。更に、本原理の態様は、コンピュータ可読記憶媒体の形をとることができる、１つ以上のコンピュータ可読記憶媒体の如何なる組み合わせも利用されてよい。

本発明の実施形態は、フォーマット変換、リフォーカシング、視点変化及び３Ｄ画像生成のような更なる処理アプリケーションのためのライトフィールドデータのフォーマッティングを提供する。

図２Ａは、本発明の実施形態に従うライトフィールドカメラ装置のブロック図である。

ライトフィールドカメラは、図１Ａのライトフィールドカメラに従って、開口／シャッター２０２、メイン（対物）レンズ２０１、マイクロレンズアレイ２１０、及びフォトセンサアレイ２２０を有する。いくつかの実施形態において、ライトフィールドカメラは、被写体又はシーンのライトフィールド画像を捕捉するよう作動されるシャッター・リリースを含む。機能的な特徴が、図１Ｂのライトフィールドカメラに更に適用されてよいことが認識されるだろう。

フォトセンサアレイ２２０は、ライトフィールドデータフォーマッティングモジュール２５０によるライトフィールドデータフォーマットの生成のために及び／又はライトフィールドデータプロセッサ２５５による処理のために、データ捕捉モジュール２４０によって捕捉されるライトフィールド画像データを供給する。ライトフィールドデータは、捕捉後及び処理後に、ロー・データフォーマットにおいて、サブアパーチャ画像若しくは焦点スタックとして、又は本発明の実施形態に従うライトフィールドデータフォーマットにおいて、メモリ２９０に記憶されてよい。

表されている例では、ライトフィールドデータフォーマッティングモジュール２５０及びライトフィールドデータプロセッサ２５５は、ライトフィールドカメラ２００において配置されるか、又はそれに組み込まれる。本発明の他の実施形態では、ライトフィールドデータフォーマッティングモジュール２５０及び／又はライトフィールドデータプロセッサ２５５は、ライトフィールド捕捉カメラの外にある別個のコンポーネントにおいて設けられてよい。別個のコンポーネントは、ライトフィールド画像捕捉装置に対してローカル又は遠隔であってよい。如何なる適切な有線又は無線プロトコルも、ライトフィールド画像データをフォーマッティングモジュール２５０又はライトフィールドデータプロセッサ２５５へ送信するために使用されてよいことが認識されるだろう。例えば、ライトフィールドデータプロセッサは、インターネット、セルラーデータネットワーク、ＷｉＦｉネットワーク、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信プロトコル、及び／又は何らかの他の適切な手段を介して、捕捉されたライトフィールド画像データ及び／又は他のデータを転送してよい。

ライトフィールドデータフォーマッティングモジュール２５０は、本発明の実施形態に従って、捕捉されたライトフィールドを表すデータを生成するよう構成される。ライトフィールドデータフォーマッティングモジュール２５０は、ソフトウェア、ハードウェア、又はそれらの組み合わせにおいて実装されてよい。

ライトフィールドデータプロセッサ２５５は、本発明の実施形態に従って、焦点スタック又はビューのマトリクスを生成するよう、例えば、ＬＦデータ捕捉モジュール２４０から直接に受け取られたロー・ライトフィールド画像データに対して作用するよう構成される。例えば、捕捉されたシーンの静止画像、２Ｄビデオストリーム、などのような出力データが生成されてよい。ライトフィールドデータプロセッサは、ソフトウェア、ハードウェア、又はそれらの組み合わせにおいて実装されてよい。

少なくとも１つの実施形態で、ライトフィールドカメラ２００は、コントローラ２７０によるカメラ２００の操作を制御するようユーザがユーザ入力を供給することを可能にするユーザインターフェイス２６０を更に含んでよい。カメラの制御は、シャッター速度、又は調整可能なライトフィールドカメラの場合に、マイクロレンズアレイとフォトセンサとの間の相対距離、若しくは対物レンズとマイクロレンズアレイとの間の相対距離の制御のような、カメラの光学パラメータの制御の１つ以上を含んでよい。カメラの制御はまた、カメラの他のライトフィールドデータ捕捉パラメータ、ライトフィールドデータフォーマッティングパラメータ、又はライトフィールド処理パラメータの制御を含んでよい。ユーザインターフェイス２６０は、タッチスクリーン、ボタン、キーボード、指示装置、及び／又は同様のもののような、如何なる適切なユーザ入力装置も有してよい。このようにして、ユーザインターフェイスによって受け取られた入力は、データフォーマッティングを制御するためのＬＦデータフォーマッティングモジュール２５０、捕捉されたライトフィールドデータの処理を制御するためのＬＦデータプロセッサ２５５、及びライトフィールドカメラ２００を制御するためのコントローラ２７０を制御及び／又は構成するために使用され得る。

ライトフィールドカメラは、１つ以上の交換可能又は充電可能なバッテリのような、電源２８０を含む。ライトフィールドカメラは、捕捉されたライトフィールドデータ及び／又はレンダリングされた最終の画像、あるいは、本発明の実施形態の方法を実装するソフトウェアのような他のデータを記憶するメモリ２９０を有する。メモリは、外部及び／又は内部メモリを含むことができる。少なくとも１つの実施形態で、メモリは、カメラ２００とは別個の装置及び／又は位置で設けられ得る。一実施形態では、メモリは、メモリスティックのような、取り外し可能／交換可能な記憶装置を含む。

ライトフィールドカメラは、捕捉する前にカメラの前にあるシーンを見るための、及び／又は予め捕捉及び／又はレンダリングされた画像を見るための表示ユニット２６５（例えば、ＬＣＤスクリーン）を更に含んでよい。スクリーン２６５は、１つ以上のメニュー又は他の情報をユーザに表示するためにも使用されてよい。ライトフィールドカメラは、ＦｉｒｅＷｉｒｅ若しくはユニバーサルシリアルバス（ＵＳＢ；Universal Serial Bus）インターフェイスのような１つ以上のＩ／Ｏインターフェイス２９５、又はインターネット、セルラーデータネットワーク、ＷｉＦｉネットワーク、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信プロトコル及び／若しくは何らかの他の適切な手段を介したデータ通信のための有線若しくは無線通信インターフェイスを更に含んでよい。Ｉ／Ｏインターフェイス２９５は、本発明の実施形態に従ってＬＦデータフォーマッティングモジュール２５０によって生成されたライトフィールド表現データ、及びロー・ライトフィールドデータ若しくはＬＦデータプロセッサ２５５によって処理されたデータのようなライトフィールドデータのようなデータを、レンダリング用途のために、コンピュータシステム又は表示ユニットのような外部装置へ及びそれから転送するために使用されてよい。

図２Ｂは、ライトフィールドデータフォーマッティングモジュール２５０及びライトフィールドデータプロセッサ２５５の可能性のある実装の特定の実施形態を表すブロック図である。

回路２００は、メモリ２０９０、メモリコントローラ２０４５、及び１つ以上の処理ユニット（ＣＰＵ）を有する処理回路２０４０を含む。１つ以上の処理ユニット２０４０は、メモリ２０９０に記憶されている様々なソフトウェアプログラム及び／又は命令の組を実行して、ライトフィールドデータフォーマッティング及びライトフィールドデータ処理を含む様々な機能を実施するよう構成される。メモリに記憶されているソフトウェアコンポーネントは、本発明の実施形態に従って、捕捉されたライトフィールドデータを表すデータを生成するデータフォーマッティングモジュール（又は命令の組）２０５０と、本発明の実施形態に従ってライトフィールドデータを処理するライトフィールドデータ処理モジュール（又は命令の組）２０５５とを含む。一般的なシステムタスク（例えば、電力管理、メモリ管理）を制御し且つ装置２０００の様々なハードウェア及びソフトウェアコンポーネントの間の通信を助けるオペレーティングシステムモジュール２０５１、並びにＩ／Ｏインターフェイスポートを介した他の装置との通信を制御及び管理するインターフェイスモジュール２０５２のような、他のモジュールが、ライトフィールドカメラ装置の適用のためにメモリに含まれてよい。

図３は、図２Ａのフォトセンサアレイ２２０に形成される２Ｄ画像の例を表す。２Ｄ画像は、４Ｄライトフィールドを表すロー画像としばしば呼ばれ、ミクロ画像ＭＩのアレイから成る。各ミクロ画像は、マイクロレンズアレイ２１０の夫々のマイクロレンズ（i，j）によって生成される。ミクロ画像は、軸i及びjによって定義される矩形格子構造においてアレイで配置される。マイクロレンズ画像は、夫々のマイクロレンズ座標（i，j）によって参照されてよい。フォトセンサ２２０のピクセルＰＩは、その空間座標（x，y）によって参照されてよい。所与のピクセルと関連する４Ｄライトフィールドデータは、（x，y，i，j）として参照されてよい。

４Ｄライトフィールド画像を表す（又は定義する）いくつかの方法がある。例えば、４Ｄライトフィールド画像は、図３を参照して上述されたように、マイクロレンズ画像の一群によって、表現され得る。４Ｄライトフィールド画像はまた、サブアパーチャ画像の組によって、プレノプティックカメラによって記録される場合に、表現されてよい。各サブアパーチャ画像は、各マイクロレンズ画像から選択された同じ位置のピクセルから構成される。更に、４Ｄライトフィールド画像は、エピポーラ画像の組によって表現されてよい。これは、ピクセルビームの場合とは異なる。

本発明の実施形態は、ピクセルビームの概念に基づきライトフィールドデータの表現を供給する。このようにして、フォーマット及びライトフィールド装置の多様性は考慮され得る。実際に、光線に基づくフォーマットの１つの欠点は、光線を表すパラメータを計算するために使用されるパラメータ化平面がピクセルフォーマット及びサイズを反映するようサンプリングされる必要があることである。従って、サンプリングは、物理的な、意味ありげな情報を回復するために、他のデータに沿って定義される必要がある。

図４に示されるピクセルビーム４０は、カメラの光学系４１のオブジェクト空間において光線の組によって占有されるボリュームを表す。光線の組は、光学系４１のピューピル４４を通ってカメラのセンサ４３のピクセル４２によって検知される。光線に反して、ピクセルビーム４０は、物理光線の断面にわたるエネルギの保持に対応する“エテンデュ”をそれ自体が運ぶので、意のままにサンプリングされ得る。

光学系のピューピルは、その光学系の部分、すなわち、開口絞りの前に来るカメラのレンズ、を通して見られる開口絞りの画像として定義される。開口絞りは、カメラの光学系を通過する光の量を制限する開口である。例えば、カメラレンズの内部に位置する調整可能な絞りが、レンズのための開口絞りである。絞りを通って入ることを許される光の量は、カメラのユーザが入ることを許したいと望む光の量又はユーザが望む被写界深度に応じて適応され得る絞り開口の直径によって制御される。例えば、開口をより小さくすることは、絞りを通って入ることを許される光の量を減らすが、被写界深度を増大させる。絞りの見かけの大きさは、レンズの屈折動作のために、その物理的な大きさよりも大きくても又は小さくてもよい。形式上、ピューピルは、カメラの光学系を通る開口絞りの画像である。

ピクセルビーム４０は、入射瞳４４を経由して光学系４１を通って伝播する場合に所与のピクセル４２に届く光線束として定義される。光が自由空間において直線上を移動するにつれて、そのようなピクセルビーム４０の形状は２つの部分によって定義され得る。１つはピクセル４２の共役４５であり、もう１つは入射瞳４４である。ピクセル４２は、その非ヌル面及びその感度マップによって定義される。

このように、ピクセルビームは、２つの要素、すなわち、カメラのオブジェクト空間におけるピューピル５４及びピクセル４２の共役５５、によって支持されている、図５に示されるような一葉双曲面５０によって表され得る。

一葉双曲面は、光線束の概念をサポートすることができ且つ物理的な光ビームの“エテンデュ”の概念と互換性がある線織面（ruled surface）である。

一葉双曲面は線織面であるから、双曲面の回転軸（主光線と呼ばれる。）の周りを回転する少なくとも一群の直線（発生光線と呼ばれる。）は、そのような面を表す。双曲面の一群の発生光線に属するいずれかの発生光線及び主光線を定義するパラメータの知識は、ピクセルビーム４０、５０を定義するのに十分である。

ピクセルビーム４０、５０の一般式は、次の通りである：

ここで、（x₀，y₀，z₀）は、（x，y，z）座標系におけるピクセルビームのくびれの中心の座標であり、a，b，cは、夫々O_x，O_y，O_zに沿った半軸の長さに対応し、θ_x，θ_yは、入射瞳４４の中心に対する主光線の方向を定義する。それらは、センサ４３における及び光学系４１の光学素子におけるピクセル４２の位置に依存する。もっと正確に言えば、パラメータθ_x，θ_yは、ピューピル４４の中心からのピクセル４２の共役４５の方向を定義する剪断角を表す。しかし、ピクセルビーム４０、５０のそのような表現は、光線を記憶する古典的なファイルフォーマットが３Ｄ空間における位置及び方向を記憶することにあるので、膨大な記憶空間を利用する。ピクセルビームの表現を記憶するのに必要とされる記憶空間の量を減らす解決法は、図９Ｂを参照して後述される。

本来、主光線は、カメラのマイクロレンズアレイのマイクロレンズ中心を滑らかに通過するよう振る舞い、一方で、発生光線は、マイクロレンズの境界上でより強い偏向に見舞われる。発生光線のこのような乱れは、図９Ｂを参照して記載される方法を実施することを困難にする。これは、その方法が、順序付けられた光線群により作動するからである。このために、本発明の発明者は、図９Ｂに従う方法に、ソートされた発生光線群を供給するために、カメラのピクセルビームの一群のうちの発生光線をソートする方法を提案する。

図６Ａは、本発明の１つ以上の実施形態に従って、カメラのピクセルビームの一群のうちの発生光線を生成する装置の主要モジュールを概略的に表すブロック図である。

装置６００は、プロセッサ６０１、記憶ユニット６０２、入力装置６０３、表示装置６０４、及びインターフェイスユニット６０５を有し、これらはバス６０６によって接続されている。当然、コンピュータ装置６００の構成要素は、バス接続以外の接続によって接続されてよい。

プロセッサ６０１は装置６００の動作を制御する。記憶ユニット６０２は、プロセッサ６０１によって実行される、カメラのピクセルビームの一群のうちの発生光線をソートすることが可能な少なくとも１つのプログラムと、光捕捉システムの光学系２１０に関するパラメータ、プロセッサ６０１によって実行される計算によって使用されるパラメータ、プロセッサ６０１によって実行される計算の中間データ、などを含む様々なデータとを記憶する。プロセッサ６０１は、既知の適切なハードウェア若しくはソフトウェア、又はハードウェアとソフトウェアとの組み合わせによって形成されてよい。例えば、プロセッサ６０１は、処理回路のような専用のハードウェアによって、又はメモリに記憶されているプログラムを実行するＣＰＵ（Central Processing Unit）のようなプログラム可能な処理ユニットによって、形成されてよい。

記憶ユニット６０２は、コンピュータ読出可能な様態でプログラム、データ、又は同様のものを記憶することが可能な如何なる適切なストレージ又は手段によっても形成されてよい。記憶ユニット６０２の例には、半導体メモリ装置、並びに読み出し及び書き込みユニットにロードされる磁気、光学、若しくは光学磁気記録媒体のような、非一時的なコンピュータ可読記憶媒体がある。プログラムは、プロセッサ６０１に、光学系のオブジェクト空間において光線の組によって占有されるボリュームを表すパラメータを計算し、図９Ｂを参照して後述される本開示の実施形態に従って、光捕捉システムによって捕捉された画像によりそれらのパラメータを符号化するプロセスを実行させる。

入力装置６０３は、光学系のオブジェクト空間において光線の組によって占有されるボリュームのパラメータ表現を生成するために使用されるパラメータをユーザが選択するために、コマンドを入力するようユーザによって使用されるキーボード、マウスのような指示装置、又は同様のものによって形成されてよい。出力装置６０４は、本開示の実施形態に従って生成された画像を表示する表示装置、例えば、グラフィカルユーザインターフェイス（ＧＵＩ）によって形成されてよい。入力装置６０３及び出力装置６０４は、例えば、タッチスクリーンパネルによって一体的に形成されてよい。

インターフェイスユニット６０５は、装置６００と外部装置との間のインターフェイスを提供する。インターフェイスユニット６０５は、ケーブル又は無線通信を介して外部装置と通信可能であってよい。実施形態において、外部装置は、カメラ、又は携帯電話機、タブレット、などのような、そのようなカメラを組み込んだポータブル機器であってよい。

図６Ｂは、本発明の１つ以上の実施形態に従って、カメラのピクセルビームの一群を表すデータを生成する方法のステップを表すフローチャートである。

予備的ステップＳ６０１で、カメラのセンサのピクセルと関連する異なるピクセルビームを定義するパラメータ（x₀，y₀，z₀）、a，b，c、及びθ_x，θ_yが、カメラを較正することによって、あるいは、遠隔のサーバに又はカメラのメモリ２９０若しくはカメラへ接続されているフラッシュディスクのようなローカルの記憶ユニットに記憶されているデータファイルからそのようなパラメータを取り出すことによって、取得される。この取得又は較正は、装置６００のプロセッサ６０１によって実行されてよい。

パラメータ（x₀，y₀，z₀）、a，b，c、及びθ_x，θ_yの値の計算は、例えば、カメラの光学系を通る光線の伝播をモデル化することが可能なプログラムを実行することによって、実現される。そのようなプログラムは、例えば、Ｚｅｍａｘ、ＡＳＡＰ（登録商標）、又はＣｏｄｅ Ｖのような光学設計プログラムである。光学設計プログラムは、光学系を設計及び解析するために使用される。光学設計プログラムは、光学系を通る光線の伝播をモデル化し、そして、簡単なレンズ、非球面レンズ、グリン（gradient index）レンズ、鏡、回折光学素子、などのような光学素子の影響をモデル化することができる。光学設計プログラムは、装置６００のプロセッサ６０１によって実行され得る。

プロセッサ６０１によって実行されるステップＳ６０２で、ピクセルビームの主光線の剪断が取り除かれる。主光線を剪断しないことは、次のように書くことにある：

これは、主光線がO_zに平行である一葉双曲面を与える：

ここで、（バーx，バーy，z）は、双曲面の表面に属する点の座標であり、（x₀，y₀，z₀）は、考えられているピクセルビームのくびれの中心の座標である。

ステップＳ６０３で、プロセッサ６０１は、座標（x₀，y₀，z₀）の点上にある双曲面の中心を計算し、次いで、双曲面の正規化を計算する。これは次を与える：

よって、式（１）は、これより、次のように読める：

ピクセルビームを剪断せず、次いで中心を求め、正規化することは、（x，y，z）座標系を（X，Y，Z）座標系に変換する次の関数Tを使用するよう復帰する：

双曲面の中心軸はO_z軸であるから、この軸に属する２つの点は、（XYZ）座標系において次の組の座標（0，0，0）及び（0，0，1）を有している。元の座標系（x，y，z）において逆変換される双曲面の中心軸は、ピクセルビームの主光線ρ_Cである。

式（４）によって定義される双曲面は、発生光線の２つの集まりを有している：
・発生光線の第１の集まりは、如何なる

（外１）
（例えば、ζ＝１）についても、座標（1，0，0）の第１の点及び座標（1，ζ，ζ）の第２の点をつなぐ直線のO_z軸周りの回転によって与えられる。
・発生光線の第２の集まりは、如何なる

（外２）
についても、座標（1，0，0）の点及び座標（1，-ζ，ζ）の第３の点をつなぐ直線のO_z軸周りの回転によって与えられる。

元の座標系において逆変換されるそれらの発生光線のいずれもが、ピクセルビームの発生光線をρ_G0として選択される。

ステップＳ６０４で、発生光線ρ_G0は、それが主光線ρ_Cの周りで既知の位置付けを有するように選択される。

ピクセルビームの一群の中のピクセルビームが定義される（x，y，z）座標系は、例えば、図２Ａで表されている光捕捉システムの光学系２００の入射瞳に中心を置かれ、座標系のx軸が光捕捉システムのセンサ２２０のピクセルの行と平行であり、座標系のy軸が光捕捉システムのセンサ２２０のピクセルの列と平行であり、面xOyを定義する。

M_Cが主光線ρ_Cに属する点であり、M_G0が発生光線ρ_G0に属する点であるとして、面Πは点M_C及びM_G0を含む。面Πは、面xOyと平行であり、基準距離z_refに位置する。

主光線ρ_Cの周りの発生光線ρ_G0の位置付けは、φ₀によって与えられる。例えば、ベクトル

（外３）
（以降、「ベクトルM_CM_G0」と表記する。）が座標系のx軸と平行である場合に、角度φ₀=0である。角度φ₀及び基準距離z_refは、ピクセルビームの一群の中の全てのピクセルビームに共通である。

膨大な記憶空間を利用することなし、光の分極方位又は色情報のような、ピクセルビームを表す追加情報を運ぶために、この追加情報は、ピクセルビームの主光線ρ_C及び発生光線ρ_G0を表すパラメータに埋め込まれたスカラー値として記憶される。

この追加情報は、主光線ρ_Cの周りの発生光線ρ_G0の回転角φの値において運ばれる。ステップＳ６０５で、回転角φの値が計算される。

回転角φは、次の式によって与えられる：

ここで、λは、ピクセルビームに添付されたパラメータのスカラー値であり、λ_max及びλ_maxは夫々、λが選択されるインターバルの上限及び下限である。

本発明に従う方法の実施形態において、スカラー値λが光の偏向方向を表す場合に、光の偏向角は、基準軸に依存する一定の位相シフトを場合により伴って、回転角φの値として直接割り当てられ得る。

本発明に従う方法の実施形態において、色情報はＲＧＢを用いて表現される。Ｇは他の方法を用いて、例えば、ピクセルビームのリストと対応してリストにおいて記憶されると仮定しよう。このリストのおかげで、Ｇは、この場合に、各ピクセルビームと対応して利用可能である。

次いで、Ｒ及びＢは、本発明の実施形態に従う方法を用いて符号化される。スカラー値λは、例えば、これら２つの値Ｒ及びＢの組み合わせを表す。よって、我々は、Ｒ及びＢがｎビットで定義される場合に、k=2ⁿとしてλ=R+k・Bを定義した。

次いで、λ_min=0及びλ_max=(2ⁿ-1)+k・(2ⁿ-1)=2²ⁿ-1を設定することは、φを定義することを可能にする。色チャネルはいくつあっても、φ定量化の許す限り、同様に表現され得る。

本発明の実施形態に従う方法の以下の記載において、（XYZ）座標系において座標が（1，0，0）である点G₀及び（1，1，1）であるM₀は、（XYZ）座標系において初期発生光線ρ_G0を定義する。ピクセルビームの主光線ρ_Cが（XYZ）座標系におけるO_Z軸であるということで、主光線ρ_Cの周りの角度φ=φ₁-φ₀の回転は、回転行列によって与えられる：

ステップＳ６０６で、主光線ρ_Cの周りの角度φの回転によって発生光線ρ_G0（G₀，M₀）の画像をρ_G1（G₁，M₁）と指定すると、点G₁及びM₁の座標は次の式によって与えられる：

ステップＳ６０７で、ピクセルビームを表すデータの組が生成される。このデータの組は、発生光線ρ_G0の画像ρ_G1を表すパラメータ（G₁，M₁）と、主光線ρ_Cを表すパラメータとを含む。

主光線ρ_Cに対して相対的に発生光線ρ_G0の位置付けを表すパラメータ、すなわち、基準距離z_ref、角度φ₀、並びに面xOyに及び平面Πに関する情報は、ピクセルビームの一群の中の全てのピクセルビームに共通であり、所与のピクセルビームの一群について一度しかレンダリング装置へ送られる必要がなく、よって、送信及び処理されるデータの量を減らす。λが選択される上限及び下限を夫々定義するλ_max及びλ_minについても同じことが言える。

本発明に従う方法のステップＳ６０１からＳ６０７に従って計算される、ピクセルビームを表すそれらのパラメータは、次いで、ピクセルビームを表すコンパクトなフォーマットを提供するために、図９Ｂを参照して後述される方法において使用される。

基準距離z_ref、角度φ₀、面xOyに及び平面Πに関する情報、λが選択される上限及び下限を夫々定義する値λ_max及びλ_min、並びにピクセルビームの一群の中の各ピクセルビームについて、発生光線ρ_G0の画像ρ_G1を表すパラメータ（G₁，M₁）及び主光線ρ_Cを表すパラメータを含むデータの組を含むデータファイルを受信するレンダリング装置は、ピクセルビームの一群の中の全てのピクセルビームを再構成し、夫々のピクセルビームについてλの値を取り出すことができる。

面Πは面xOyと平行であり、面xOyから基準距離z_refに位置し、∩が共通集合を示すとして、M_C及びM₁はM_C=ρ_C∩Π及びM₁=ρ_G1∩Πによって定義されるので、M_G0は、ベクトルM_CM_G0が面Πにおいて方位φ₀を有するように定義される。次いで、面Πにおいて、次が成立する：

φの値が計算されると、λの値が次いで、次の式を計算することによって求められる：

記憶空間をそれほど必要としない、光線を記憶するためのファイルフォーマットを提案するために、ライトフィールド放射輝度の４つの次元をパラメータ化する方法は、図７Ａに表されている立方体を参照してよい。立方体の６つ全ての面は、ライトフィールドをパラメータ化するために使用され得る。方向をパラメータ化するために、立方体の面と平行な面の第２の組が加えられ得る。このようにして、ライトフィールドは、次のように、軸方向に沿って法線を伴う６対の平面に対して定義され得る：

図７Ｂは、ピクセルビームを定義する主光線及び発生光線のような、お互いに平行に位置付けられて既知の深さz₁及びz₂に夫々位置する、パラメータ化のために使用される２つの基準面Ｐ１及びＰ２を通るライトフィールド光線を表す。ライトフィールド光線は、交点（x₁，y₁）において深さz₁で第１基準面Ｐ１と交差し、交点（x₂，y₂）において深さz₂で第２基準面Ｐ２と交差する。このようにして、ライトフィールド光線は、４つの座標（x₁，y₁，x₂，y₂）によって特定され得る。ライトフィールドは、パラメータ化平面ともここで呼ばれる、パラメータ化のための一対の基準面Ｐ１、Ｐ２によってこのようにしてパラメータ化され得る。夫々のライトフィールド光線は、４Ｄ光線空間において（x₁，y₁，x₂，y₂）∈R⁴として表される。よって、これは、カメラのピクセルビームの一群の中の主光線及び発生光線について行われる。

例えば、基準座標系の原点は、座標軸系の基底ベクトル

（外４）
によって生成される面Ｐ１の中心に置かれてよい。

（外５）
（以降、「ベクトルk」と表記する。）軸は、生成された面Ｐ１の法線であり、第２の面Ｐ２は、簡単のために、ベクトルk軸に沿って面Ｐ１から距離z=Δに置かれ得る。伝播の６つの異なった方向を考慮するために、全体のライトフィールドは、６対のそのような面によって特性を示され得る。ライトスラブ（light slab）ともしばしば称される一対の面は、伝播の方向に沿ってライトフィールドカメラのセンサ又はセンサアレイと相互作用するライトフィールドの特性を示す。

パラメータ化のための基準面の位置は、次のように与えられ得る：

ここで、

（外６）
は法線であり、dは法線の方向に沿った３Ｄ座標系の原点からのオフセットである。

パラメータ化のための基準面のデカルト式は、次のように与えられる：

ライトフィールド光線が既知の位置：

（外７）
及び正規化された伝播ベクトル：

（外８）
を有している場合には、３Ｄにおける光線の一般パラメータ式は、次のように与えられ得る：

ライトフィールド光線と基準面との交点

（外９）
（以降、「ベクトルx₁」と表記する。）の座標は、次のように与えられる：

次の条件が満たされない場合には、ライトフィールド光線と基準パラメータ化との間には交点が存在しない：

ライトフィールドをパラメータ化するために使用される基準面の組のシステムの軸のうちの１つとの直交性により、光線交差の成分のうちの１つは夫々の面について常に一定である。従って、第１基準面とのライトフィールド光線の交差ベクトルx₁と、第２基準面とのそのライトフィールドの交差ベクトルx₂とが存在する場合に、４つの座標は変化し、式Ａは、ライトフィールド光線の４つのパラメータを計算するために使用され得る。それら４つのパラメータは、ライトフィールドの４Ｄ光線図を構築するために使用され得る。

２つのパラメータ化基準面を参照してライトフィールドのパラメータ化を考えると、ライトフィールドを表すデータは、次のように取得され得る。基準系が図８で表されているように設定される場合に、第１パラメータ化平面Ｐ１はz=z₁でｚ軸と垂直であり、第２パラメータ化平面Ｐ２はz=z₂でｚ軸と垂直であり、ライトフィールドパラメータがL(x₁;y₁;x₂;y₂)である光線は、ライトフィールドカメラのフォトセンサアレイが位置付けられている位置z=z₃でレンダリングされるべきである。式（Ａ）から：

上記の式を展開すると、次が得られる：

両組の式は、新しい位置で、レンダリングされるライトフィールド光線と同じ点ベクトルx₃を伝えるべきである。u_x，u_y，u_zを、ベクトルx₁及びベクトルx₂の関数として、それらの対応する式と置換することによって、前のブロックからの第２組の式が使用され、x₃及びy₃が一緒に加えられるならば：

式を導くと：

下付き文字３を有する座標は、ライトフィールドがレンダリングされる既知の点（x₃，y₃，z₃）に関する。全ての深さ座標z_iは知られている。パラメータ化平面は、伝播又はレンダリングの方向にある。ライトフィールドデータパラメータLは（x₁，y₁，x₂，y₂）である。

点（x₃，y₃，z₃）で画像を形成するライトフィールド光線は、

（外１０）
において超平面（hyper-plane）を定義する式（Ｂ）によって結合される。

これは、画像が２面パラメータ化されたライトフィールドからレンダリングされるべきである場合に、超平面の近くにある光線のみがレンダリングされる必要があることを意味し、それらの超平面をトレースする必要性はない。図９Ａは、本発明の１つ以上の実施形態に従って、ライトフィールドを表すデータを生成する方法のステップを説明するフローチャートである。図９Ｂは、本発明の１つ以上の実施形態に従って、ライトフィールドを表すデータを生成するシステムの主要なモジュールを概略的に表すブロック図である。

方法の予備的ステップＳ８０１で、主光線及び発生光線を定義するパラメータ、並びにカメラのセンサのピクセルに関連する異なるピクセルビームの主光線と発生光線のうちの１つとの間の最短距離dが取得される。それらのパラメータは、上述された、発生光線をソートする方法の結果として、求められる。

他の予備的ステップＳ８０２で、ロー・ライトフィールドデータがライトフィールドカメラ８０１によって取得される。ロー・ライトフィールドデータは、例えば、図３を参照して記載されるように、ミクロ画像の形をとってよい。ライトフィールドカメラは、図１Ａ又は１Ｂ及び２Ａ及び２Ｂで示されたようなライトフィールドカメラ装置であってよい。

ステップＳ８０３で、取得されたライトフィールドデータは、夫々の深さz₁、z₂でのパラメータ化のための一対の基準面Ｐ１、Ｐ２と、主光線及び発生光線に対応する捕捉されたライトフィールド光線との交差を定義する交点データ（x₁，y₁，x₂，y₂）を提供するよう、光線パラメータモジュール８０２によって処理される。

カメラの較正から、次のパラメータが決定される：投影の中心（x₃，y₃，z₃）、カメラの光軸の方位、及びカメラのピンホールからフォトセンサの面までの距離f。ライトフィールドカメラのパラメータは、図１０で説明される。フォトセンサ面は深さz_pに位置する。フォトセンサのピクセル出力は、ライトフィールド光線の形状記述に変換される。２つの基準面Ｐ１及びＰ２を有するライトスラブは、フォトセンサへのカメラの投影の中心の他方の側で、z₃を越えて、夫々深さz₁及びz₂に位置する。三角形の原理を光線に適用することによって、マイクロレンズのアレイから投影される光を記録するピクセル座標（x_p，y_p，z_p）は、次の式を適用することによって光線パラメータ、すなわち、基準面交点（x₁，y₁，x₂，y₂）にマッピングされ得る：

上記の計算は、異なる対のトリプル（x_p，y_p，z_p）（x₃，y₃，z₃）により複数のカメラに拡張され得る。

プレノプティックカメラの場合に、開口を有するカメラモデルが使用され、ライトフィールド光線は、原点（x_p，y_p，z_p）及び方向（x’₃，y’₃，1）を有するものとして位相空間において記述される。深さz₃での平面（x₃，y₃）へのその伝播は、マトリクス変換として記述され得る。レンズは、光線を屈折させるようＡＢＣＤマトリクスの機能を果たし、他のＡＢＣＤ伝播マトリクスは、ライトスラブ基準面Ｐ１及びＰ２の上に光線を至らせる。

このステップから、基準直線と交差する発生光線の交点を基準面Ｐ１、Ｐ２により幾何学的に定義する交点データ（x₁，y₁，x₂，y₂）が求められる。

ステップＳ８０４で、交点データ（x₁，y₁，x₂，y₂）を図式的に表す２Ｄ光線図が、光線図生成モジュール８０３によって取得される。

図１１は、開口|A|<0.5を有して位置x₃=2及び深さz₃=2にあるカメラによって捕捉されるライトフィールド光線の交点データ（x₁，x₂）を図式的に表す２Ｄ光線図である。パラメータ化するために使用される光線図のデータ線は、２５６×２５６個のピクセルの画像を提供する２５６個のセルによってサンプリングされる。

図１１に表されている光線図がマトリクスとして解釈される場合に、その分布が希薄であることが分かる。４Ｄ位相空間マトリクスの代わりに光線がファイルにおいて個々にセーブされたならば、これは、夫々の位置x_i又はx₃について少なくとも２バイト（int16）及び色について３バイト、すなわち、２Ｄスライスライトフィールド光線については光線ごとに７バイト、及びその完全４Ｄ表現については光線ごとに１１バイトを光線ごとにセーブする必要がある。それでも、光線は、ファイルにおいてランダムに記憶される。これは、表現を操作する必要がある用途にとって不適切であり得る。本発明の発明者は、光線図マトリクスから代表データのみを取り出し、データを構造化された様態でファイルに格納する方法を決定した。

ライトフィールド光線は２Ｄ図のデータ線に沿ってマッピングされるので、直線値自体よりもむしろデータ線を定義するパラメータを記憶する方が効率的である。例えば、パラメータsを定義する傾斜、及び軸インターセプトdのような、データ線を定義するパラメータは、そのデータ線に属するライトフィールド光線の組とともに記憶され得る。

これは、傾斜パラメータsのための２バイト、インターセプトパラメータdのための２バイト、及びその場合に光線ごとにたった３バイトしか必要としない。更に、光線は、ファイルにおいて線に沿って順序付けられてよい。マトリクスセルを通じて直線を設定するために、所謂デジタル線分（digital line）が生成され、最小限のエラーで光線を近似する。

データ線を位置付け、傾斜パラメータs及びインターセプトパラメータdを得るよう、ステップＳ８０５で、ラドン変換が、ステップＳ８０４で生成された光線図に対してライン検出モジュール８０４によって実行される。

得られた傾斜パラメータs及びインターセプトパラメータdから、代表的なデジタル線分が、ステップＳ８０６でデジタル線分生成モジュール８０５によって生成される。このステップで、デジタル線分は、分析線をその最も近いグリッド点に近似することによって、例えば、ブレゼンハムのアルゴリズムを適用することによって、生成される。実際に、ブレゼンハムのアルゴリズムは、最小限の演算でデジタル線分を供給する方法を提供する。他の方法は、高速離散ラドン変換計算を適用してよい。ブレゼンハム適用の例は、次の引例：
http:// www.cs.helsinki.fi/group/goa/mallinnus/lines/bresenh.html
から適応されるものである。

デジタルフォーマットは、グリッド（0，d）及び（N-1，s）の２つの点によってデータ線を定義する。dは、x₁=0の場合にx₂の値に対応する交点であり、sは、x₁=N-1の場合にx₂の値に対応する傾斜パラメータである。生成されたデジタルフォーマットから、夫々の個々の直線の傾斜aは、次のように、d、N及びsの関数として表現され得る：

ここで、s∈｛0，１，・・・，N-1｝及びd∈｛0，1，・・・，N-1｝である。

図１２は、ブレゼンハムのアルゴリズムの適用によって生成されるデジタル線分の例を表す。

図１３は、傾斜a（又はs-d）は同じであるがインターセプトdが異なるデジタル線分のグループを表し、そのデータ線分のグループは連続的である。データ線分のグループは、ここでは線束（bundle of lines）と呼ばれ、理想的にピンホールカメラでないカメラから生じるビームに対応する。夫々の線は異なるピクセルをアドレス指定する。言い換えれば、１つのピクセルは、傾斜が同じだがインターセプトが異なっている束の一意の線にのみ属する。軸交点dの上限及び下限は、d_max及びd_minとして夫々与えられる。

サンプリングされた線の対（２Ｄにおける。）によってパラメータ化され、１つのカメラに属する光線データは、データを表すために使用される位相空間においてデジタル線分の一群（ビーム）に属する。ビームのヘッダは、単に、軸交点の上限及び下限によって定義されるビームの厚さd_max-d_min及び傾斜aを含むことができる。光線の値は、ヘッダがd及びsであることができるデジタル線分に沿ってＲＧＢ色として記憶される。サンプリングされた空間における光線図のボイド（void）セルは記憶される必要がない。光線の座標x1；x2は、パラメータd、sから、及びデジタル線分に沿ったセルの位置から推定され得る。

ライトフィールドから又はカメラのジオメトリから推定されるパラメータは、傾斜a、デジタル線分インターセプトの下限及び上限（d_min，d_max）、並びにデジタル線分パラメータ（d_i，s_i）である。離散ラドン変換は、光線図におけるライトフィールドのサポート位置を測定するためのツールとして既に説明されている。

図１４Ｂは、図１４Ａのデータ線分のデジタル線分パラメータ空間（d，s）における離散ラドン変換を示す。図１４Ｃは、図１４Ｂに含まれる関心領域の拡大表示である。デジタル線分のビームは、最大値パラメータの探索によって見つけられる。画像コンテンツに起因して最大値の実際の位置とＤＲＴの対称性の幾何学的中心との間にはいくらかのオフセットが存在し得る。それにより、やがて、アルゴリズムは、最大値の代わりに対称性の中心を正確に示すために使用される。次いで、図１４Ｃに示されるビーム変換のくびれは、値（d_min，d_max）を与えるよう見つけるのが容易である。点（d_min=74，s=201）は、図１４Ａからのデジタル線分のビームの下包であり、点（d_max=81，s=208）は、デジタル線分のビームの上包である。

式Ｂからの２つの直交する２Ｄスライス空間の式は、次のように与えられる：

x_i座標についての２Ｄスライスがとられる場合に、（x₃，y₃，z₃）でサイズＡの開口を通る光線データがマッピングする直線のビームの式は、次のように与えられる：

同様に、２Ｄスライスがy_i座標についてとられる場合には：

上述されたように、m及びd_maxx、d_minx、d_maxy、d_minyの値は離散領域において評価され得る。上述されたフォーマットによって定義されるライトフィールドの特性をローカライズするよう、４Ｄ離散ラドン変換（ＤＲＴ）を実行する必要性はない。２つの直交する２Ｄ ＤＲＴが得られる場合に、超平面の傾きm及び、全てのデータが４Ｄ光線図に集中するデジタル超平面のビーム幅について計測が行われ得る。

このより簡単な位置決めプロシージャは、d_maxx、d_minx、d_maxy、d_minyが全ての超平面インターセプトを含むように、円形の入射瞳Ａを考える。フォーマットにおいて書かれているいくつかの値は、値を含まない。

２Ｄの場合のために提案されたものと同様である４Ｄの場合のためのフォーマットを得ることが関心を持たれている。そうするよう、Π（x₁，x₂）平面で見つけられる２Ｄ線分を、Π（y₁，y₂）平面で見つけられる線、すなわち、Π（x₁，x₂）及びΠ（y₁，y₂）の２つの直交するスライスとの対応する超平面の交差の結果である線、と関連付けることが関心をもたれている。式Ｄ及びＥから、対応する線が同じ傾斜mを有していることが知られている。これは、特定の深さにあるカメラについて、Π（x₁，x₂）における夫々の線をΠ（y₁，y₂）における線と関連付ける第１パラメータである。同じ深さで複数のカメラが存在する場合（図１４Ａの場合）に、mの同じ推定される傾斜を有して、Π（x₁，x₂）における３つの線、及びΠ（y₁，y₂）における３つの線が存在する。それらの２つの平面における線の間のラインオフセットにおける対応が次いで決定される。これを行うよう、式Ｄ及びＥにおける線の定式化が利用される。

特に、k=(z₂-z₁)/(z₃-z₁)を表すと、オフセットは次の通りである：

式の組はk、x₃及びy₃について解かれ得る。（x₃，y₃，z₃）はカメラの座標、又は言い換えれば、対応する光束が半径Ａの円に焦点を合わせられるところのボクセル、に対応する点に留意されたい。我々は、d_maxx-d_minx=d_maxy-d_miny=2kAであるように、z₃に位置する面上の開口が円形であると考えてきた。前の組の式を解くことによって：

デジタル線分は、ブレゼンハムのデジタル線分を用いて、Π（x₁，x₂）に対して、前述同様にスキャンされてよい。夫々の個々の（x₁，x₂）値について、ライトフィールドで捕捉された対応する（y₁，y₂）値が記憶される。そのような値を見つけるよう、式Ｃが利用される。以下（x3；y3；z3；z1；z2）は全て式Ｆ及びＧから知られるか又は推定される。

夫々の（x₁ ^q，x₂ ^q）についてΠ（x₁，x₂）において各線上で動くと、（y₁，y₂）における次の関係が求められる：

Π（x₁，x₂）における夫々の点について、Π（y₁，y₂）における線の一群がセーブされる。d_offは、（x₁ ^q，x₂ ^q）についてスキャン及びセーブされる線のオフセットに対応する。次の式が知られる：

図１２を参照して、夫々の正方形は（x₁ ^q，x₂ ^q）の点であり、それらの点の夫々１つについて、４Ｄ空間においてであるが、表されているデータ線に垂直であって、次の式によって定義されるデジタル束に沿って図の平面からはみ出るブレゼンハムのデジタル線分の組が存在する：

カメラごとのデータ線束のためのデータフォーマットの例は、表１において表される。

初めに、４Ｄ空間の一般的なメタデータが、４軸x₁，y₁，x₂，y₂の境界及びそれらの対応するサンプリングを含め、供給される。カメラ（束）の数も供給される。夫々のカメラjについて、次のパラメータがセーブされる：
開口のサイズ：A_j（ピクセルビームのピューピルの直径に対応する）
カメラの焦点：cam_j；焦点＝（u₃，u₃，w₃）
（x₁，x₂）における最低dインターセプト＝d_j
険しさ（steepness）＝m_j
（x₁，x₂）におけるデジタル線分の数＝l_j ^x
（y₁，y₂）におけるデジタル線分の数＝l_j ^xy。

夫々のカメラで、夫々の（x₁ ^q，x₂ ^q）について、スキャンすることは、ブレゼンハムのデジタル線分を用いて、式（Ｋ）に対して、（y₁，y₂）において開始され、夫々のライトフィールド光線のＲＧＢ値がセーブされる。特に、Y₃ ^*-Aからy₃ ^*+A及び対応するd_offは式（Ｋ）に従って計算される。

同じ計算は、記憶されたメタデータを用いて復号化ステップで行われる。特に、kは式（Ｈ）を用いて求められる。よって、フォーマットはコンパクトなままである。システムにおいて夫々の光線について４つのインデックスを記憶する必要性はない。上記の超平面のサンプリングは４Ｄ光線空間のサンプリングであり、よって、単一のx₁；y₁；x₂；y₂位置は見逃されないことが知られる。これは、非常にコンパクトな形式で全てのデータをセーブするための４Ｄ光線空間の系統的スキャニングのほんの一例である。他のプロセスが当然に適用されてよい。パラメータフォームは、インターリーブされた空間探査を可能にするので、超平面を探索するよう適応されるように見える。

超平面のいくつかの束（複数のカメラに起因したラドン変換におけるいくつかの最大値）を含むデータに作用する複数のカメラの場合に、より複雑なアルゴリズムが使用されてよい。前処理ステップとして、パラメータ（m，k）は、Π（x₁，x₂）のラドン変換において全てのピークについて求められ、１つの組に置かれる。同じことは（y₁，y₂）におけるピークについて行われ、パラメータは他の組に置かれる。これより、どん欲法（greedy algorithm）の夫々の繰り返しにおいて、最大ピーク強度は（x₁，x₂）の２Ｄラドン変換において求められ、（y₁，y₂）における対応するピークは、前に求められたパラメータ（m，k）を整合させることによって求められる。最後の部分で述べられたようにデータをセーブした後、それらのピークは、ラドン変換からクリアされ、次の繰り返しは、有意味なものがライトフィールドからなくなるまで、開始される。

本発明は、具体的な実施形態を参照して上述されてきたが、本発明は具体的な実施形態に制限されず、本発明の適用範囲内にある変更が当業者に明らかである。

多くの更なる変更及び変形は、上記の実例となる実施形態を参照することで当業者に示唆される。それらは、単に一例として与えられており、添付の特許請求の範囲によってのみ決定される本発明の適用範囲を制限するよう意図されない。特に、異なる実施形態からの異なる特徴は、必要に応じて交換されてよい。

Claims (15)

1. 光捕捉システムのセンサの少なくとも１つのピクセルが前記光捕捉システムのピューピルを通じて検知することができる光線の組によって占有される前記光捕捉システムのオブジェクト空間におけるボリュームを表すデータの組を生成する、コンピュータにより実施される方法であって、前記ボリュームがピクセルビームと呼ばれる前記方法において、
   前記ピクセルビームを表すパラメータの値に基づき、φと呼ばれる回転角の値を計算することと、
   一葉双曲面の回転軸である第２直線の周りで、第１発生光線と呼ばれる前記ピクセルビームを表す前記双曲面の表面を表現する第１直線の角度φの回転を計算し、該角度φの回転が前記第１発生光線を第２発生光線に変換することと、
   前記第２発生光線を表すパラメータ、前記双曲面の前記回転軸を表すパラメータ、及び前記双曲面の前記回転軸に対して相対的に前記第１発生光線の位置付けを表すパラメータを含む、前記ピクセルビームを表すデータの組を生成することと
   を有する方法。
2. M_Cが前記双曲面の前記回転軸に属し、M_G0が前記第１発生光線に属するとして、前記第１発生光線は、ベクトルM_CM_G0と前記角度φの回転が計算される座標系の軸との間の角度φ₀がゼロに等しいように、選択される、
   請求項１に記載の方法。
3. 前記双曲面の前記回転軸に対して相対的に前記第１発生光線の位置付けを表すパラメータは、前記角度φ₀と、前記座標系の原点とM_C及びM_G0を含む面との間の、基準距離と呼ばれる距離とを含む、
   請求項２に記載の方法。
4. λが前記ピクセルビームを表すパラメータの値であり、λ_max及びλ_minが、λが選択されるインターバルの夫々上限及び下限であるとして、前記回転角φは、φ=2π・(λ-λ_min)/(λ_max-λ_min)によって与えられる、
   請求項１乃至３のうちいずれか一項に記載の方法。
5. 前記ピクセルビームを表す前記データの組は、λ_max及びλ_minの値を更に含む、
   請求項４に記載の方法。
6. λは、光の分極方位又は色情報のような、前記ピクセルビームを表すパラメータの値である、
   請求項４に記載の方法。
7. 光捕捉システムのセンサの少なくとも１つのピクセルが前記光捕捉システムのピューピルを通じて検知することができる光線の組によって占有される前記光捕捉システムのオブジェクト空間におけるボリュームを表すデータの組を生成する装置であって、前記ボリュームがピクセルビームと呼ばれる前記装置において、
   前記ピクセルビームを表すパラメータの値に基づき、φと呼ばれる回転角の値を計算し、
   一葉双曲面の回転軸である第２直線の周りで、第１発生光線と呼ばれる前記ピクセルビームを表す前記双曲面の表面を表現する第１直線の角度φの回転を計算し、該角度φの回転が前記第１発生光線を第２発生光線に変化し、
   前記第２発生光線を表すパラメータ、前記双曲面の前記回転軸を表すパラメータ、及び前記双曲面の前記回転軸に対して相対的に前記第１発生光線の位置付けを表すパラメータを含む、前記ピクセルビームを表すデータの組を生成する
   よう構成されるプロセッサを有する装置。
8. ライトフィールドコンテンツをレンダリングする方法であって、
   光捕捉システムのセンサの少なくとも１つのピクセルが前記光捕捉システムのピューピルを通じて検知することができる光線の組によって占有される前記光捕捉システムのオブジェクト空間におけるボリュームを表す一葉双曲面の表面を表現する第１直線の回転角度φを、
   ・M_Cが前記双曲面の回転軸に属し、M_G0が第１発生光線に属するとして、ベクトルM_CM_G0と前記角度φの回転が計算される座標系の軸との間の角度φ₀と、前記座標系の原点とM_C及びM_G0を含む面との間の距離とを含む、前記双曲面の前記回転軸に対して相対的に前記第１発生光線の位置付けを表すパラメータと、
   ・第２発生光線を表すパラメータと、
   ・前記双曲面の前記回転軸を表すパラメータと
   を用いて、前記双曲面の前記回転軸である第２直線の周りで計算し、前記ボリュームが、前記第１発生光線と呼ばれるピクセルビームと呼ばれ、前記角度φの回転が前記第１発生光線を前記第２発生光線に変換することと、
   前記双曲面の前記回転軸を表すパラメータ及び前記第２発生光線を表すパラメータと、前記回転角度φの値に基づき前記ピクセルビームを表すパラメータの値とを用いて、前記ピクセルビームを計算することと、
   前記ライトフィールドコンテンツをレンダリングすることと
   を有する方法。
9. ライトフィールドコンテンツをレンダリングする装置であって、
   光捕捉システムのセンサの少なくとも１つのピクセルが前記光捕捉システムのピューピルを通じて検知することができる光線の組によって占有される前記光捕捉システムのオブジェクト空間におけるボリュームを表す一葉双曲面の表面を表現する第１直線の回転角度φを、
   ・M_Cが前記双曲面の回転軸に属し、M_G0が第１発生光線に属するとして、ベクトルM_CM_G0と前記角度φの回転が計算される座標系の軸との間の角度φ₀と、前記座標系の原点とM_C及びM_G0を含む面との間の距離とを含む、前記双曲面の前記回転軸に対して相対的に前記第１発生光線の位置付けを表すパラメータと、
   ・第２発生光線を表すパラメータと、
   ・前記双曲面の前記回転軸を表すパラメータと
   を用いて、前記双曲面の前記回転軸である第２直線の周りで計算し、前記ボリュームが、前記第１発生光線と呼ばれるピクセルビームと呼ばれ、前記角度φの回転が前記第１発生光線を前記第２発生光線に変換し、
   前記双曲面の前記回転軸を表すパラメータ及び前記第２発生光線を表すパラメータと、前記回転角度φの値に基づき前記ピクセルビームを表すパラメータの値とを用いて、前記ピクセルビームを計算する
   よう構成されるプロセッサを有し、
   前記装置は、前記ライトフィールドコンテンツをレンダリングするディスプレイを更に有する、装置。
10. 規則的な格子構造において配置されるマイクロレンズのアレイと、
    ピクセルの組を含み、ピクセルの各組が前記マイクロレンズのアレイの中の夫々のマイクロレンズと光学的に関連するフォトセンサ上に前記マイクロレンズのアレイから投影される光を捕捉するよう構成される前記フォトセンサと、
    メタデータを供給する請求項７に記載の装置と
    を有するライトフィールドイメージング装置。
11. 光捕捉システムのセンサの少なくとも１つのピクセルが前記光捕捉システムのピューピルを通じて検知することができる光線の組によって占有される前記光捕捉システムのオブジェクト空間におけるボリュームを表すデータの組を含むライトフィールドコンテンツを表す信号であって、
    前記ボリュームがピクセルビームと呼ばれ、該ピクセルビームを表す前記データの組は、
    第１発生光線と呼ばれる前記ピクセルビームを表す一葉双曲面の表面を表現する第１直線を表すパラメータであって、前記第１発生光線が、前記双曲面の回転軸である第３直線の周りで、第２発生光線と呼ばれる前記双曲面の前記表面を表現する第２直線に角度φの回転を適用することによって、得られる、前記パラメータと、
    前記双曲面の前記回転軸を表すパラメータと、
    前記双曲面の前記回転軸に対して相対的に前記第２発生光線の位置付けを表すパラメータと
    を含む、信号。
12. 通信ネットワークからダウンロード可能であり及び／又はコンピュータによって読み橋可能な媒体に記録され及び／又はプロセッサによって実行可能であるコンピュータプログラム製品であって、
    請求項１乃至６のうちいずれか一項に記載の方法を実施するプログラムコード命令を有するコンピュータプログラム製品。
13. プロセッサによって実行されることが可能であって、請求項１乃至６のうちいずれか一項に記載の方法を実施するプログラムコード命令を有するコンピュータプログラム製品が記録されている非一時的なコンピュータ可読媒体。
14. 通信ネットワークからダウンロード可能であり及び／又はコンピュータによって読み橋可能な媒体に記録され及び／又はプロセッサによって実行可能であるコンピュータプログラム製品であって、
    請求項８に記載の方法を実施するプログラムコード命令を有するコンピュータプログラム製品。
15. プロセッサによって実行されることが可能であって、請求項８に記載の方法を実施するプログラムコード命令を有するコンピュータプログラム製品が記録されている非一時的なコンピュータ可読媒体。