JP2019534606A - ライトフィールドデータを使用して場面を表す点群を再構築するための方法および装置 - Google Patents

Abstract

ライトフィールドデータを使用して場面を表す点群を再構築するための方法および装置。本発明は、場面を表す点群の再構築に関する。点群データは、膨大な量の記憶空間を占め、格納を厄介にして処理の効率を悪くする。この目的のため、センサー上にマッピングされる、センサーの異なる画素によって検知された光線を表すパラメータを含む場面を表す信号を符号化するための方法が提案される。第２のセットの符号化されたパラメータは、センサーの異なる画素によって検知された光線を表すパラメータからライトフィールドコンテンツを再構築するために使用され、深さを表す第３のセットのパラメータ、前記第１のセットのパラメータによって表される前記光線の、前記場面の少なくとも１つの物体との交点、および色データを表す第４のセットのパラメータが、受信側上で点群を再構築するために使用される。【選択図】図９

Description

本発明は、データおよびメタデータのセットの送信に関し、より詳細には、場面を表す点群の再構築を可能にするデータの送信に関する。

点群は、コンピュータグラフィックにおいて３Ｄ（３次元）場面を表すための良く知られている方法である。場面を点群として表すことは、この場面の異なる観点を見るのに役立つ。点群において、３Ｄ空間内の座標（ｘ，ｙ，ｚ）の各点はＲＧＢ値に対応する。しかし、場面は、強い連続性のない、空間内の点の集合としてのみ表される。

点群を表しているデータを圧縮することは、容易なタスクではない。実際に、点群に属している全ての点は、標準的なビデオにおけるように単純な矩形に配置されていないので、これらのデータを符号化する方法は簡単ではない。

さらに、点群表現は、膨大な量の記憶空間を占め、格納を厄介にして処理効率を悪くする。

本発明は前述を念頭に置いて考案されている。

本発明の第１の態様によれば、光学デバイスから取得された場面を表す信号を符号化するためのコンピュータ実装方法が提供され、前記方法は、前記光学デバイスのセンサーの少なくとも１つの画素に対して、
‐前記画素によって検知された光線を表す第１のセットのパラメータ、
‐第１のセットのパラメータから前記光線を再構築するために使用されることを意図した第２のセットのパラメータ、
‐前記第１のセットのパラメータによって表される前記光線の、前記場面の少なくとも１つの物体との交点の光学デバイスの光軸に沿った位置を表す第３のセットのパラメータ、
‐前記画素によって検知された前記場面の前記物体の色データを表す第４のセットのパラメータ
を符号化することを含み：
前記第３のセットのパラメータは、前記第４のセットのパラメータおよび前記再構築された光線と一緒に前記場面を表す点群を再構築するためである。

本発明の一態様に従った符号化方法に従って送信されるパラメータは、受信装置によって送信および処理されることと意図して場面を取得するために使用される光学系とは無関係である。

本発明の一態様に従った方法では、光学系のセンサーの異なる画素によって検知される光線を表すパラメータ、すなわち、第１のセットのパラメータのパラメータは、センサー上にマッピングされる。従って、これらのパラメータは、ピクチャと見なすことができる。例えば、光学系の画素によって検知される光線が４つのパラメータによって表現される場合、光学系のセンサーの画素によって検知される光線を表すパラメータは４つのピクチャにグループ化される。

かかるピクチャは、ＭＰＥＧ−４ ｐａｒｔ １０ ＡＶＣ（ｈ２６４とも呼ばれる）、ｈ２６５／ＨＥＶＣまたはそれらの後継になりそうなｈ２６６などの、ビデオ標準に従って符号化および送信でき、また結合されたビデオビットストリームで送信できる。第２の符号化セットは、付加拡張情報（ＳＥＩ）メッセージを使用して符号化され得る。本発明の一実施形態に従った方法で定義されるフォーマットは、データの強力な圧縮が、強い誤差（無損失符号化）または限られた量の誤差（ロッシー符号化）を取り込むことなく、送信されるのを可能にする。

本発明の一態様に従った方法は、光学デバイスによって直接取得されたデータに制限されない。これらのデータは、所与の場面記述のためにコンピュータによって完全に、または部分的にシミュレートされるコンピュータグラフィックス画像（ＣＧＩ）であり得る。別のデータ源は、変更されている後生成データ（ｐｏｓｔ−ｐｒｏｄｕｃｅｄ ｄａｔａ）、例えば、光学デバイスまたはＣＧＩから取得されたカラーグレードされたライトフィールドデータであり得る。現在では、光学取得装置を使用して取得されたデータ、およびＣＧＩデータの両方の混合であるデータを有することも、映画産業では一般的である。センサーの画素がコンピュータ生成場面システムによってシミュレートでき、延長線上で考えると、センサー全体が前記システムによってシミュレートできることが理解される。これ以降、「センサーの画素」または「センサー」への言及は、光学取得装置に取り付けられた物理的物体またはコンピュータ生成場面システムによって取得されたシミュレートされたエンティティのいずれかであり得ることを理解されたい。

かかる符号化方法は、前記場面を表す点群を再構築するためにコンパクトフォーマットでデータを符号化するのを可能にする。

符号化方法の一態様によれば、第１のセットのパラメータの少なくとも１つのパラメータは、前記光線の座標と、光学系の複数の画素によって検知された複数の光線の座標のセットに適合する平面との間の距離を表し、第２のセットのパラメータの少なくとも１つのパラメータは、適合平面の座標を表す。

計算された距離の異なる値間の較差は、通常、座標の異なる値間の較差よりも低いので、光線の座標と、センサーの異なる画素によって検知された複数の光線の座標のセットに適合する平面との間の距離を符号化すると、送信されるデータを圧縮するのを可能にする。

符号化方法の一態様によれば、第１のセットのパラメータの少なくとも１つのパラメータは、
‐前記画素によって検知された光線を表す値と、センサーの行において前記画素に先行する別の画素によって検知された光線を表す値との間の差、または
‐前記画素がセンサーの行の第１の画素である場合、前記画素によって検知された光線を表す値と、前記画素が属する行に先行する行の第１の画素によって検知された光線を表す値との間の差
を表す。

光線を表す値は、その光線を表す座標または、その座標と、センサーの異なる画素によって検知された複数の光線の座標のセットに適合する平面との間の距離のいずれかであり得る。

これは、送信されるパラメータの異なる値間の較差を削減することによりデータの圧縮を可能にする。

符号化方法の一態様によれば、第１のセットのパラメータのパラメータを符号化するために独立したコーデックが使用される。

符号化方法の一態様によれば、第２のセットのパラメータが、第１のセットのパラメータの最後の送信以後に、第１のセットのパラメータが変化していないことを示すパラメータを含む場合、前記第２のセットのパラメータだけが送信される。

これは、復号装置に送信されるデータの量を削減するのを可能にする。

本発明の別の目的は、光学デバイスから取得された場面を表す信号を符号化するための装置に関し、前記装置は、前記光学デバイスのセンサーの少なくとも１つ画素に対して：
‐前記画素によって検知された光線を表す第１のセットのパラメータ、
‐前記第１のセットのパラメータから前記光線を再構築するために使用されることを意図した第２のセットのパラメータ、
‐前記第１のセットのパラメータによって表される前記光線の、前記場面の少なくとも１つの物体との交点の光学デバイスの光軸に沿った位置を表す第３のセットのパラメータ、
‐前記画素によって検知された前記場面の前記物体の色データを表す第４のセットのパラメータ
を符号化するように構成されたプロセッサを含み、
前記第３のセットのパラメータは、前記第４のセットのパラメータおよび前記再構築された光線と一緒に前記場面を表す点群を再構築するためのものである。

本発明の別の態様は、光学デバイスから取得された場面を表す点群を再構築するための方法に関し、前記方法は：
‐次を含む信号：
・前記光学デバイスのセンサーの少なくとも１つの画素によって検知された光線を表す第１のセットのパラメータ、
・復号された第１のセットのパラメータからライトフィールドコンテンツを再構築するために使用されることを意図した第２のセットのパラメータ、
・前記第１のセットのパラメータによって表される前記光線の、前記場面の少なくとも１つの物体との交点の光学デバイスの光軸に沿った位置を表す第３のセットのパラメータ、
・前記画素によって検知された前記場面の前記物体の色データを表す第４のセットのパラメータ
を復号すること、
‐復号された第１のセットのパラメータ、復号された第２のセットのパラメータ、復号された第３のセットのパラメータおよび復号された第４のセットのパラメータに基づいて前記点群を再構築すること
を含む。

本発明の一態様によれば、前記点群を再構築することは、
‐センサーの少なくとも１つの画素に対して：
・前記光線の、前記場面の少なくとも１つの物体との交点に対応する点の３次元空間内の位置、
・前記点がそれに沿って光学デバイスによって見られる視野角、
を計算すること、
‐前記計算された点に、センサーの前記画素によって検知された色データを表すパラメータを関連付けること
を含む。

本発明の別の態様は、光学デバイスから取得された場面を表す点群を再構築するための装置に関し、前記装置は：
‐次を含む信号：
・前記光学デバイスのセンサーの少なくとも１つの画素によって検知された光線を表す第１のセットのパラメータ、
・復号された第１のセットのパラメータからライトフィールドコンテンツを再構築するために使用されることを意図した第２のセットのパラメータ、
・前記第１のセットのパラメータによって表される前記光線の、前記場面の少なくとも１つの物体との交点の光学デバイスの光軸に沿った位置を表す第３のセットのパラメータ、
・前記画素によって検知された前記場面の前記物体の色データを表す第４のセットのパラメータ
を復号すること、
‐復号された第１のセットのパラメータ、復号された第２のセットのパラメータ、復号された第３のセットのパラメータおよび復号された第４のセットのパラメータに基づいて前記点群を再構築すること
を行うように構成されたプロセッサを含む。

本発明の別の態様は、光学デバイスから取得された場面を表す信号を符号化するために装置によって送信される信号に関し、前記信号は、前記光学デバイスのセンサーの少なくとも１つの画素に対して：
‐前記画素によって検知された光線を表す第１のセットのパラメータ、
‐第１のセットのパラメータから前記光線を再構築するために使用されることを意図した第２のセットのパラメータ、
‐前記第１のセットのパラメータによって表される前記光線の、前記場面の少なくとも１つの物体との交点の光学デバイスの光軸に沿った位置を表す第３のセットのパラメータ、
‐前記画素によって検知された前記場面の前記物体の色データを表す第４のセットのパラメータ
を含む、メッセージを伝達し、
前記第３のセットのパラメータは、前記第４のセットのパラメータおよび前記再構築された光線と一緒に前記場面を表す点群を再構築するためである。

本発明の別の目的は、光学デバイスから取得された場面を表すデータを含むデジタルファイルであり、前記データは、前記光学デバイスのセンサーの少なくとも１つの画素に対して：
‐前記画素によって検知された光線を表す第１のセットのパラメータ、
‐第１のセットのパラメータから前記光線を再構築するために使用されることを意図した第２のセットのパラメータ、
‐前記第１のセットのパラメータによって表される前記光線の、前記場面の少なくとも１つの物体との交点の光学デバイスの光軸に沿った位置を表す第３のセットのパラメータ、
‐前記画素によって検知された前記場面の前記物体の色データを表す第４のセットのパラメータ
を含み、
前記第３のセットのパラメータは、前記第４のセットのパラメータおよび前記再構築された光線と一緒に前記場面を表す点群を再構築するためである。

本発明の要素によって実装されるいくつかのプロセスは、コンピュータ実装され得る。その結果、かかる要素は、完全にハードウェア実施形態、完全にソフトウェア実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）または全て一般に、本明細書で「回路」、「モジュール」もしくは「システム」と呼ばれ得るソフトウェアおよびハードウェアの態様を組み合わせた実施形態の形を取り得る。さらに、かかる要素は、媒体内に具現化されたコンピュータ利用可能プログラムコードを有する任意の有形的表現媒体で具現化されたコンピュータプログラム製品の形を取り得る。

本発明の要素はソフトウェアで実装できるので、本発明は、プログラマブル装置への提供のためにコンピュータ可読コードとして任意の適切なキャリア媒体上で具現化できる。有形的キャリア媒体は、フロッピィディスク、ＣＤ−ＲＯＭ、ハードディスクドライブ、磁気テープ装置またはソリッドステートメモリ装置および同様のもの、などの記憶媒体を含み得る。一時的キャリア媒体は、電気信号、電子信号、光信号、音響信号、磁気信号または電磁信号、例えば、マイクロ波もしくはＲＦ信号、などの信号を含み得る。

ここで、本発明の態様を、ほんの一例として、以下の図を参照して、説明する：

本発明の一実施形態に従った、ライトフィールドカメラ装置のブロック図である。 ライトフィールドデータフォーマット化モジュールの潜在的な実施態様の特定の実施形態を例示するブロック図である。 パラメータ化のために使用される２つの基準面Ｐ_１およびＰ_２を通過する光線を例示する。 既知の深さｚ_３に位置する基準面Ｐ_３を通過する光線を例示する。 本発明の一実施形態に従い、ライトフィールドデータをフォーマット化するための方法のステップを例示するフローチャートである。 本発明の一実施形態に従い、光学デバイスから取得された場面を表す信号を符号化するための方法のステップを例示するフローチャートである。 本発明の一実施形態に従い、ライトフィールドデータをフォーマット化するための方法のステップを例示するフローチャートである。 ４つの独立したモノクロコーデックを使用して受信側に送信される場合の

マップ、

マップまたは

マップを表す。
単一の画像にグループ化された場合の

マップ、

マップまたは

マップを表す。
本発明の一実施形態に従い、３Ｄ空間内の点を再構築するために使用される２つの基準面Ｐ_１およびＰ_２を通過する光線を表す。 本開示の一実施形態に従い、点群を再構築するための装置の例を例示する概略ブロック図である。 本発明の一実施形態に従い、光学デバイスから取得された場面を表す点群を再構築するための方法のステップを例示するフローチャートである。

当業者によって理解されるように、本原理の態様は、システム、方法またはコンピュータ可読媒体として具現化できる。それに応じて、本原理の態様は、完全にハードウェア実施形態、完全にソフトウェア実施形態、（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）または全て一般に、本明細書で「回路」、「モジュール」もしくは「システム」と呼ばれ得るソフトウェアおよびハードウェアの態様を組み合わせた実施形態の形を取り得る。さらに、本原理の態様は、コンピュータ可読記憶媒体の形を取り得る。１つ以上のコンピュータ可読記憶媒体（複数可）の任意の組合せが利用され得る。

本発明の実施形態は、場面を表す点群を再構築するためのライトフィールドデータのフォーマット化に依存する。かかる点群は、再フォーカシング、視点の変更などの、さらなる処理適用のために使用される。提供されるフォーマット化は、ライトフィールドデータおよび点群を、受信側上で処理するために、それの適切で容易な再構築を可能にする。提供されるフォーマットの利点は、それが、ライトフィールドデータを取得するために使用される装置に依存しないこと、およびそれが場面をコンパクトなフォーマットで表す点群の再構築のために必要な全てのデータの送信を可能にすることである。

図１は、本発明の一実施形態に従った、ライトフィールドカメラ装置のブロック図である。ライトフィールドカメラは、開口部／シャッター１０２、主（対物）レンズ１０１、マイクロレンズアレイ１１０および光センサーアレイを含む。いくつかの実施形態では、ライトフィールドカメラは、物体または場面のライトフィールド画像を捕捉するために作動されるシャッターレリーズを含む。

光センサーアレイ１２０は、ライトフィールドデータフォーマット化モジュール１５０によるライトフィールドデータフォーマットの生成のため、および／またはライトフィールドデータプロセッサ１５５による処理のために、ＬＦデータ取得モジュール１４０によって取得されるライトフィールド画像データを提供する。ライトフィールドデータは、取得後および処理後に、メモリ１９０内に生データフォーマットで、多視点画像（ｓｕｂ ａｐｅｒｔｕｒｅ ｉｍａｇｅ）もしくはフォーカルスタックとして、または本発明の実施形態に従ったライトフィールドデータフォーマットで、格納され得る。

図解例では、ライトフィールドデータフォーマット化モジュール１５０およびライトフィールドデータプロセッサ１５５は、ライトフィールドカメラ１００内に配置されるか、またはそれに組み込まれる。本発明の他の実施形態では、ライトフィールドデータフォーマット化モジュール１５０および／またはライトフィールドデータプロセッサ１５５は、ライトフィールド捕捉カメラ外部の別個の構成要素内に提供され得る。別個の構成要素は、ライトフィールド画像捕捉装置に関してローカルまたはリモートであり得る。ライトフィールド画像データをフォーマット化モジュール１５０またはライトフィールドデータプロセッサ１５５に送信するために任意の適切な有線または無線プロトコルが使用され得；例えば、ライトフィールドデータプロセッサは、捕捉されたライトフィールド画像データおよび／または他のデータを、インターネット、セルラーデータネットワーク、ＷｉＦｉネットワーク、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信プロトコル、および／または任意の他の適切な手段を介して転送し得ることが理解されるであろう。

ライトフィールドデータフォーマット化モジュール１５０は、本発明の実施形態に従って、取得されたライトフィールドを表すデータを生成するように構成される。ライトフィールドデータフォーマット化モジュール１５０は、ソフトウェア、ハードウェアまたはそれらの組合せで実装され得る。

ライトフィールドデータプロセッサ１５５は、例えば、本発明の実施形態に従って、フォーマット化されたデータおよびメタデータを生成するために、ＬＦデータ取得モジュール１４０から直接受信した生のライトフィールド画像データに関して操作するように構成される。例えば、捕捉された場面の静止画像、２Ｄビデオストリーム、および同様のものなどの出力データが生成され得る。ライトフィールドデータプロセッサは、ソフトウェア、ハードウェアまたはそれらの組合せで実装され得る。

少なくとも１つの実施形態では、ライトフィールドカメラ１００は、コントローラ１７０によってカメラ１００の動作を制御するためにユーザーがユーザー入力を提供するのを可能にするためのユーザーインタフェース１６０も含み得る。カメラの制御は、シャッター速度などのカメラの光学パラメータの制御、または調整可能ライトフィールドカメラの場合には、マイクロレンズアレイと光センサーとの間の相対距離、もしくは対物レンズとマイクロレンズアレイとの間の相対距離の制御の１つ以上を含み得る。いくつかの実施形態では、ライトフィールドカメラの光学素子間の相対距離は、手動で調整可能であり得る。カメラの制御は、カメラの他のライトフィールドデータ取得パラメータ、ライトフィールドデータフォーマット化パラメータまたはライトフィールド処理パラメータの制御も含み得る。ユーザーインタフェース１６０は、タッチスクリーン、ボタン、キーボード、ポインティングデバイス、および／または同様のものなどの、任意の適切なユーザー入力装置（複数可）を含み得る。このように、ユーザーインタフェースによって受信された入力は、データフォーマット化を制御するためにＬＦデータフォーマット化モジュール１５０を、取得されたライトフィールドデータの処理を制御するためにＬＦデータプロセッサ１５５を、およびライトフィールドカメラ１００を制御するためにコントローラ１７０を、制御ならびに／または構成するために使用できる。

ライトフィールドカメラは、１つ以上の交換式または充電式電池などの、電源１８０を含む。ライトフィールドカメラは、捕捉されたライトフィールドデータおよび／もしくは処理されたライトフィールドデータまたは本発明の実施形態の方法を実装するためのソフトウェアなどの他のデータを格納するためのメモリ１９０を含む。メモリは、外部および／または内部メモリを含むことができる。少なくとも１つの実施形態では、メモリはカメラ１００から離れた装置および／または位置で提供できる。一実施形態では、メモリは、メモリスティックなどの、取外し可能／交換可能な記憶装置を含む。

ライトフィールドカメラは、捕捉前にカメラの前の場面を表示するため、ならびに／または以前に捕捉および／もしくはレンダリングした画像を表示するために、ディスプレイユニット１６５（例えば、ＬＣＤ画面）も含み得る。画面１６５は、１つ以上のメニューまたは他の情報をユーザーに表示するためにも使用され得る。ライトフィールドカメラは、ファイアーワイヤもしくはユニバーサルシリアルバス（ＵＳＢ）インタフェース、またはインターネット、セルラーデータネットワーク、ＷｉＦｉネットワーク、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信プロトコル、および／もしくは任意の他の適切な手段を介したデータ通信のための有線もしくは無線通信インタフェースなどの、１つ以上のＩ／Ｏインタフェース１９５をさらに含み得る。Ｉ／Ｏインタフェース１９５は、本発明の実施形態に従いＬＦデータフォーマット化モジュールによって生成されたライトフィールド表現データ、および生のライトフィールドデータまたはＬＦデータプロセッサ１５５によって処理されたデータなどのライトフィールドデータ、などのデータを、レンダリング適用のために、コンピュータシステムまたはディスプレイユニットなどの外部装置に、および外部装置から、転送するために使用され得る。

図２は、ライトフィールドデータフォーマット化モジュール２５０およびライトフィールドデータプロセッサ２５３の潜在的な実施態様の特定の実施形態を例示するブロック図である。

回路２００は、メモリ２９０、メモリコントローラ２４５および１つ以上の処理装置（ＣＰＵ（複数可））を含む処理回路２４０を含む。１つ以上の処理装置２４０は、メモリ２９０内に格納された様々なソフトウェアプログラムおよび／または命令セットを実行して、ライトフィールドデータフォーマット化およびライトフィールドデータ処理を含む様々な機能を実行するように構成される。メモリ内に格納されたソフトウェア構成要素は、本発明の実施形態に従って取得された光データを表すデータを生成するためのデータフォーマット化モジュール（または命令セット）２５０、および本発明の実施形態に従ってライトフィールドデータを処理するためのライトフィールドデータ処理モジュール（または命令セット）２５５を含む。他のモジュールは、全般的なシステムタスク（例えば、電源管理、メモリ管理）を制御するため、および装置２００の様々なハードウェアとソフトウェア構成要素との間の通信を容易にするためのオペレーティングシステムモジュール２５１、ならびにＩ／Ｏインタフェースポートを介して他の装置との通信を制御および管理するためのインタフェースモジュール２５２などの、ライトフィールドカメラ装置の利用のためにメモリ内に含まれ得る。

本発明の実施形態は、カメラのセンサーの画素によって検知されたか、もしくはコンピュータ生成場面システムによってシミュレートされた光線およびそれらの空間内での配向に基づくか、またはより一般的には、光学デバイスのセンサーの、ライトフィールドデータの表現に依存している。実際に、別のライトフィールドデータ源は、変更されている後生成データ、例えば、光学デバイスまたはＣＧＩから取得されたカラーグレードされたライトフィールドデータであり得る。現在では、光学取得装置を使用して取得されたデータ、およびＣＧＩデータの両方の混合であるデータを有することも、映画産業では一般的である。センサーの画素がコンピュータ生成場面システムによってシミュレートでき、延長線上で考えると、センサー全体が前記システムによってシミュレートできることが理解される。これ以降、「センサーの画素」または「センサー」への言及は、光学取得装置に取り付けられた物理的物体またはコンピュータ生成場面システムによって取得されたシミュレートされたエンティティのいずれかであり得ることを理解されたい。

取得システムのタイプが何であれ、前記取得システムのセンサーの画素に対して、取得システム外部の空間内の、少なくとも線形光軌道、または光線が対応することが分かっていれば、３次元（または３Ｄ）空間内の光線を表すデータが計算される。

第１の実施形態で、図３は、相互に平行に配置されて、それぞれ既知の深さｚ_１およびｚ_２に位置付けられた、パラメータ化のために使用される２つの基準面Ｐ_１およびＰ_２を通過する光線を例示する。ｚ方向、または深さ方向は、ライトフィールドデータを取得するために使用された光学デバイスの光軸の方向に対応する。

光線は、交点（ｘ_１，ｙ_１）において深さｚ_１で第１の基準面Ｐ_１と交差し、交点（ｘ_２，ｙ_２）において深さｚ_２で第２の基準面Ｐ_２と交差する。このように、ｚ_１およびｚ_２を所与として、光線は４つの座標（ｘ_１，ｙ_１，ｘ_２，ｙ_２）によって識別できる。ライトフィールドは従って、本明細書でパラメータ化平面とも呼ばれる、パラメータ化のための一対の基準面Ｐ_１、Ｐ_２によってパラメータ化でき、各光線は４Ｄ光線空間内の点（ｘ_１，ｙ_１，ｘ_２，ｙ_２）∈Ｒ^４として表現される。

図４で示された第２の実施形態では、光線は、既知の深さｚ_３に位置する基準面Ｐ_３と光線の交点によってパラメータ化される。光線は、交点（ｘ_３，ｙ_３）において深さｚ_３で基準面Ｐ_３と交差する。空間内で光線の方向を提供する、正規化ベクトルＶは、次の座標：

を有しており、

が正であると仮定されて、ｖ_ｘおよびｖ_ｙが分かっていれば再計算できるので、ベクトルはその２つの最初の座標（ｖ_ｘ，ｖ_ｙ）によってのみ記述できる。

この第２の実施形態によれば、光線は、４つの座標（ｘ_３，ｙ_３，ｖ_ｘ，ｖ_ｙ）によって識別され得る。ライトフィールドは従って、本明細書でパラメータ化平面とも呼ばれる、パラメータ化のための基準面Ｐ_３によってパラメータ化でき、各光線は４Ｄ光線空間内の点（ｘ_３，ｙ_３，ｖ_ｘ，ｖ_ｙ）∈Ｒ^４として表現される。

４Ｄ光線空間内で光線を表すパラメータは、ライトフィールドデータフォーマット化モジュール１５０によって計算される。図５は、本発明の一実施形態に従い、カメラ１００によって取得されたライトフィールドデータをフォーマット化するための方法のステップを例示するフローチャートである。この方法は、ライトフィールドデータフォーマット化モジュール１５０によって実行される。

ライトフィールド取得システムがピンホールモデルを使用して較正される場合、基本的な投影モデルは、歪みなしで、次の式によって与えられ：

式中、
・ｆは、カメラ１００の主レンズの焦点距離であり、
・ｃ_ｕおよびｃ_ｖは、カメラ１００の光軸とセンサーの交点の座標であり、
・（Ｘ_ｃ，Ｙ_ｃ，Ｚ_ｃ，１）^Ｔは、カメラによって検知された空間内の点のカメラ座標系内の位置であり、
・（ｕ，ｖ，１）^Ｔは、その座標がカメラ座標系内の（Ｘ_ｃ，Ｙ_ｃ，Ｚ_ｃ，１）^Ｔである点のカメラのセンサー上への投影の、センサー座標系における、座標である。

ステップ５０１で、ライトフィールドデータフォーマット化モジュール１５０は、その座標が、センサー座標系内の（ｕ，ｖ，１）^Ｔであるセンサーの画素によって検知される空間内の光線の方向を表すベクトルＶの座標を計算する。センサー座標系で、ベクトルＶの座標は：

である。

ピンホールモデルでは、その座標が（ｕ，ｖ，１）^Ｔである画素によって検知された光線の、ピンホールから座標Ｚ_１に位置して、センサー面と平行な平面との交点の座標は：

であり、ステップ５０２の間に計算される。

いくつかの取得、すなわち、異なるタイプのカメラによるライトフィールドデータの取得が混合される場合、単一の座標系が使用される。この状況では、点およびベクトルの座標の修正は、それに応じて変更されるべきである。

本発明の一実施形態によれば、カメラのセンサーの画素によって検知されて、ステップ５０１および５０２の間に計算された光線を定義する座標のセットがマップに再グループ化される。別の実施形態では、光線は、光線の伝搬をシミュレートするコンピュータ生成場面システムによって直接計算される。

本発明の一実施形態では、これらのマップは受信側に送信される場面のカラーマップおよび深さマップと関連付けられる。従ってこの実施形態では、カメラのセンサーの各画素（ｕ，ｖ）に対して、所与の画素によって検知された光線に関連する深さデータを表すパラメータおよび同じ所与の画素によって検知された同じ光線に関連する色データを表すパラメータならびに光線がパラメータ化のための一対の基準面Ｐ_１、Ｐ_２によってパラメータ化される場合は（ｘ_１，ｙ_１，ｘ_２，ｙ_２）、または光線が正規化ベクトルによってパラメータ化される場合は（ｘ_３，ｙ_３，ｖ_ｘ，ｖ_ｙ）のいずれかに対応する浮動小数点値の４つ組（Ｘ_１ Ｘ_２ Ｘ_３ Ｘ_４）が対応する。以下の説明では、浮動小数点値の４つ組（Ｘ_１ Ｘ_２ Ｘ_３ Ｘ_４）は：

によって与えられる。

別の実施形態では、取得システムはピンホールモデルを使用して較正されず、その結果として、２つの平面によるパラメータ化はモデルから再計算されない。代わりに、２つの平面によるパラメータ化は、カメラの較正動作中に測定される必要がある。これは、例えば、カメラの主レンズとセンサーとの間にマイクロレンズアレイが含まれるピンホールカメラの場合であり得る。

さらに別の実施形態では、これらのマップは、コンピュータ生成場面システムによって直接シミュレートされるか、または取得されたデータから後生成される。

カメラのセンサーの画素によって検知された光線は浮動小数点の４つ組（Ｘ_１ Ｘ_２ Ｘ_３ Ｘ_４）によって表されるので、これら４つのパラメータをパラメータの４つのマップ、例えば、カメラのセンサーの画素によって検知された各光線のパラメータＸ_１を含む第１のマップ、カメラのセンサーの画素によって検知された各光線のパラメータＸ_２を含む第２のマップ、カメラのセンサーの画素によって検知された各光線のパラメータＸ_３を含む第３のマップおよびカメラのセンサーの画素によって検知された各光線のパラメータＸ_４を含む第４のマップ、に入れることが可能である。Ｘ_ｉマップと呼ばれる、前述の４つのマップの各々は、取得されたライトフィールド画像自体と同じサイズをもつが、浮動小数点コンテンツを有する。

隣接した画素によって検知された光線を表して光線の集合を配列するパラメータ間の強い相関、およびその結果として、それらを表すパラメータを考慮に入れるいくつかの適応後、これらの４つのマップはビデオデータ用と同様のツールを使用して圧縮できる。

浮動小数点（Ｘ_１ Ｘ_２ Ｘ_３ Ｘ_４）の値を圧縮し、結果として送信されるＸ_ｉマップのサイズを削減するために、ライトフィールドデータフォーマット化モジュール１５０は、ステップ５０３で、各Ｘ_ｉマップに対して、Ｘ_ｉマップ内に含まれる前記パラメータＸ_ｉの値に適合する平面の式を計算する。パラメータＸ_ｉに対する適合平面の式は：

によって与えられ、式中、ｕおよびｖは、カメラのセンサーの所与の画素の座標である。

ステップ５０４で、各Ｘ_ｉマップに対して、パラメータα_ｉ、β_ｉ、γ_ｉは、誤差を最小限にするために計算される：

ステップ５０４の計算の結果は、パラメータ：

で、パラメータＸ_ｉの値の、前記パラメータＸ_ｉの値の適合平面との差に対応し、Ｘ_ｉマップ内に含まれる値の較差がはるかに低い範囲となる。

ステップ５０５で、

を計算することにより、値

を圧縮することが可能である。

次いで、ステップ５０６で、以前のパラメータＸ_ｉの値

は、パラメータ

の値が０〜２^Ｎ−１（両端値を含む）の範囲になるように計算され得、Ｎは、送信されるライトフィールドデータを符号化するために使用されることを意図した符号器の容量に対応する選択されたビット数である。パラメータ

の値は：

によって与えられる。

ステップ５０７で、ライトフィールドデータフォーマット化モジュール１５０は、カメラのセンサーの画素によって検知された光線を表すパラメータ（Ｘ_１ Ｘ_２ Ｘ_３ Ｘ_４）の各々に対応する、４つのマップ、

マップ、

マップ、

マップおよび

マップを生成する。

ステップ５０８で、ライトフィールドデータフォーマット化モジュール１５０は、ＳＥＩ（付加拡張情報）メッセージのコンテンツを生成する。ＳＥＩメッセージの前記コンテンツは、元の

マップを取得するために、受信側上での逆計算（ｒｅｃｉｐｒｏｃａｌ ｃｏｍｐｕｔａｔｉｏｎ）中に使用されることを意図した次の固定パラメータ

を含む。これら４つのパラメータは、ＳＥＩメッセージで伝達されるメタデータと考えられ、その内容は次の表によって与えられる：

受信側で、元の

マップを取得するのを可能にする逆計算は、

によって与えられる。

図６は、本発明の一実施形態に従い、光学デバイスから取得された場面を表す信号を符号化するための方法のステップを例示するフローチャートである。この方法は、例えば、ライトフィールドデータプロセッサモジュール１５５によって実行される。

ステップ６０１で、ライトフィールドデータプロセッサモジュール１５５は、ステップ５０７中に、ライトフィールドデータフォーマット化モジュール１５０によって生成された４つの

マップを取得する。４つの

マップは、メッセージ内に埋め込まれるか、またはメモリなどから取得され得る。

ステップ６０２で、ライトフィールドデータプロセッサモジュール１５５は、元の

マップを取得するために受信側で逆計算中に使用されることを意図した次の固定パラメータ

を含むＳＥＩメッセージを生成する。

ステップ６０３で、ライトフィールドデータプロセッサモジュール１５５は、ライトフィールドコンテンツに関連した場面の物体の深さ情報を含む深さマップを取得する。深さマップは、カメラのセンサーの各画素に対する深さ情報を含む。深さマップは、別の装置から受信されるか、またはメモリなどから取得され得る。

センサーの画素に関連した深さ情報は、例えば、前記画素によって検知された光線の、前記場面の少なくとも１つの物体との交点の光学デバイスの光軸に沿った位置である。

かかる深さマップは、例えば、カメラ間視差推定によって計算され、次いで、複数のカメラを含む実施形態における較正データのおかげで、深さに変換され得る。深さマップが特定の較正で各カメラと位置合わせされる、深さセンサーがシステム内にあり得る。

関連付けられた深さデータが、モノクロフォーマットで格納されて、ビデオコーダ（ＭＰＥＧ−４ ＡＶＣ、ＨＥＶＣ、ｈ２６６、．．．）または画像コーダ（ＪＰＥＧ、ＪＰＥＧ２０００、ＭＪＥＧ）で符号化され得る。いくつかのセンサーが存在する場合、色データおよび深さデータは、３ＤＨＥＶＣ（マルチビュー符号化＋深さ）コーデックを使用して一緒に符号化できる。

深さ情報は、ｚ方向に２つの異なる基準を有し得、前記ｚ方向は、場面を取得するために使用される光学デバイスの光軸の方向に対応する。深さ情報は、平面ｚ１の位置に、または世界座標系に関連して定義されているかどうかであり得る。前記情報は、メタデータメッセージ内に定義される：

ステップ６０４で、ライトフィールドデータプロセッサモジュール１５５は、例えば、ライトフィールドコンテンツに関連した場面の物体のＲＧＢ情報を含む、カラーマップを取得する。カラーマップは、カメラのセンサーの各画素に対する色情報を含む。カラーマップは、別の装置から受信されるか、またはメモリなどから取得され得る。

ステップ６０５で、

マップ、カラーマップ、深さマップおよびＳＥＩメッセージは、３Ｄ（３次元）空間内の点の形式のライトフィールドコンテンツを、前記点の配向に関連した情報、すなわち、その点がセンサーの画素によって検知される視点、と一緒にレンダリングするために、これらのデータが処理される受信側に少なくとも送信される。

ライトフィールドデータを表すマップのサイズを、それらの受信側への送信前に、さらに削減することが可能である。次の実施形態は、誤差の最小化から成るものの補完である：

図７に表す第１の実施形態では、

マップは低空間周波数の値を含むので、空間内の一方向における信号の導関数（ｄｅｒｉｖａｔｉｖｅ）だけを送信することが可能である。

例えば、

座標（０，０）の画素に関連したパラメータＸ_ｉの値を所与として、ライトフィールドデータフォーマット化モジュール１５０は、ステップ６０１で、座標（１，０）の画素に関連したパラメータＸ_ｉの値

と、座標（０，０）の画素に関連したパラメータＸ_ｉの値

との間の差

を計算する：

より一般的に、ステップ７０１中に、ライトフィールドデータフォーマット化モジュール１５０は、センサーの所与の画素に関連したパラメータＸ_ｉの値と、光学系のセンサーの行内の所与の画素に先行する別の画素に関連したパラメータＸ_ｉの、またはコンピュータ生成場面システムの、値との間の差を計算する：

所与の画素がセンサーの行の第１の画素である場合、ライトフィールドデータフォーマット化モジュール１５０は、所与の画素に関連したパラメータＸ_ｉの値と、所与の画素が属する行に先行する行の第１の画素に関連したパラメータＸ_ｉの値との間の差を計算する：

ステップ７０２で、ステップ６０２中に生成された、

マップ、カラーマップ、深さマップおよびＳＥＩメッセージは、ライトフィールドコンテンツをレンダリングするためにこれらのデータが処理される受信側に少なくとも送信される。

第２の実施形態では、

マップ、

マップまたは

マップは、超低空間周波数を有する値を含むので、

マップの両方の次元において空間ダウンサンプリングを実行し、次いで、前記

マップの送信されたサンプル間で線形補間を行うことにより受信側上で完全な

マップを回復することが可能である。

例えば、マップのサイズを、Ｎ＿行＊Ｍ＿列からＮ＿行／２＊Ｍ＿列／２に削減できる場合。受信時にマップは元のサイズに拡張でき；生じた穴は補間方法（または所謂アップサンプリングプロセス）によって充填できる。単純な双線形補間が一般に十分である。

図８に示されている第３の実施形態では、各

マップ、

マップまたは

マップは、例えば、ｈ２６５／ＨＥＶＣなどの、４つの独立したモノクロコーデックを使用して受信側に送信され得る。

第４の実施形態では、

マップ、

マップまたは

マップは、図９に示されるような単一画像にグループ化され得る。この目標に到達するために、一方法は、第２の実施形態におけるように、サブサンプリング方法を使用して、マップのサイズを１／２に減らすこと、次いで、

マップ、

マップまたは

マップを、カラーマップと同じサイズをもつ画像の各象限に結合することから成る。この方法は、いくつかのフレームを単一フレームにパックするので、通常、「フレームパッキング」と命名される。復号器がフレームを適切に解凍できるように、フレームパッキングが実行されている方法を信号通知するために、例えば、ＳＥＩメッセージ内で、十分なメタデータが送信されるべきである。単一フレームにパックされたマップは次いで、例えば、ｈ２６５／ＨＥＶＣなどであるが、それらに制限されず、単一のモノクロコーデックを使用して送信できる。

この場合、表１に示すようなＳＥＩメッセージは、４つのマップを単一フレームにパックするために使用されているフレームパッキング方法を示すフラグも含む必要がある（表１ｂを参照）。

いくつかのカメラがリグ（ｒｉｇ）を形成するためにグループ化される場合、単一の世界座標系およびすべてのカメラに共通な２つのパラメータ化平面を定義する方が良くて、より一貫性がある。次いで、記述メッセージ（例えば、ＳＥＩ）は、表２に示すように、各カメラに対して、共通の情報（表現タイプ、ｚ１およびｚ２）＋４つのマップ（

マップ、

マップまたは

の記述パラメータを含むことができる。

その場合、

マップ、

マップまたは

マップは、例えば、ＭＰＥＧマルチビュービデオ符号化（ＭＶＣ）またはＭＰＥＧマルチビュー高性能ビデオ符号化（ＭＶ−ＨＥＶＣ）などの、構成のマルチビュー態様を考慮に入れるモノクロコーデックを使用して、受信側に送信され得る。

第５の実施形態では、

マップ、

マップまたは

マップの修正は、ある期間、無効であり、これらの

マップ、

マップまたは

はスキップされるとマークを付けられて、受信側に送信されない。この場合、ＳＥＩメッセージは、

マップ、

マップまたは

に関して、それらの最後の送信以降、変更が行われていないことを受信側に示すフラグを含む。かかるＳＥＩメッセージの内容が表３に示されている。

第６の実施形態では、

マップ、

マップまたは

で表される、取得システムパラメータの修正は、時間内にゆっくりと変更されるので、それらを、カラーマップのフレームレートよりも遅いフレームレートで受信側に送信することは価値がある。

マップ、

マップまたは

の送信頻度は、少なくともＩＤＲフレームのものでなければならない。

第７の実施形態では、カラーマップはＹＵＶまたはＲＧＢフォーマットを使用し、例えば、ＭＰＥＧ−４ ＡＶＣ、ｈ２６５／ＨＥＶＣ、もしくはｈ２６６などのビデオコーダ、またはＪＰＥＧ、ＪＰＥＧ２０００、ＭＪＥＧなどの画像コーダで符号化される。ライトフィールドコンテンツを取得するためにいくつかのカメラが使用される場合、カラーマップは、ＭＶ−ＨＥＶＣコーデックを使用して相対的に符号化され得る。

図１０は、光学デバイスのセンサーの画素によって検知された光線Ｒを表し、前記光線Ｒは、本発明の一実施形態に従い、光学デバイスから取得された場面の点群を再構築するために使用される２つの基準面Ｐ_１およびＰ_２を通過する。光線Ｒは、前記場面の物体Ｏと交差する。ｚ_ｃａｍによって示す方向は、光学デバイスの光軸の方向に対応する。

図１１は、本開示の一実施形態に従い、場面を表す点群を再構築するための装置の例を示す概略ブロック図である。

装置１１００は、プロセッサ１１０１、記憶装置１１０２、入力装置１１０３、ディスプレイ装置１１０４、およびバス１１０６によって接続されるインタフェースユニット１１０５を含む。言うまでもなく、コンピュータ装置１１００の構成要素は、バス接続以外の接続によって接続され得る。

プロセッサ１１０１は、装置１１００の動作を制御する。記憶装置１１０２は、プロセッサ１１０１によって実行される少なくとも１つのプログラム、ならびにライトフィールドカメラによって捕捉および提供された４Ｄライトフィールド画像のデータ、プロセッサ１１０１によって実行される計算によって使用されるパラメータ、プロセッサ１１０１によって実行された計算の中間データなどを含む、様々なデータを格納する。プロセッサ１１０１は、任意の既知で適切なハードウェア、またはソフトウェア、またはハードウェアおよびソフトウェアの組合せによって形成され得る。例えば、プロセッサ１１０１は、処理回路などの、専用ハードウェアによって、またはそのメモリ内に格納されたプログラムを実行するＣＰＵ（中央処理装置）などのプログラマブル処理装置によって形成され得る。

記憶装置１１０２は、任意の適切なストレージ、またはプログラム、データ、もしくは同様のものをコンピュータ可読方法で格納可能な手段によって形成され得る。記憶装置１１０２の例は、半導体メモリ装置、ならびに読取りおよび書込みユニットにロードされる磁気、光学、または光磁気記録媒体などの、持続性コンピュータ可読記憶媒体を含む。プログラムは、図１２を参照して説明するように、本開示の一実施形態に従い、プロセッサ１１０１に場面を表す点群を再構築させる。

入力装置１１０３は、キーボード、ユーザーによりコマンドを入力するために使用される、マウスなどのポインティングデバイスによって形成され得る。出力装置１１０４は、例えば、グラフィカルユーザーインタフェース（ＧＵＩ）、本開示の一実施形態に従って生成された点群を表示するためのディスプレイ装置によって形成され得る。入力装置１１０３および出力装置１１０４は、例えば、タッチスクリーンパネルによって一体的に形成され得る。

インタフェースユニット１１０５は、装置１１００と外部装置との間のインタフェースを提供する。インタフェースユニット１１０５は、ケーブルまたは無線通信を介して外部装置と通信可能であり得る。一実施形態では、外部装置はライトフィールドカメラであり得る。この場合、ライトフィールドカメラによって捕捉された４Ｄライトフィールド画像のデータは、ライトフィールドカメラから、インタフェースユニット１１０５を通して装置１１００に入力でき、次いで、記憶装置１１０２に格納できる。

この実施形態では、装置１１００は、ライトフィールドカメラから分離されていて、それらは、ケーブルまたは無線通信を経由して相互に通信可能であるとして模範的に説明されているが、装置１１００は、かかるライトフィールドカメラと統合できることに留意すべきである。この後者の場合、装置１１００は、例えば、ライトフィールドカメラを埋め込んだタブレットまたはスマートフォンなどの、携帯機器であり得る。

図１２は、本発明の一実施形態に従い、光学デバイスから取得された場面を表す点群を再構築するための方法のステップを例示するフローチャートである。この方法は、例えば、装置１１００のプロセッサ１１０１によって実行される。

ステップ１２０１で、装置１１００は、光学デバイスによって取得された場面に関連した

マップ、カラーマップ、深さマップおよびＳＥＩメッセージを受信する。

ステップ１２０２で、プロセッサ１１０１は、場面の物体を表す３Ｄ（３次元）空間内の点をセンサーの各画素に対して再構築するために、

マップ、カラーマップ、深さマップ、およびＳＥＩメッセージ内に含まれる固定パラメータ

を処理し、前記点はセンサーの前記画素によって検知される。

実際に、その深さｚ_ｐが分かれば、３Ｄ空間内で点Ｐの座標ｘ_ｐおよびｙ_ｐを見つけることが可能である。この場合、４つのパラメータＸ_１、Ｘ_２、Ｘ_３、Ｘ_４は、検討される画素によって検知された光線の、２つのパラメータ化平面Ｐ_１およびＰ_２との交点の２つの点を定義できるようにする。

点Ｐは、図９に示すような２つのパラメータ化平面Ｐ_１およびＰ_２との交点のこれら２つの点によって定義される光線に属し、装置１１００によって受信された深さマップ内の画素に関連した深さ値である深さｚ＝ｚ_ｐに位置する。

を取得するための式は従って、

すなわち

点Ｐは、所与の視野角下で光学デバイスによって見られる。

マップおよび固定パラメータ

はライトフィールドデータであるため、点Ｐがカメラによって見られる視野角を定義するベクトル

を計算することが可能である。

従って、ステップ１２０３で、プロセッサ１１０１はベクトル

の座標を次のように計算する：

ステップ１２０１〜１２０３は、光学デバイスから取得された場面を表す点群を生成するために、光学デバイスのセンサーの全ての画素に対して実行される。

所与の場面の全ての画素に対して計算された点Ｐの集合は点群と呼ばれる。点ごとに視野角と関連付けられた点群は「有向（ｏｒｉｅｎｔｅｄ）」点群と呼ばれる。点群を構成する点の前記配向は、カメラのセンサーの画素によって検知された光線を表すパラメータ（Ｘ_１ Ｘ_２ Ｘ_３ Ｘ_４）の各々に対応する、４つのマップ、

マップ、

マップ、

マップおよび

マップ、のおかげで取得される。

その相対位置が較正されているいくつかのカメラによって場面が見られる場合、同じ点Ｐに対して、異なるカメラと関連付けられた異なる視野角および色を入手することが可能である。それは、場面に関してより多くの情報をもたらして、例えば、光源位置および／または材料の反射特性の抽出を支援できる。言うまでもなく、２つの異なるカメラによって取得されたデータの再投影は、同じ点Ｐにぴったりとは一致しないであろう。所与の位置の周辺への近接は、この範囲内の２つの再投影は、空間内の同じ点に関連すると考えると定義される。

本発明は上で特定の実施形態を参照して説明されているが、本発明は特定の実施形態に制限されず、本発明の範囲内に含まれる修正は当業者には明らかであろう。

さらに多くの修正および変形が、ほんの一例として提供されて、添付のクレームによってのみ決定される本発明の範囲を制限することを意図していない、前述の例示的な実施形態を参照すれば、当業者には思い付くであろう。具体的には、異なる実施形態からの異なる特徴が、適切な場合には、置き換えられ得る。

Claims (13)

1. 光学デバイスから取得された場面を表す信号を符号化するためのコンピュータ実装方法であって、前記方法は、前記光学デバイスのセンサーの少なくとも１つの画素に対して、
   ‐前記画素によって検知された光線を表す第１のセットのパラメータと、
   ‐前記第１のセットのパラメータから前記光線を再構築するために使用されることを意図した第２のセットのパラメータと、
   ‐前記第１のセットのパラメータによって表される前記光線の、前記場面の少なくとも１つの物体との交点の前記光学デバイスの光軸に沿った位置を表す第３のセットのパラメータと、
   ‐前記画素によって検知された前記場面の前記物体の色データを表す第４のセットのパラメータと
   を符号化することを含み、
   前記第３のセットのパラメータは、前記第４のセットのパラメータおよび前記再構築された光線と一緒に、前記場面を表す点群を再構築するためのものである、
   コンピュータ実装方法。
2. 前記第１のセットのパラメータの少なくとも１つのパラメータは、前記光線の座標と、前記光学系の複数の画素によって検知された複数の光線の座標のセットに適合する平面との間の距離を表し、前記第２のセットのパラメータの少なくとも１つのパラメータは、前記適合平面の座標を表す、請求項１に記載の方法。
3. 前記第１のセットのパラメータの少なくとも１つのパラメータが、
   ‐前記画素によって検知された前記光線を表す値と、前記センサーの行において前記画素に先行する別の画素によって検知された光線を表す値との間の差、または
   ‐前記画素が前記センサーの行の第１の画素である場合、前記画素によって検知された前記光線を表す値と、前記画素が属する前記行に先行する行の第１の画素によって検知された光線を表す値との間の差
   を表す、請求項１に記載の方法。
4. 前記第１のセットのパラメータの前記パラメータを符号化するために独立したコーデックが使用される、請求項１から３のいずれかに記載の方法。
5. 前記第２のセットのパラメータが、前記第１のセットのパラメータの最後の送信以後に、前記第１のセットのパラメータが変化していないことを示すパラメータを含む場合、前記第２のセットのパラメータだけが送信される、請求項１から４のいずれかに記載の方法。
6. 光学デバイスから取得された場面を表す信号を符号化するための装置であって、前記装置は、前記光学デバイスのセンサーの少なくとも１つ画素に対して：
   ‐前記画素によって検知された光線を表す第１のセットのパラメータと、
   ‐前記第１のセットのパラメータから前記光線を再構築するために使用されることを意図した第２のセットのパラメータと、
   ‐前記第１のセットのパラメータによって表される前記光線の、前記場面の少なくとも１つの物体との交点の前記光学デバイスの光軸に沿った位置を表す第３のセットのパラメータと、
   ‐前記画素によって検知された前記場面の前記物体の色データを表す第４のセットのパラメータと
   を符号化するように構成されたプロセッサを含み、
   前記第３のセットのパラメータは、前記第４のセットのパラメータおよび前記再構築された光線と一緒に前記場面を表す点群を再構築するためのものである、
   装置。
7. 光学デバイスから取得された場面を表す点群を再構築するためのコンピュータ実装方法であって、前記方法は：
   ‐次を含む信号：
   ・前記光学デバイスのセンサーの少なくとも１つの画素によって検知された光線を表す第１のセットのパラメータ、
   ・前記復号された第１のセットのパラメータから前記ライトフィールドコンテンツを再構築するために使用されることを意図した第２のセットのパラメータ、
   ・前記第１のセットのパラメータによって表される前記光線の、前記場面の少なくとも１つの物体との交点の前記光学デバイスの光軸に沿った位置を表す第３のセットのパラメータ、
   ・前記画素によって検知された前記場面の前記物体の色データを表す第４のセットのパラメータ
   を復号することと、
   ‐前記復号された第１のセットのパラメータ、前記復号された第２のセットのパラメータ、前記復号された第３のセットのパラメータおよび前記復号された第４のセットのパラメータに基づいて前記点群を再構築することと
   を含む、コンピュータ実装方法。
8. 前記点群を再構築することは、
   ‐前記センサーの少なくとも１つの画素に対して：
   ・前記光線の、前記場面の少なくとも１つの物体との前記交点に対応する点の３次元空間内の位置と、
   ・前記点がそれに沿って前記光学デバイスによって見られる視野角と
   を計算することと、
   ‐前記計算された点に、前記センサーの前記画素によって検知された前記色データを表す前記パラメータを関連付けることと
   を含む、請求項７に記載の方法。
9. 光学デバイスから取得された場面を表す点群を再構築するための装置であって、前記装置は：
   ‐次を含む信号：
   ・前記光学デバイスのセンサーの少なくとも１つの画素によって検知された光線を表す第１のセットのパラメータ、
   ・前記復号された第１のセットのパラメータから前記ライトフィールドコンテンツを再構築するために使用されることを意図した第２のセットのパラメータ、
   ・前記第１のセットのパラメータによって表される前記光線の、前記場面の少なくとも１つの物体との交点の前記光学デバイスの光軸に沿った位置を表す第３のセットのパラメータ、
   ・前記画素によって検知された前記場面の前記物体の色データを表す第４のセットのパラメータ
   を復号することと、
   ‐前記復号された第１のセットのパラメータ、前記復号された第２のセットのパラメータ、前記復号された第３のセットのパラメータおよび前記復号された第４のセットのパラメータに基づいて前記点群を再構築することと
   を行うように構成されたプロセッサを含む、
   装置。
10. 光学デバイスから取得された場面を表す信号を符号化するために装置によって送信される信号であって、前記信号は、前記光学デバイスのセンサーの少なくとも１つの画素に対して：
    ‐前記画素によって検知された光線を表す第１のセットのパラメータと、
    ‐前記第１のセットのパラメータから前記光線を再構築するために使用されることを意図した第２のセットのパラメータと、
    ‐前記第１のセットのパラメータによって表される前記光線の、前記場面の少なくとも１つの物体との交点の前記光学デバイスの光軸に沿った位置を表す第３のセットのパラメータと、
    ‐前記画素によって検知された前記場面の前記物体の色データを表す第４のセットのパラメータと
    を含む、メッセージを伝達し、
    前記第３のセットのパラメータは、前記第４のセットのパラメータおよび前記再構築された光線と一緒に前記場面を表す点群を再構築するためのものである、
    信号。
11. 光学デバイスから取得された場面を表すデータを含むデジタルファイルであって、前記データは、前記光学デバイスのセンサーの少なくとも１つの画素に対して：
    ‐前記画素によって検知された光線を表す第１のセットのパラメータと、
    ‐前記第１のセットのパラメータから前記光線を再構築するために使用されることを意図した第２のセットのパラメータと、
    ‐前記第１のセットのパラメータによって表される前記光線の、前記場面の少なくとも１つの物体との交点の前記光学デバイスの光軸に沿った位置を表す第３のセットのパラメータと、
    ‐前記画素によって検知された前記場面の前記物体の色データを表す第４のセットのパラメータと
    を含み、
    前記第３のセットのパラメータは、前記第４のセットのパラメータおよび前記再構築された光線と一緒に前記場面を表す点群を再構築するためのものである、
    デジタルファイル。
12. コンピュータプログラムであって、前記プログラムがプロセッサによって実行される場合に請求項１から５のいずれかに記載の前記方法の前記実装のためのプログラムコード命令を含むことを特徴とする、コンピュータプログラム。
13. コンピュータプログラムであって、前記プログラムがプロセッサによって実行される場合に請求項７から８のいずれかに記載の前記方法の前記実装のためのプログラムコード命令を含むことを特徴とする、コンピュータプログラム。

Images