JP2018033127A - ライトフィールド・コンテンツを表す信号を符号化する方法および装置 - Google Patents

Abstract

【課題】ライトフィールド・コンテンツを表す信号を符号化する方法及び装置を提供する。【解決手段】ライトフィールド・コンテンツを表す信号を符号化する方法は、光学的な取得システムのセンサの種々の画素によって感知される光線を表す第１の組のパラメータを符号化することと、第１の組のパラメータからライトフィールド・コンテンツを再構築するために使用される第２の組のパラメータを符号化することを含み、コンピュータによって実施される。【選択図】図８

Description

本発明は、一組のデータおよびメタデータの送信に関し、より具体的には、ライトフィールド・コンテンツの送信に関する。

４次元、または４Ｄライトフィールド・データの取得は、４Ｄライトフィールドのサンプリング、すなわち、光線を記録したものとして視聴することができ、このことは、Ａｎａｔ Ｌｅｖｉｎ氏らの論文「ライトフィールド投影のベイズ分析を通じたカメラ・トレードオフの理解（Ｕｎｄｅｒｓｔａｎｄｉｎｇ ｃａｍｅｒａ ｔｒａｄｅ−ｏｆｆｓ ｔｈｒｏｕｇｈ ａ Ｂａｙｅｓｉａｎ ａｎａｌｙｓｉｓ ｏｆ ｌｉｇｈｔ ｆｉｅｌｄ ｐｒｏｊｅｃｔｉｏｎｓ）」によって説明されている。この論文は、２００８年コンピュータ・ビジョン欧州会議（ＥＣＣＶ２００８）の会議議事録で公開されている。

カメラから取得される旧来の二次元または２Ｄ画像画像と比較して、４Ｄライトフィールド・データは、より多くのユーザがポストプロセッシングの機能にアクセスできるようにし、これにより、画像のレンダリングおよびユーザとのインタラクティビティを向上させる。例えば、４Ｄライトフィールド・データを用いて、自由に選択した焦点距離を用いて画像のリフォーカシングを実行することができ、これは、焦点面の位置を事後的に特定／選択できるとともに、画像のシーンにおける視点を僅かに変更できることを意味する。

４Ｄライトフィールド・データを表現するための幾つかの方法が存在する。実際、２００６年７月に公開されたＲｅｎ Ｎｇ氏による「ディジタル・ライトフィールド・フォトグラフィ（Ｄｉｇｉｔａｌ Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ）」と題された博士論文の３．３章においては、４Ｄライトフィールド・データを表現するための３つの異なる方法が記載されている。第１に、４Ｄライトフィールド・データは、マイクロ・レンズ画像を集めたものにより、プレノプティック・カメラで記録した際に表現することができる。この表現における４Ｄライトフィールド・データは、生画像、または４Ｄライトフィールド・データと呼ばれる。第２に、４Ｄライトフィールド・データは、一組のサブアパーチャ画像により、プレノプティック・カメラで、または、カメラ・アレイで記録した際に表現することができる。サブアパーチァ画像は、視点からのシーンのキャプチャされた画像に対応する。視点は、２つのサブアパーチァ画像間で僅かに異なる。これらのサブアパーチァ画像は、画像シーンの視差および深度についての情報を与えるものである。第３に、４Ｄライトフィールド・データは、一組のエピポーラ画像によって表現することができる。例えば、２０１１年国際シンポジウム・ビジュアル・コンピューティング（ＩＳＶＣ２０１１）に公開されたＳ． Ｗａｎｎｅｒ氏らの「単一のレンズ焦点プレノプティック・カメラを用いた４ＤライトフィールドのＥＰＩ表現の生成（Ｇｅｎｅｒａｔｉｎｇ ＥＰＩ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｏｆ ａ ４Ｄ Ｌｉｇｈｔ Ｆｉｅｌｄｓ ｗｉｔｈ ａ Ｓｉｎｇｌｅ Ｌｅｎｓ Ｆｏｃｕｓｅｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ）」と題された論文を参照されたい。

ライトフィールド・データは、大容量の記憶スペースを占有するため、記憶が困難であり、処理効率を低下させる。さらに、ライトフィールド取得装置間での違いは大きい。ライトフィールド・カメラには異なるタイプのもの、例えば、プレノプティック・アレイまたはカメラ・アレイがある。各タイプ内で、異なる光学的な構成または異なる焦点距離のマイクロ・レンズなど、多くの差異が存在する。各カメラは、独自のファイル・フォーマットを有する。現在のところ、ライトフィールドが依存する相異なるパラメータを網羅的に取り扱うための、多次元情報の取得および送信を標準的にサポートする規格は存在しない。種々の様々なカメラから取得されるライトフィールド・データが有するフォーマットに多様性があるため、受信機側での処理が複雑となっている。

本発明は、上述した内容を考慮して考案されたものである。

本発明の第１の態様によれば、コンピュータによって実施される、ライトフィールド・コンテンツを表す信号を符号化する方法が提供される。この方法は、
センサの少なくとも１つの画素について、この画素によって感知される光線を表す第１の組のパラメータを符号化することと、
第１の組のパラメータからライトフィールド・コンテンツを再構築するために使用されるようにされた第２の組のパラメータを符号化することと、を含む。

本発明の一態様に係る符号化方法に従って送信されるパラメータは、送信され、受信機によって処理されるようにされたライトフィールド・コンテンツを取得するために使用される光学的な取得システムとは独立している。

本発明の一態様による方法において、光学的な取得システムのセンサの種々の画素によって感知される光線を表すパラメータ、すなわち、第１の組のパラメータのうちの上記パラメータは、センサにマッピングされる。したがって、これらのパラメータは、ピクチャとみなすことができる。例えば、光学的な取得システムの画素によって感知される光線が４つのパラメータによって表される場合には、光学的な取得システムのセンサの画素によって感知される光線を表すパラメータは、４つのピクチャにグループ化される。

このようなピクチャは、ＭＰＥＧ−４ ｐａｒｔ１０ ＡＶＣ（Ｈ．２６４とも呼ばれる）、Ｈ．２６５／ＨＥＶＣ、または、おそらくはその後継規格であると考えられるＨ．２６６などのビデオ規格に従って符号化され、送信することができ、さらに、結合されたビデオ・ビットストリーム内で送信することができる。第２の符号化された組は、補助拡張情報（ＳＥＩ）メッセージを使用して符号化することができる。本発明の一態様による方法において規定されるフォーマットにより、重度のエラーを招くことなく（ロスレス符号化）、または、限定された量のエラーで（ロッシー符号化）、データを高圧縮して送信することができる。

本発明の一態様による方法は、光学デバイスによって直接取得されるライトフィールド・データに限定されるものではない。これらのデータは、所与のシーンの記述に対してコンピュータによって完全に、または部分的にシミュレートされるコンピュータ・グラフィックス・イメージ（ＣＧＩ）とすることができる。ライトフィールド・データの別のソースは、変更されたポストプロダクションされたデータ、例えば、カラー・グレーディングされたデータ、光学的装置またはＣＧＩから取得されたライトフィールド・データとすることができる。また、映画業界において、光学的な取得装置を使用して取得されたデータおよびＣＧＩデータの両方を混合したデータを有することが通例である。センサの画素は、コンピュータが生成したシーン・システムによってシミュレートすることができ、拡張により、センサ全体を上記システムによってシミュレートできることが理解されよう。ここで、「センサの画素」または「センサ」と言及する場合、光学的な取得装置に取り付けられた物理的なオブジェクトを指すこともあれば、コンピュータによって生成されたシーン・システムによって取得されたシミュレートされたものを指すこともあると理解される。

符号化方法の一態様によれば、この符号化方法は、上記第１の組のパラメータによって表される光線に関連付けられたカラー・データを表す第３の組のパラメータを符号化することをさらに含む。

符号化方法の一態様によれば、第１の組のパラメータのうちの少なくとも１つのパラメータは、上記光線の座標と、光学的な取得システムの複数の画素によって感知される複数の光線の一組の座標に適合する平面との間の距離を表し、第２の組のパラメータのうちの少なくとも１つのパラメータは、適合する平面の座標を表す。

光線の座標と、センサの種々の画素によって感知される複数の光線の一組の座標に適合する平面との間の距離を符号化することにより、算出された距離の種々の値の間の幅は、通常、座標の種々の値の間の幅よりも小さいため、送信されるデータを圧縮することが可能となる。

符号化方法の一態様によれば、第１の組のパラメータのうちの少なくとも１つのパラメータは、
上記画素によって感知された光線を表す値と、センサの行における上記画素に先行する他の画素によって検知される光線を表す値との間の差分、または、
上記画素がセンサの行の最初の画素である場合の、上記画素によって感知される光線を表す値と、上記画素が属する行に先行する行の最初の画素によって感知される光線を表す値との間の差分を表す。

光線を表す値は、光線を表す座標、または、センサの種々の画素によって感知される複数の光線の複数の組の座標に適合する座標または平面間の距離とすることができる。

これにより、送信されるパラメータの種々の値の間の幅を低減することによって、データを圧縮することが可能となる。

符号化方法の一態様によれば、複数の独立したコーデックが第１の組のパラメータのうちのパラメータを符号化するために使用される。

符号化方法の一態様によれば、第２の組のパラメータが、第１の組のパラメータの最後の送信の後に第１の組のパラメータが変更されていないことを示すパラメータを含む場合に、上記第２の組のパラメータのみが送信される。

これにより、符号化装置に送信されるべきデータの量を低減することができる。

符号化方法の一態様によれば、ライトフィールド・データは、ライトフィールド・データの複数のサブセット（組の部分）のシーケンスで構成される。例えば、サブセットは、動的なシーンまたは動きのあるシーンを表すために、時間的にインデックスが付けられる。通常は、シーケンスのエレメント（または、サブセット）は、フレームと呼ばれる。この状態で、ライトフィールド・コンテンツを表す信号の、限定するものではないが、通常、フレーム毎秒で特徴付けられる送信速度は、符号化された第１の組のパラメータおよび符号化された第２の組のパラメータの送信速度よりも高い。

これにより、復号装置に送信されるべきデータの量を低減することが可能となる。

本発明の他の目的は、プロセッサを含む、ライトフィールド・コンテンツを表す信号を符号化する装置に関する。このプロセッサは、
センサの少なくとも１つの画素について、上記画素によって感知される光線を表す第１の組のパラメータを符号化し、
第１の組のパラメータからライトフィールド・コンテンツを再構築するために使用されるようにされた第２組のパラメータを符号化するように構成されている。

本発明の別の態様は、コンピュータによって実施される、ライトフィールド・コンテンツを表す信号を復号する方法に関する。この方法は、
センサの少なくとも１つの画素について、上記画素によって感知される光線を表す第１の組のパラメータを復号することと、
第１の組のパラメータからライトフィールド・コンテンツを再構築するために使用されるようにされた第２組のパラメータを復号することと、
復号された第１の組のパラメータおよび復号された第２の組のパラメータに基づいてライトフィールド・コンテンツを再構築することと、を含む。

復号方法の一態様によれば、この復号方法は、
第１の組のパラメータによって表される光線に関連付けられたカラー・データを表す第３の組のパラメータを復号することと、
復号された第１の組のパラメータおよび復号された第２の組のパラメータと共に、復号された第３の組のパラメータに基づいてライトフィールド・コンテンツを再構築することと、をさらに含む。

本発明の他の態様は、プロセッサを含む、ライトフィールド・コンテンツを表す信号を復号する装置に関し、このプロセッサは、
センサの少なくとも１つの画素について、上記画素によって感知される光線を表す第１の組のパラメータを復号し、
第１の組のパラメータからライトフィールド・コンテンツを再構築するために使用されるようにされた第２組のパラメータを復号し、
復号された第１の組のパラメータおよび復号された第２の組のパラメータに基づいてライトフィールド・コンテンツを再構築するように構成されている。

本発明の他の態様は、ライトフィールド・コンテンツを表す信号を符号化する装置によって、ライトフィールド・コンテンツを表す信号を復号する装置に送信される信号に関する。上記信号は、メッセージを搬送し、このメッセージは、
センサの少なくとも１つの画素によって感知される光線を表す第１の組のパラメータと、
第１の組のパラメータからライトフィールド・コンテンツを再構築するために使用されるようにされた第２の組のパラメータと、を含み、
復号する装置によるライトフィールド・コンテンツの再構築は、復号された第１の組のパラメータおよび復号された第２の組のパラメータに基づく。

本発明の要素によって実施される処理の中には、コンピュータによって実施されるものがある。したがって、このような要素は、完全にハードウェアの実施形態で実施することも、（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）完全にソフトウェアの実施形態で実施することも、ソフトウェアおよびハードウェアの態様を組み合わせた実施形態で実施することもでき、これらは、全て、本明細書において、一般的に、「回路」、「モジュール」、または、「システム」と称することがある。さらに、このような要素は、任意の有体物としての媒体であって、内部にコンピュータが使用可能なプログラム・コードが実装された表現を有する媒体において実施されるコンピュータ・プログラム・プロダクトの形態で実施することができる。

本発明の要素は、ソフトウェアにおいて実施することができるため、本発明は、任意の適切な担持媒体上でプログラム可能な装置に提供されるコンピュータ読み取り可能コードとして実施することができる。有体物としての担持媒体には、フロッピー・ディスク、ＣＤ−ＲＯＭ、ハードディスク・ドライブ、磁気テープ装置、または、ソリッドステート・メモリ装置などが含まれる。一時的な搬送媒体には、電気信号、電子信号、光学信号、音響信号、磁気信号、電磁信号、例えば、マイクロ波またはＲＦ信号などの信号が含まれる。

次に、本発明の実施形態を以下の添付図面を参照して、例示的な目的のみで、説明する。

本発明の実施形態によるライトフィールド・カメラ装置のブロック図である。 ライトフィールド・データ・フォーマット化モジュールの想定される実施態様の特定の実施形態を例示するブロック図である。 パラメータ化のために使用される２つの参照平面Ｐ１およびＰ２を通過する光線を例示する図である。 既知の深度ｚ_３に位置する参照平面Ｐ３を通過する光線を例示する図である。 本発明の一実施形態による、ライトフィールド・データをフォーマット化する方法のステップを例示するフローチャートである。 本発明の実施形態による、ライトフィールド・データをフォーマット化する方法のステップを例示するフローチャートである。 ４つの独立したモノクローム・コーデックを使用して受信機に送信される際の、Ｘｉ_ｕ，ｖマップ、Ｘｉ’’’_ｕ，ｖマップ、または、ΔＸｉ_ｕ，ｖマップを表す図である。 単一の画像にグループ化される際のＸｉ_ｕ，ｖマップ、Ｘｉ’’’_ｕ，ｖマップ、またはΔＸｉ_ｕ，ｖマップを表す図である。

当業者であれば理解できるであろうが、本願の原理の態様は、システム、方法、または、コンピュータ可読媒体として実施することができる。したがって、本願の原理の態様は、完全にハードウェアの実施形態で実施することも、（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）完全にソフトウェアの実施形態で実施することも、ソフトウェアおよびハードウェアの態様を組み合わせた実施形態で実施することもでき、これらは、全て、本明細書において、一般的に、「回路」、「モジュール」、または、「システム」と称することができる。さらに、本願の原理の態様は、コンピュータ可読記憶媒体の形態をとることができる。１つ以上のコンピュータ可読記憶媒体を任意に組み合わせて利用することができる。

本発明の実施形態は、フォーマット変換、リフォーカス、視点変更などのような更なる処理用途のためのライトフィールド・データのフォーマット化を提供する。提供されるフォーマット化により、ライトフィールド・データを、処理を行うために、受信機側で適切且つ簡易に再構築することが可能となる。提供されるフォーマットには、ライトフィールド・データを取得するために使用される装置に依存しないという利点がある。

図１は、本発明の実施形態によるライトフィールド・カメラ装置のブロック図である。ライトフィールド・カメラは、絞り／シャッタ１０２、主（対物）レンズ１０１、マイクロレンズ・アレイ１１０、およびフォトセンサ・アレイを含む。実施の形態によっては、ライトフィールド・カメラは、被写体またはシーンのライトフィールド画像をキャプチャするように駆動されるシャッタ・リリースを含む。

フォトセンサ・アレイ１２０は、ライトフィールド・データ・フォーマット化モジュール１５０によって、かつ／またはライトフィールド・データ・プロセッサ１５５によって、ライトフィールド・データ・フォーマットの生成のために、ＬＦデータ取得モジュール１４０によって取得されたライトフィールド画像データを提供する。ライトフィールド・データは、取得後、そして処理後に、サブアパーチャ（ｓｕｂ−ａｐｅｒｔｕｒｅ）画像またはフォーカル・スタックとして、生データのフォーマットで、または、本発明の実施形態に従ったライトフィールド・データ・フォーマットでメモリ１９０に記憶することができる。

示されている例においては、ライトフィールド・フォーマット化モジュール１５０およびライトフィールド・データ・プロセッサ１５５は、ライトフィールド・カメラ１００内に設けられるか、ライトフィールド・カメラ１００内に組み込まれている。本発明の他の実施形態においては、ライトフィールド・フォーマット化モジュール１５０および／またはライトフィールド・データ・プロセッサ１５５を、ライトフィールド・キャプチャ・カメラの外部に別体の部品として設けてもよい。別体の部品は、ライトフィールド画像キャプチャ装置に対して、ローカルに設けられていてもよいし、リモートに設けられていてもよい。フォーマット化モジュール１５０またはライトフィールド・データ・プロセッサ１５５にライトフィールド画像データを送信するために、任意の適切な無線または有線プロトコルを使用できることが理解できよう。例えば、ライトフィールド・データ・プロセッサは、キャプチャされたライトフィールド画像データおよび／または他のデータを、インターネット、携帯電話データ・ネットワーク、ＷｉＦｉネットワーク、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信プロトコル、および／または他の適切な手段を通じて転送することができる。

ライトフィールド・データ・フォーマット化モジュール１５０は、本発明の実施形態に従って、取得されたライトフィールドを表すデータを生成するように構成されている。ライトフィールド・データ・フォーマット化モジュール１５０は、ソフトウェア、ハードウェア、または、ソフトウェアおよびハードウェアを組み合わせたもので実施することができる。

ライトフィールド・データ・プロセッサ１５５は、例えば、本発明の実施形態に従って、フォーマット化されたデータおよびメタデータを生成するために、ライトフィールド（ＬＦ）データ取得モジュール１４０から直接受信した生のライトフィールド画像データに対する処理を行うように構成される。例えば、キャプチャされたシーンの静止画像、２Ｄビデオ・ストリームなどのような他の出力データを生成することができる。ライトフィールド・データは、ソフトウェアで実施することもできるし、ハードウェアで実施することもできるし、ソフトウェアとハードウェアとを組み合わせて実施することもできる。

少なくとも一実施形態においては、ライトフィールド・カメラ１００は、ユーザがコントローラ１７０によってカメラ１００の制御動作に対するユーザ入力を行えるようにするユーザ・インタフェース１６０を含んでいてもよい。カメラの制御は、シャッタ速度のようなカメラの光学的パラメータの制御、または、調節可能なライトフィールド・カメラの場合には、マイクロレンズ・アレイとフォトセンサと間の相対距離または対物レンズとマイクロレンズ・アレイとの間の相対距離の制御のうちの１つ以上を含んでいてもよい。実施形態によっては、ライトフィールド・カメラの光学素子間の相対距離を手動で調節することができる。カメラの制御は、他のライトフィールド・データ取得パラメータ、ライトフィールド・データ・フォーマット化パラメータ、またはカメラのライトフィールド処理パラメータの制御を含んでいてもよい。ユーザ・インタフェース１６０は、タッチスクリーン、ボタン、キーボード、ポインティング装置などの、任意の適切なユーザ入力装置を含み得る。このようにして、ユーザ・インタフェースによって受信された入力は、データ・フォーマット化を制御するためのＬＦデータ・フォーマット化モジュール１５０、取得されたライトフィールド・データの処理を制御するためのＬＦデータ・プロセッサ１５５、およびライトフィールド・カメラ１００を制御するためのコントローラ１７０を制御および／または構成設定するために使用することができる。

ライトフィールド・カメラは、１つ以上の交換可能または充電可能なバッテリなど、電源１８０を含む。ライトフィールド・カメラは、キャプチャされたライトフィールド・データおよび／または処理されたライトフィールド・データ、または、本発明の実施形態の方法を実施するためのソフトウェアなどの他のデータを記憶するためのメモリ１９０を含む。メモリは、外部メモリおよび／または内部メモリを含み得る。少なくとも１つの実施形態においては、メモリは、カメラ１００とは別個の装置に設けることもできるし、かつ／または、カメラ１００とは別個の位置に設けることもできる。一実施形態においては、メモリは、メモリ・スティックなどの着脱可能な／交換可能な記憶装置を含む。

ライトフィールド・カメラは、キャプチャを行う前にカメラの前方のシーンを視聴するための、かつ／または、以前にキャプチャされた画像および／または以前にレンダリングされた画像を視聴するための、表示部（ディスプレイ・ユニット）１６５（例えば、ＬＣＤ画面）を含んでいてもよい。画面１６５は、ユーザに対して１つ以上のメニューまたは他の情報を表示するために使用してもよい。ライトフィールド・カメラは、ファイア・ワイア（ＦｉｒｅＷｉｒｅ）またはユニバーサル・シリアル・バス（ＵＳＢ）・インタフェース、またはインターネットを介したデータ通信のための無線インタフェースまたは有線インタフェース、携帯電話データ・ネットワーク、ＷｉＦｉネットワーク、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信プロトコル、および／または他の任意の適切な手段など、１つ以上のＩ／Ｏインタフェース１９５をさらに含んでいてもよい。Ｉ／Ｏインタフェース１９５は、レンダリング・アプリケーションのためのコンピュータ・システムまたはディスプレイ・ユニットなどの外部機器との、本発明の実施形態に従ったＬＦデータ・フォーマット化モジュールによって生成されたライトフィールドを表すデータおよび生のライトフィールド・データなどのライトフィールド・データ、または、ＬＦデータ・プロセッサ１５５によって処理されたデータのデータ転送のために使用することができる。

図２は、ライトフィールド・データ・フォーマット化モジュール２５０およびライトフィールド・データ・プロセッサ２５３の想定可能な実施態様の特定の実施形態を例示するブロック図である。

回路２００は、メモリ２９０、メモリ・コントローラ２４５、および１つ以上の処理ユニット（ＣＰＵ）を含む処理回路２４０を含む。１つ以上の処理ユニット２４０は、メモリ２９０に記憶された様々なソフトウェア・プログラムおよび複数組の命令を実行して、ライトフィールド・データ・フォーマット化およびライトフィールド・データ処理を含む、様々な機能を実行するように構成されている。メモリに記憶されたソフトウェア・コンポーネントは、本発明の実施形態に従って取得されたライト・データを表すデータを生成するデータ・フォーマット化モジュール（または一組の命令）２５０と、本発明の実施形態に従ってライトフィールド・データを処理するライトフィールド・データ処理モジュール（または一組の命令）２５５とを含む。一般的なシステム・タスク（例えば、省電力管理、メモリ管理）を制御し、装置２００の様々なハードウェア・コンポーネントとソフトウェア・コンポーネントとの間の通信を容易にするオペレーティング・システム・モジュール２５１、およびＩ／Ｏインタフェース・ポートを介して他の装置との通信を制御および管理するインタフェース・モジュール２５２など、ライトフィールド・カメラ装置のアプリケーションのためのメモリに他のモジュールを含めることができる。

発明の実施形態は、カメラのセンサの画素によって感知される光線に基づいた、または、コンピュータによって生成されたシーンのシステムによってシミュレートされたライトフィールド・データの表現を提供する。実際、ライトフィールド・データの別のソースは、ポストプロダクションによって修正された、例えば、色グレーディングされたデータでもよいし、光学デバイスまたはＣＧＩから取得されたライトフィールド・データでもよい。さらに、現在の映画業界においては、光学的な取得装置によって取得されたデータおよびＣＧＩデータの両方を混合したデータを有することが一般的である。さらに、センサの画素がコンピュータによって生成されるシーンのシステムによってシミュレートされることがあり、拡張により、センサ全体をこのシステムによってシミュレートさせることができる。ここで、「センサの画素」または「センサ」と言及した場合、これは、光学的な取得装置に取り付けられた物理的なオブジェクトであることもあるし、コンピュータによって生成されるシーンのシステムによって取得される、シミュレートされたものであることもある。

取得システムのタイプが何であるかが分かると、取得装置の外部空間にある、少なくとも線形の光軌跡、または光線に対応するこの取得システムのセンサの画素に対し、３次元（３Ｄ）空間における光線を表すデータが算出される。

第１の実施形態において、図３は、互いに並行に、さらに、既知の深度ｚ_１およびｚ_２にそれぞれ位置する、パラメータ化のために使用される２つの参照平面Ｐ１およびＰ２を通過する光線を例示している。光線は、交差ポイント（ｘ_１，ｙ_２）および深度ｚ_１で第１の参照平面Ｐ１と交差し、交差ポイント（ｘ_２，ｙ_２）および深度ｚ_２で第２の参照平面Ｐ２と交差する。このように、ｚ_１およびｚ_２が与えられると、光線が４つの座標（ｘ_１，ｙ_１，ｘ_２，ｙ_２）によって特定される。よって、ライトフィールドは、本明細書において、パラメータ化平面としても参照される、一対のパラメータ化のための参照平面Ｐ１，Ｐ２によってパラメータ化することができる。各光線は、４Ｄ光線空間において、ポイント

と表される。

図４に示されている第２の実施形態においては、光線は、既知の深度Ｚ_３に位置する参照平面Ｐ３と光線との交差ポイントによってパラメータ化される。光線は、交差ポイント（ｘ_３，ｙ_３）で、深度ｚ_３の参照平面Ｐ３と交差する。正規化されたベクトルｖは、空間内の光線の方向を規定し、

の座標を有する。

であるため、Ｖ_ｚは、正であると想定され、ｖ_ｘおよびｖ_ｙが分かれば、それを再計算することができる。ベクトルは、その２つの第１の座標（Ｖ_ｘ，Ｖ_ｙ）のみを用いて記述することができる。

第２の実施形態によれば、光線は、４つの座標（Ｘ_３，Ｙ_３，Ｖ_ｘ，Ｖ_ｙ）によって特定することができる。よって、ライトフィールドは、本明細書中でパラメータ化平面とも参照される、パラメータ化のための参照平面Ｐ３によってパラメータ化することができる。各光線は、４Ｄ光線空間において、ポイント

と表される。

４Ｄ光空間において光線を表すパラメータは、ライトフィールド・データ・フォーマット化モジュール１５０によって算出される。図５は、本発明の実施形態による、カメラ１００によって取得されたライトフィールド・データをフォーマット化する方法のステップを例示するフローチャートである。この方法は、ライトフィールド・データ・フォーマット化モジュール１５０によって実行される。

ライトフィールド取得システムがピンホール・モデルを使用して較正される場合には、歪みのない基本の投影モデルは、以下の式によって与えられる。

ここで、
・ｆは、カメラ１００のメイン・レンズの焦点距離であり、
・Ｃ_ｕおよびＣ_ｖは、センサを用いたカメラ１００の光学軸の交差部の座標であり、
・（Ｘ_ｃ，Ｙ_ｃ，Ｚ_ｃ，１）^Ｔは、カメラによって感知される空間内のポイントのカメラ座標系における位置であり、
・（ｕ，ｖ，１）^Ｔは、カメラのセンサのカメラ座標系における座標が（Ｘ_ｃ，Ｙ_ｃ，Ｚ_ｃ，１）^Ｔである投影ポイントの、センサ座標系における座標である。

ステップ５０１において、ライトフィールド・データ・フォーマット化モジュール１５０は、センサ座標系における座標が（ｕ，ｖ，１）^Ｔであるセンサの画素によって感知される、空間における光線の方向を表すベクトルＶの座標を算出する。センサ座標系においては、ベクトルの座標Ｖは、（ｕ−ｃ_ｕ，ｖ−ｃ_ｖ，ｆ）^Ｔである。

ピンホール・モデルにおいては、ピンホールからの座標Ｚ_１に配置され、かつセンサ平面に対して平行である平面に対する、座標が（ｕ，ｖ，１）^Ｔである画素によって感知される光線の交差部の座標は、

となり、ステップ５０２の間に算出される。

取得されたものが幾つか混合される場合、すなわち、種々のタイプのカメラによってライトフィールド・データが取得される場合には、単一の座標系が使用される。この場合、座標ポイントの変更、ベクトルの変更を相応に行うとよい。

本発明の実施形態に従って、カメラのセンサの画素によって感知された、ステップ５０１および５０２で算出された光線を定義する複数組の座標が、マップ内で再度グループ化される。別の実施形態においては、光線は、光線の伝播をシミュレートするコンピュータによって生成されたシーンのシステムによって直接算出される。

一実施形態においては、これらのマップは、受信機に送信されるライトフィールドの色マップに関連付けられる。したがって、本実施形態においては、カメラのセンサの各画素（ｕ，ｖ）に対し、所与の画素によって感知される光線に関連付けられた色データを表すパラメータと、ライトフィールドがパラメータ化のための一対の参照平面Ｐ１，Ｐ２によってパラメータ化される場合の（ｘ_１，ｙ_１，ｘ_２，ｙ_２）に対応する、または、光線が正規化されたベクトルによってパラメータ化される場合の（ｘ_３，ｙ_３，ｖ_ｘ，ｖ_ｙ）に対応する浮動小数点値（Ｘ_１ Ｘ_２ Ｘ_３ Ｘ_４）のクワドラプレット（ｑｕａｄｒｕｐｌｅｔ）とが求められる。以下の説明において、浮動小数点値（Ｘ_１ Ｘ_２ Ｘ_３ Ｘ_４）のクワドラプレットは、以下によって与えられる。

別の実施形態においては、取得システムは、ピンホール・モデルを用いて較正されるものではなく、従って、２つの平面によるパラメータ化は、モデルから再計算されるものではない。代わりに、２つの平面によるパラメータ化は、カメラの較正処理の間に測定される必要がある。これは例えば、メイン・レンズとカメラのセンサとの間にマイクロレンズ・アレイを含むプレノプティック・カメラの場合である。

さらに別の実施形態においては、これらのマップは、コンピュータによって生成されるシーンのシステムによって直接シミュレートされるか、取得されたデータからポストプロダクションによって生成される。

カメラのセンサの画素によって感知される光線は、浮動小数点のクワドラプレット（Ｘ_１ Ｘ_２ Ｘ_３ Ｘ_４）によって表されるため、これらの４つのパラメータをパラメータの４つのマップに置くことが可能である。例えば、第１のマップは、カメラのセンサの画素によって感知される各光線のパラメータＸ_１を含み、第２のマップは、パラメータＸ_２を含み、第３のマップは、パラメータＸ_３を含み、第４のマップは、パラメータＸ_４を含む。上述した４つのマップの各々は、Ｘ_ｉマップと呼ばれ、取得されたライトフィールド画像と同一のサイズを有するが、浮動点小数点の成分を有する。

隣接する画素によって感知される光線を表し、かつ光線の数を分布させるパラメータ、したがってそれらを表すパラメータ間の強い相関を考慮するいくつかの適応の後、ビデオ・データを圧縮するツールと同様のツールを用いてこれらの４つのマップを圧縮することができる。

浮動小数点の値（Ｘ_１ Ｘ_２ Ｘ_３ Ｘ_４）を圧縮するため、したがって、送信されるＸｉマップのサイズを縮小するために、ライトフィールド・データ・フォーマット化モジュール１５０は、ステップ５０３において、各Ｘ_ｉマップに対し、Ｘ_ｉマップに含まれる上記パラメータＸ_ｉの値に適合する平面の式をマッピングする。パラメータＸ_ｉに対する適合平面の式は、以下のように与えられる。

ここで、ｕおよびｖは、カメラのセンサの所与の画素の座標である。

ステップ５０４において、各Ｘ_ｉマップに対し、誤差を小さくするために、パラメータα_ｉ，β_ｉおよびγ_ｉが算出される。

ステップ５０４の算出結果は、以下のパラメータである。

これは、パラメータＸ_ｉの値とこのパラメータの値と適合する平面との間の差分に対応し、結果として、Ｘ_ｉマップに含まれる値の幅の範囲がより小さくなる。

ステップ５０５において、

を算出することによって値

を圧縮することが可能である。

次に、ステップ５０６において、パラメータの値

が０以上２^Ｎ−１以下の範囲となるように、以前のパラメータＸ_ｉの値

を算出する。ここで、Ｎは、送信されるライトフィールド・データの符号化に使用されるようにされた符号化器のキャパシティ（処理能力）に対応するように選定されたビット数である。パラメータ

の値は、以下のように与えられる。

ステップ５０７において、ライトフィールド・データ・フォーマット化モジュール１５０は、４つのマップとして、

マップ、

マップ、

マップ、

マップを生成する。これらのマップは、カメラのセンサの画素によって感知される光線を表すパラメータ（Ｘ_１ Ｘ_２ Ｘ_３ Ｘ_４）の各々に対応する。

ステップ５０８において、ライトフィールド・データ・フォーマット化モジュール１５０は、元のＸｉ_ｕ，ｖマップを取得するための受信機側での相互演算（ｒｅｃｉｐｒｏｃａｌ ｃｏｍｐｕｔａｔｉｏｎ）の間に使用するようにされた、以下の固定パラメータ

を含むＳＥＩ（補助拡張情報）メッセージを生成する。これらの４つのパラメータは、ＳＥＩメッセージ内で搬送されるメタデータとみなすことができ、その内容を以下の表に示す。

表１

受信機側において、元のＸｉ_ｕ，ｖマップを取得可能にする相互演算は、以下のように与えられる。

ステップ５０９において、

マップ、色マップ、およびＳＥＩメッセージが少なくとも受信機に送信され、この受信機で、これらのデータは、ライトフィールド・コンテンツをレンダリングするために処理される。

受信機への送信の前にライトフィールド・データを表すマップのサイズをさらに削減することが可能である。以下の実施形態は、エラー

を最小限にすることについて、相補的なものである。

図６に示された第１の実施形態においては、Ｘｉ_ｕ，ｖマップが低い空間周波数の値を含むため、空間内の或る方向における信号から派生したもののみを送信することができる。

例えば、座標（０，０）の画素に関連付けられたパラメータＸｉの値であるＸｉ_０，０が与えられると、ステップ６０１において、ライトフィールド・データ・フォーマット化モジュール１５０は、座標（１，０）の画素に関連付けられたパラメータＸｉの値Ｘｉ_１，０と、座標（０，０）の画素に関連付けられたパラメータＸｉの値Ｘｉ_０，０との間の差分ΔＸｉ_１，０を算出する。
ΔＸｉ_１，０＝Ｘｉ_１，０−Ｘｉ_０，０

より一般的には、ステップ６０１において、ライトフィールド・データ・フォーマット化モジュール１５０は、センサの所与の画素に関連付けられたパラメータＸｉの値と、光学的な取得システムまたはコンピュータによって生成されたシーンのシステムのセンサの行における所与の画素に先行する別の画素に関連付けられるパラメータＸｉの値との間の差分を算出する。
ΔＸｉ_{ｕ＋１，ｖ}＝Ｘｉ_{ｕ＋１，ｖ}−Ｘｉ_ｕ，ｖ

所与の画素がセンサの行の最初の画素である場合には、ライトフィールド・フォーマット化モジュール１５０は、所与の画素に関連付けられたパラメータＸｉの値と、所与の画素が属する行に先行する行の最初の画素に関連付けられたパラメータＸｉの値との差分を算出する。
ΔＸｉ_{０，ｖ＋１}＝Ｘｉ_{０，ｖ＋１}−Ｘｉ_０，ｖ

ステップ６０２において、ステップ５０８で生成されたΔＸｉ_ｕ，ｖマップ、色マップ、およびＳＥＩメッセージが少なくとも受信機に送信され、これらのデータは、ライトフィールド・コンテンツをレンダリングするために処理される。

第２の実施形態においては、
Ｘｉ_ｕ，ｖマップ、

マップ、または、ΔＸｉ_ｕ，ｖマップは、極めて低速な空間周波数を有する値を含むことがあるため、Ｘｉ_ｕ，ｖマップの両方の次元で空間的なダウンサンプリングを実行することができ、そして、上記Ｘｉ_ｕ，ｖマップの送信されたサンプル間で線形補間を行うことによって、受信機側で完全なＸｉ_ｕ，ｖマップを回復することができる。

例えば、Ｎ行×Ｍ列のマップのサイズからＮ行／２×Ｍ列／２のマップのサイズに縮小することができる。受信側において、マップを元のサイズに拡張することができる。生成された穴は、補間方法（または、いわゆるアップサンプリング処理）によって埋めることができる。一般的には、単純なバイリニア補間を行うことで十分である。
Ｘｉ_ｕ，ｖ＝（Ｘｉ_{ｕ−１，ｖ−１}＋Ｘｉ_{ｕ＋１，ｖ−１}＋Ｘｉ_{ｕ−１，ｖ＋１}＋Ｘｉ_{ｕ＋１，ｖ＋１}）／４

図７に示されている第３の実施形態においては、
Ｘｉ_ｕ，ｖマップ、

マップ、または、ΔＸｉ_ｕ，ｖマップの各々を、例えば、Ｈ．２６５／ＨＥＶＣなどのような４つの独立したモノクローム・コーデックを使用して受信機に送信することができる。

第４の実施形態においては、
Ｘｉ_ｕ，ｖマップ、

マップ、または、ΔＸｉ_ｕ，ｖマップは、図８に示されているように、単一の画像内にグループ化することができる。この目的を達成するための１つの方法は、第２の実施形態の場合のように、サブサンプリング法を使用して、ファクタ２によってマップのサイズを縮小し、そして、色マップと同一のサイズを有する画像を四分した象限に各々が存在するＸｉ_ｕ，ｖマップ、

マップ、または、ΔＸｉ_ｕ，ｖマップを結合することである。この方法は、通常、幾つかのフレームを単一のフレームにパッキングするため、「フレーム・パッキング」と呼ばれる。例えば、ＳＥＩメッセージにおいて、復号器がフレームを適切にアンパッキングできるように、フレーム・パッキングが行われた方法を信号によって伝達するために、適切なメタデータを送信すべきである。そして、単一のフレームにパッキングされたマップは、限定するものではないが、例えばＨ．２６５／ＨＥＶＣなどの単一のモノクローム・コーデックを使用して、送信することができる。

この場合、表１に示されているＳＥＩメッセージは、フレーム・パッキング法が４つのマップを単一のマップにパッキングするために使用されたことを示すフラグも含んでいなければならない（表１ｂ参照）。

表１ｂ

幾つかのカメラがグループ化されてリグを形成する場合には、全てのカメラにとって共通である、単一のワールド座標系および２つのパラメータ化平面を規定するとよく、整合性を図ることができる。さらに、記述メッセージ（例えばＳＥＩ）は、表２に示されているように、各カメラに対し、共通情報（表現タイプ、ｚ_１およびｚ_２）に加え、４つのマップ
（Ｘｉ_ｕ，ｖマップ、

マップ、または、ΔＸｉ_ｕ，ｖマップ）の記述パラメータを含めることができる。

その場合、例えば、ＭＰＥＧ多視点映像符号化（ＭＶＣ）またはＭＰＥＧ多視点高効率映像符号化（ＭＶ−ＨＥＶＣ）などのような構成の多視点の態様を考慮したモノクローム・コーデックを使用して、Ｘｉ_ｕ，ｖマップ、

マップ、または、ΔＸｉ_ｕ，ｖマップを受信機に送信することができる。

表２

第５の実施形態においては、特定の長さの時間内にＸｉ_ｕ，ｖマップ、

マップ、または、ΔＸｉ_ｕ，ｖマップの変更が無効である場合には、これらのＸｉ_ｕ，ｖマップ、

マップ、または、ΔＸｉ_ｕ，ｖマップは、スキップされるものとマークされ、受信機に送信されない。この場合、ＳＥＩメッセージは、受信機に対し、Ｘｉ_ｕ，ｖマップ、

マップ、または、ΔＸｉ_ｕ，ｖマップに対して最後の送信の時からの変化が存在しないことを示すフラグを含む。このようなＳＥＩメッセージの内容は、表３に示されている。

表３

第６の実施形態においては、Ｘｉ_ｕ，ｖマップ、

マップ、または、ΔＸｉ_ｕ，ｖマップで表される取得システムのパラメータは、時間の経過に伴い徐々に変更されるため、これらのパラメータを制御マップのフレーム・レートよりも低速なフレーム・レートで受信機に送信することが有益である。Ｘｉ_ｕ，ｖマップ、

マップ、または、ΔＸｉ_ｕ，ｖマップの送信周波数は、ＩＤＲフレームのうちの少なくとも１つでなければならない。

第７の実施形態においては、色マップは、ＹＵＶまたはＲＧＢフォーマットを使用し、ＭＰＥＧ−４ ＡＶＣ、Ｈ．２６５／ＨＶＥＣ、または、Ｈ２６６などのビデオ・コーダ、または、ＪＰＥＧ、ＪＰＥＧ２０００、ＭＪＥＧなどのイメージ・コーダを使用して符号化される。ライトフィールド・コンテンツを取得するために幾つかのカメラが使用される場合には、カラー・マップを、ＭＶ−ＨＥＶＣコーデックを使用して相対的に符号化してもよい。

以上、本発明を特定の実施形態を参照して説明したが、本発明は、この特定の実施形態に限定されるものではなく、当業者にとって、変更を施すことができ、その変更が本発明の範囲の中に包含されることが明らかであろう。

上記の例示的な実施形態を参照した当業者にとって、多くの更なる変更例および改変例が示唆されるであろう。これらの実施形態は、例示的な目的のみで与えられており、付随する請求の範囲によってのみ定められる本発明の範囲を限定するように意図されているものではない。特に、適宜、種々の実施形態からの種々の特徴事項を相互に置き換えることができる。

Claims (14)

1. コンピュータによって実施される、ライトフィールド・コンテンツを表す信号を符号化する方法であって、
   センサの少なくとも１つの画素について、前記画素によって感知される光線を表す第１の組のパラメータを符号化することと、
   前記第１の組のパラメータから前記ライトフィールド・コンテンツを再構築するために使用されるようにされた第２組のパラメータを符号化することと、
   を含む、前記方法。
2. 前記第１の組のパラメータによって表される光線に関連付けられたカラー・データを表す第３の組のパラメータを符号化することをさらに含む、請求項１に記載の方法。
3. 前記第１の組のパラメータのうちの少なくとも１つのパラメータは、前記光線の座標と、光学的な取得システムの複数の画素によって感知される複数の光線の一組の座標に適合する平面との間の距離を表し、第２の組のパラメータのうちの少なくとも１つのパラメータは、前記適合する平面の座標を表す、請求項１または２に記載の方法。
4. 前記第１の組のパラメータのうちの少なくとも１つのパラメータは、
   前記画素によって感知された光線を表す値と、前記センサの行における前記画素に先行する他の画素によって検知される光線を表す値との間の差分、または、
   前記画素が前記センサの行の最初の画素である場合の、前記画素によって感知される光線を表す値と、前記画素が属する行に先行する行の最後の画素によって感知される光線を表す値との間の差分を表す、請求項１〜３のいずれか１項に記載の方法。
5. 複数の独立したコーデックが前記第１の組のパラメータのうちのパラメータを符号化するために使用される、請求項１〜４のいずれか１項に記載の方法。
6. 前記第２の組のパラメータが、前記第１の組のパラメータの最後の送信の後に前記第１の組のパラメータが変更されていないことを示すパラメータを含む場合に、前記第２の組のパラメータのみが送信される、請求項１〜５のいずれか１項に記載の方法。
7. 前記ライトフィールド・コンテンツを表す信号の送信速度は、前記符号化された第１の組のパラメータおよび前記符号化された第２の組のパラメータの送信速度よりも高い、請求項２に記載の方法。
8. プロセッサを含む、ライトフィールド・コンテンツを表す信号を符号化する装置であって、前記プロセッサは、
   センサの少なくとも１つの画素について、前記画素によって感知される光線を表す第１の組のパラメータを符号化し、
   前記第１の組のパラメータから前記ライトフィールド・コンテンツを再構築するために使用されるようにされた第２組のパラメータを符号化するように構成されている、前記装置。
9. コンピュータによって実施される、ライトフィールド・コンテンツを表す信号を復号する方法であって、
   センサの少なくとも１つの画素について、前記画素によって感知される光線を表す第１の組のパラメータを復号することと、
   前記第１の組のパラメータから前記ライトフィールド・コンテンツを再構築するために使用されるようにされた第２組のパラメータを復号することと、
   前記復号された第１の組のパラメータおよび前記復号された第２の組のパラメータに基づいて前記ライトフィールド・コンテンツを再構築することと、
   を含む、前記方法。
10. 前記第１の組のパラメータによって表される光線に関連付けられたカラー・データを表す第３の組のパラメータを復号することと、
    前記復号された第１の組のパラメータおよび前記復号された第２の組のパラメータと共に、復号された第３の組のパラメータに基づいて前記ライトフィールド・コンテンツを再構築することと、
    をさらに含む、請求項９に記載の方法。
11. プロセッサを含む、ライトフィールド・コンテンツを表す信号を復号する装置であって、前記プロセッサは、
    センサの少なくとも１つの画素について、前記画素によって感知される光線を表す第１の組のパラメータを復号し、
    前記第１の組のパラメータから前記ライトフィールド・コンテンツを再構築するために使用されるようにされた第２組のパラメータを復号し、
    前記復号された第１の組のパラメータおよび前記復号された第２の組のパラメータに基づいて前記ライトフィールド・コンテンツを再構築するように構成されている、前記装置。
12. ライトフィールド・コンテンツを表す信号を符号化する装置によって、ライトフィールド・コンテンツを表す前記信号を復号する装置に送信される信号であって、前記信号は、メッセージを搬送し、当該メッセージは、
    センサの少なくとも１つの画素によって感知される光線を表す第１の組のパラメータと、
    前記第１の組のパラメータから前記ライトフィールド・コンテンツを再構築するために使用されるようにされた第２の組のパラメータと、を含み、
    前記復号する装置による前記ライトフィールド・コンテンツの再構築は、前記復号された第１の組のパラメータおよび前記復号された第２の組のパラメータに基づく、前記信号。
13. プログラムがプロセッサに実行されたときに請求項１〜７のいずれか１項に記載のライトフィールド・コンテンツを符号化する方法を実施するプログラム・コード命令を含むことを特徴とする、コンピュータ・プログラム。
14. プログラムがプロセッサに実行されたときに請求項９または１０に記載のライトフィールド・コンテンツを復号する方法を実施するプログラム・コード命令を含むことを特徴とする、コンピュータ・プログラム。

Images