JP2018535577A - ピクセルビームを表すデータを生成する装置及び方法 - Google Patents

Abstract

市場には、いくつかのタイプのプレノプティック装置及びカメラアレイが利用可能な状態において存在しており、これらのライトフィールド取得装置は、いずれも、そのプロプライエタリなファイルフォーマットを有する。但し、多次元情報の取得及び送信をサポートする規格は、存在していない。前記光学取得システムのセンサのピクセルと前記光学取得システムの物体空間の間の対応性に関係する情報の取得は、興味深い。実際に、前記光学取得システムのセンサに属するピクセルが光学取得システムの物体空間のいずれの部分を検知しているのかを知ることにより、信号処理動作の改善が可能となる。従って、カメラの光学系の物体空間内の、光線の組によって占有される容積を表すピクセルビームの概念が導入されている。

Description

本発明は、ライトフィールドを表すデータの生成に関する。

４Ｄライトフィールドのサンプリング、即ち、光線の記録、と見なされうる、４次元又は４Ｄライトフィールドデータの取得は、”Understanding camera trade-offs through a Bayesian analysis of light field projections” by Anat Levin and al., published in the conference proceedings of ECCV 2008という論文において説明されており、これは、活発に研究されている主題である。

カメラから取得される従来の２次元又は２Ｄ画像との比較において、４Ｄライトフィールドデータの場合には、ユーザーは、画像のレンダリング及びユーザーとの間の対話性を改善する相対的に多くの事後処理特徴に対してアクセスすることができる。例えば、４Ｄライトフィールドデータによれば、焦点面の位置を後から規定／選択しうることを意味する、自由に選択された合焦の距離による画像の再合焦のみならず、画像のシーンにおける視点のわずかな変更をも実行することができる。４Ｄライトフィールドデータを取得するべく、いくつかの技法を使用することができる。例えば、プレノプティックカメラは、４Ｄライトフィールドデータを取得することができる。図１Ａには、プレノプティックカメラのアーキテクチャの詳細が提供されている。図１Ａは、プレノプティックカメラを概略的に表す図である。プレノプティックカメラ１００は、メインレンズ１０１と、２次元アレイとして配置された複数のマイクロレンズ１０３を含むマイクロレンズアレイ１０２と、画像センサ１０４と、を含む。

４Ｄライトフィールドデータを取得するための別の方法は、図１Ｂに描かれているように、カメラアレイを使用するというものである。図１Ｂは、マルチアレイカメラ１１０を表している。マルチアレイカメラ１１０は、レンズアレイ１１２と、画像センサ１１４と、を含む。

図１Ａに示されているプレノプティックカメラ１００の例においては、メインレンズ１０１は、メインレンズ１０１の物体野内の物体（図には示されていない）から光を受け取り、且つ、この光がメインレンズ１０１の像野を通過するようにしている。

最後に、４Ｄライトフィールドを取得する別の方法は、異なる焦点面において同一のシーンの２Ｄ画像のシーケンスをキャプチャするように構成された従来のカメラを使用するというものである。例えば、“Light ray field capture using focal plane sweeping and its optical reconstruction using 3D displays” by J.-H. Park et al., published in OPTICS EXPRESS, Vol. 22, No. 21, in October 2014という文献において記述されている技法は、従来のカメラによって４Ｄライトフィールドデータの取得を実現するべく使用することができる。

４Ｄライトフィールドデータを表すためのいくつかの方法が存在している。実際に、“Digital Light Field Photography” by Ren Ng, published in July 2006という名称の博士号論文の第３．３章には、４Ｄライトフィールドデータを表すための３つの異なる方法について記述されている。第１に、４Ｄライトフィールドデータは、プレノプティックカメラによって記録される際には、マイクロレンズ画像の集合体によって表すことができる。この表現における４Ｄライトフィールドデータは、未加工の画像又は未加工の４Ｄライトフィールドデータと呼称される。第２に、４Ｄライトフィールドデータは、プレノプティックカメラによって又はカメラアレイによって記録される際には、サブアパーチャ画像の組によって表すことができる。サブアパーチャ画像は、視点からのシーンのキャプチャされた画像に対応しており、視点は、２つのサブアパーチャ画像の間においてわずかに異なっている。これらのサブアパーチャ画像は、撮像されたシーンの視差及び深さに関するデータを付与している。第３に、４Ｄライトフィールドデータは、エピポーラ画像の組によって表すことが可能であり、例えば、“Generating EPI Representation of a 4D Light Fields with a Single Lens Focused Plenoptic Camera”, by S. Wanner and al., published in the conference proceedings of ISVC 2011という名称の論文を参照されたい。

市場には、いくつかのタイプのプレノプティック装置及びカメラアレイが利用可能な状態において存在しており、且つ、これらのライトフィールド取得装置は、いずれも、そのプロプライエタリなファイルフォーマットを有している。従って、多次元情報の取得及び送信をサポートする規格が存在していないことから、ライトフィールド技術は、通常の２Ｄ又は３Ｄ撮像以外には、存在しえないようである。本発明は、上述の内容に留意して考案されたものである。

本発明の第１の態様によれば、光学取得システムの瞳孔を通過する光線の組によって占有された、前記光学取得システムの物体空間内の、容積と、前記光学取得システムのセンサの少なくとも１つのピクセルの共役と、を表すデータを生成するコンピュータ実装された方法が提供され、前記光線の組によって占有された前記容積は、ピクセルビームと呼称され、方法は、前記ピクセルビームを表すデータを含むデジタルファイルを生成することを含み、前記データは、
− 光学取得装置の前記瞳孔を定義するパラメータと、
− センサの少なくとも前記ピクセルの、物体空間内の、共役に対応する、ウエストと呼称される、前記ピクセルビームの最小のセクションを定義するパラメータと、
を含み、
前記ピクセルビームのウエストを定義する前記パラメータは、前記少なくとも１つのピクセルを定義するパラメータに基づいて演算されている。

本発明の一実施形態によれば、光学取得システムによってキャプチャされたライトフィールドデータから取得された前記ピクセルによってキャプチャされた光の強度を表すパラメータは、前記デジタルファイル内のピクセルビームを表すパラメータに対して関連付けられている。

本発明の一実施形態によれば、瞳孔を定義するパラメータは、瞳孔の半径、光学取得システムに関連付けられた座標系内の瞳孔中心の座標、及び前記座標系内における瞳孔の向きを定義する角度、を含む。

本発明の一実施形態によれば、ピクセルビームのウエストを表すパラメータは、ピクセルビームのウエストと瞳孔の中心の間の距離、座標系内のピクセルビームのウエストの向きを含む。

本発明の別の目的は、光学取得システムの瞳孔を通過する光線の組によって占有された、前記光学取得システムの物体空間内の、容積と、前記光学取得システムのセンサの少なくとも１つのピクセルの共役と、を表すデータを生成する装置に関し、前記光線の組によって占有された前記容積は、ピクセルビームと呼称され、前記装置は、前記ピクセルビームを表すデータを含むデジタルファイルを生成するように構成されたプロセッサを含み、前記データは、
− 光学取得装置の前記瞳孔を定義するパラメータと、
− センサの少なくとも前記ピクセルの、物体空間内の、共役に対応する、ウエストと呼称される、前記ピクセルビームの最小のセクションを定義するパラメータと、
を含み、
前記ピクセルビームのウエストを定義する前記パラメータは、前記少なくとも１つのピクセルを定義するパラメータに基づいて演算されている。

本発明の一実施形態によれば、光学取得装置によってキャプチャされたライトフィールドデータから取得された前記ピクセルによってキャプチャされた光の強度を表すパラメータは、デジタルファイル内のピクセルビームを表すパラメータに対して関連付けられている。

本発明の一実施形態によれば、瞳孔を定義するパラメータは、瞳孔の半径、光学取得装置に関連付けられた座標系内の瞳孔中心の座標、及び前記座標系内の瞳孔の向きを定義する角度を含む。

本発明の別の目的は、
− 規則的な格子構造において配置されたマイクロレンズのアレイと、
− マイクロレンズのアレイからフォトセンサ上において投影された光をキャプチャするように構成されたフォトセンサであって、フォトセンサは、ピクセルの組を含み、ピクセルのそれぞれの組は、マイクロレンズのアレイの個々のマイクロレンズと光学的に関連付けられている、フォトセンサと、
− 請求項５に記載の、前記光学取得システムの瞳孔を通過する光線の組によって占有された、光学取得システムの物体空間内の、容積と、前記光学取得システムのセンサの少なくとも１つのピクセルの共役と、を表すデータを含むデジタルファイルを提供する装置であって、前記光線の組によって占有された前記容積は、ビークセルビームと呼称される、装置と、
を含むライトフィールド撮像装置に関する。

本発明の別の目的は、請求項１乃至４のいずれか１項に記載の方法に従って取得される、光学取得システムの瞳孔を通過する光線の組によって占有された、前記光学取得システムの物体空間内の、容積と、前記光学取得システムのセンサの少なくとも１つのピクセルの共役と、を表すデータを含むデジタルファイルを使用してライトフィールドデータから画像をレンダリングする装置に関し、前記光線の組によって占有される前記容積は、ピクセルビームと呼称されている。

本発明の別の目的は、光学取得システムの瞳孔を通過する光線の組によって占有された、前記光学取得システムの物体空間内の、容積と、前記光学取得システムのセンサの少なくとも１つのピクセルの共役と、を表すデータを含むデジタルファイルに関し、前記光線の組によって占有された前記容積は、ピクセルビームと呼称され、前記データは、
− 光学取得装置の前記瞳孔を定義するパラメータと、
− センサの少なくとも前記ピクセルの、物体空間内の、共役に対応する、ウエストと呼称される、前記ピクセルビームの最小のセクションを定義するパラメータであって、
前記ピクセルビームのウエストを定義する前記パラメータは、前記少なくとも１つのピクセルを定義するパラメータに基づいて演算される、パラメータと、
− 光学取得システムによってキャプチャされたライトフィールドデータから取得された前記ピクセルによってキャプチャされた光の強度と、
を含む。

本発明の要素によって実装されるいくつかのプロセスは、コンピュータ実装することができる。従って、このような要素は、全体的にハードウェア実施形態の、全体的にソフトウェア実施形態（ファームウェア、レジデントソフトウェア、マイクロコードなどを含む）の、或いは、そのすべてが、「回路」、「モジュール」、又は「システム」と本明細書において一般的に呼称されうる、ソフトウェア及びハードウェア態様を組み合わせた実施形態の、形態を有することができる。更には、このような要素は、媒体内において実施されたコンピュータ使用可能プログラムコードを有する表現の任意の有体媒体内において実施されたコンピュータプログラムプロダクトの形態を有することができる。

本発明の要素は、ソフトウェアにおいて実装されうることから、本発明は、任意の適切な担持体媒体上におけるプログラム可能な装置に対する提供のためのコンピュータ可読コードとして実施することができる。有体の担持体媒体は、フロッピーディスク、ＣＤ−ＲＯＭ、ハードディスクドライブ、磁気テープ装置、又は半導体メモリ装置、並びに、これらに類似したものなどの、ストレージ媒体を含むことができる。一時的な担持体媒体は、電気信号、電子信号、光信号、音響信号、磁気信号、或いは、例えば、マイクロ波又はＲＦ信号などの電磁信号などの信号を含むことができる。

以下、一例としてのみ、且つ、以下の図面を参照し、本発明の実施形態について説明することとする。

プレノプティックカメラを概略的に表す図である。 マルチアレイカメラを表す。 カメラ又は光学取得システムの光学系の物体空間内の、光線の組によって占有された容積を表す。 一葉双曲面を表す。 一葉双曲面の別の図を表す。 本開示の一実施形態によるピクセルを表すデータを生成する装置の一例を示す概略ブロックダイアグラムである。 本開示の一実施形態によるピクセルビームを表すデータを生成するプロセスを説明するフローチャートである。 本開示の一実施形態によるピクセルビームを表すデータを生成するプロセスに従って生成されたデジタルファイルを表す。 本開示の一実施形態による光学取得システムによってキャプチャされた画像を処理する装置の一例を示す概略ブロックダイアグラムである。 本開示の一実施形態による光学取得システムによってキャプチャされた画像を処理するプロセスを説明するフローチャートである。 ガウスビームの幾何学形状を表す。

当業者には理解されるように、本原理の態様は、システム、方法、又はコンピュータ可読媒体として実施することができる。従って、本原理の態様は、全体的にハードウェア実施形態の、全体的にソフトウェア実施形態（ファームウェア、レジデントソフトウェア、マイクロコードなどを含む）の、或いは、そのすべてが、「回路」、「モジュール」、又は「システム」と本明細書において一般的に呼称されうる、ソフトウェア及びハードウェア態様を組み合わせた実施形態の、形態を有することができる。更には、本原理の態様は、コンピュータ可読ストレージ媒体の形態を有することもできる。１つ又は複数のコンピュータ可読ストレージ媒体の任意の組合せを利用することができる。

プレノプティックであるかどうかとは無関係に、すべての光学取得システムにおいては、光学取得システムによってキャプチャされた４Ｄライトフィールドデータを表す未加工画像又はエピポーラ画像に加えて、前記光学取得システムのセンサのピクセルと前記光学取得システムの物体空間の間の対応性に関係した情報を取得することが興味深い。前記光学取得システムのセンサに属するピクセルが光学取得システムの物体空間のいずれの部分を検知しているのかを知ることにより、逆多重化、逆モザイク化、再合焦などのような信号処理動作の改善と、異なる特性を有する異なる光学システムによってキャプチャされた画像の混合と、が可能となる。更には、光学取得システムのセンサのピクセルと前記光学取得システムの物体空間の間の対応性に関係した情報は、その光学取得システムとは独立している。

本開示は、カメラ又は光学取得システム（図２には示されていない）の光学系１１の物体空間内の、光線の組によって占有された容積を表す、図２に示されている、ピクセルビーム１０の概念を導入している。光線の組は、前記光学系２１の瞳孔２４を通じて、カメラのセンサ２３のピクセル２２によって検知されている。光学系２１は、写真又はビデオカメラに適したレンズの組合せであってもよい。光学系の瞳孔は、前記光学系、即ち、開口絞りに先行する光学取得システムのレンズ、を通じて観察される前記開口絞りの像として定義される。開口絞りは、光学取得システムの光学系を通過する光の量を制限する開口である。例えば、カメラレンズ内に配置された調節可能なブレードダイアフラムが、レンズ用の開口絞りである。ダイアフラムを通過することが認められる光の量は、カメラのユーザーが認めることを所望する光の量に応じて適合されうるダイアフラム開口の直径によって制御されている。例えば、開口を小さくすれば、ダイアフラムを通過することが認められる光の量が低減され、且つ、同時に、焦点の深さが増大する。絞りの見かけのサイズは、レンズの一部分の屈折動作に起因して、その物理的なサイズを上回ってもよく、或いは、下回ってもよい。形式的には、瞳孔は、物理的な絞りと観察空間の間に配置された光学取得システムのすべてのレンズを通じた開口絞りの像である。

ピクセルビーム１０は、入射瞳孔２４を介して光学系２１を通じて伝播する際に所与のピクセル２２に到達する光線の光束として定義される。光が自由空間内において直線上を進行するのに伴って、このようなピクセルビーム２０の形状は、ピクセル２２の共役２５である１つのものと、入射瞳孔２４であるもう１つのものという、２つのセクションによって定義することができる。ピクセル２２は、その非ヌル表面及びその感度マップによって定義される。

従って、ピクセルビーム３０は、物体空間内の瞳孔３４及びピクセル２２の共役３５という、２つの要素によってサポートされた、図３に示されている、一葉双曲面によって表すことができる。

一葉双曲面は、光線の光束の概念をサポートしうる線織面であり、且つ、物理的な光ビームのセクションに跨るエネルギーの保存にリンクされた概念である物理的な光ビームの「etendue」の概念との適合性を有する。

一葉双曲面は、ガウスビームの形状に対応している。実際に、光学においては、ガウスビームは、その横磁界及び電界振幅プロファイルがガウス関数によって付与されるモノクローム電磁放射ビームであり、これは、また、ガウス強度プロファイルをも意味している。この基本横ガウスモードは、大部分のレーザーの意図された出力を表しており、その理由は、このような光のビームは、最も集中したスポット内に合焦することができるからである。

以下の式は、ｚのすべての値において円形断面を有するビームを仮定しており、これは、単一の横断方向寸法ｒが出現することに留意することにより、理解することができる。

（焦点から計測された）ビームに沿った位置ｚにおいて、スポットサイズパラメータは、次式によって付与され、

ここで、ｗ_０は、ウエストサイズである。

図１０において表されているように、ｚ_Ｒに等しいウエストからの距離において、ビームの幅ｗは、

に等しい。

ガウス関数の尾部は、実際には、決してゼロに到達しないが。これは、ウエストから遠く離れたところにおいては、ビーム「エッジ」がコーン形状であることを意味している。（そのｒ＝ｗ（ｚ）である）そのコーンに沿ったラインとビーム（ｒ＝０）の中心軸の間の角度は、ビームの発散と呼称される。

その結果、ウエストから遠く離れたビームの合計角発散は、Θ＝２θによって付与される。

図４において表されているように、一葉双曲面４０は、物体空間内の共役２５に対応する、ウエスト４５と呼称される、その最小のセクションの基本領域内を除いて、その漸近コーン４１、４２とほとんど同一である。ライトフィールドカメラなどのプレノプティックシステムの場合には、これは、複数経路光線による空間サンプリングが実行される領域である。この領域内におけるコーンを伴う空間のサンプリングは、不十分であり、その理由は、ピクセル２２の感度が、その表面上の数十平方ミクロンにおいて大きく、且つ、コーンの先端部となるであろう、無限に小さな表面を有する数学的な点によって表すことができないからである。

本発明の第１実施形態においては、それぞれのピクセルビーム２０、３０、４０は、瞳孔２４、３４の正面において、ピクセル共役２５、４５の位置及びサイズを定義するｚ_Ｐ、θ_ｘ、θ_ｙ、αという、４つのパラメータにより、且つ、瞳孔２４、３４の位置、向き、及び半径を定義する、ｘ_０、ｙ_０、ｚ_０、θ_ｘ０、θ_ｙ０、ｒという、６つの瞳孔パラメータにより、定義されている。これらの６つの瞳孔パラメータは、同一の瞳孔２４、３４を共有するピクセルビームの集合体において共通している。実際に、ピクセルビームは、瞳孔２４を通じてピクセル２２によって検知された光学系２１の物体空間内の、光線の組によって占有される容積を表している、即ち、ピクセル２２／瞳孔２４、３４という所与の対が、一意のピクセルビーム２０、３０、４０に対応しているが、複数の別個のピクセルビームを同一の瞳孔２４、３４によってサポートすることができる。

ピクセルビーム２０、３０、４０のパラメータが定義されている座標系（ｘ，ｙ，ｚ）の原点Ｏは、図２に示されているように、瞳孔２４の中心に対応しており、この場合に、ｚ軸は、瞳孔２４、３４の表面に対して垂直である方向を定義している。

パラメータθ_ｘ、θ_ｙは、瞳孔２４の中心の入口との関係における主光線方向を定義している。これらは、センサ２３上のピクセル２２位置と、光学系２１の光学要素と、に依存している。更に正確には、パラメータθ_ｘ、θ_ｙは、瞳孔２４の中心からのピクセル２２の共役２５の方向を定義するせん断角度を表している。

パラメータｚ_Ｐは、ｚ軸に沿った、ピクセルビーム２０、３０、４０のウエスト４５又はピクセル２２の共役２５と瞳孔の中心の間の距離を表している。

パラメータαは、ピクセルビーム２０、３０、４０のウエスト４５の半径を表している。

光学歪及び像面湾曲をモデル化しうる光学系２１の場合には、パラメータｚ_Ｐ及びαは、パラメトリック関数を介してパラメータθ_ｘ及びθ_ｙに依存しうる。

４つのパラメータｚ_Ｐ、θ_ｘ、θ_ｙ、αは、ピクセル２２及びその共役２５に対して関係付けられている。

ピクセルビーム２０、３０、４０を定義する６つの補完的な瞳孔パラメータは、
− 瞳孔２４、３４の半径を表すｒと、
− （ｘ，ｙ，ｚ）座標系における瞳孔２４、３４の中心の座標を表すｘ_０、ｙ_０、ｚ_０と、
− 基準（ｘ，ｙ，ｚ）座標系における瞳孔２４、３４の向きを表すθ_ｘ０、θ_ｙ０と、
である。

これらの６つの瞳孔パラメータは、瞳孔２４、３４に対して関係付けられている。別のパラメータｃが定義されている。このようなパラメータｃは、ピクセル２２及びその共役２５に対して関係付けられたパラメータｚ_Ｐ及びαと、瞳孔２４、３４に対して関係付けられたパラメータｒと、に依存している。パラメータｃは、ピクセルビーム２０、３０、４０の開口角αを定義しており、且つ式

によって付与される。

従って、パラメータｃの表現は、以下の式によって付与される。

ピクセルビーム２０、３０、４０の境界を定める表面に属する地点の、物体空間内における、座標（ｘ，ｙ，ｚ）は、先程定義された、瞳孔２４と、ピクセルの共役２５と、に関係付けられたパラメータの組の関数である。従って、ピクセルビーム２０、３０、４０を表す一葉双曲面の生成を可能にする式（２）は、次式のとおりである。

ピクセルビーム２０、３０、４０を表す同一の双曲面のパラメトリック方程式（３）は、次式のとおりであり、

ここで、ｖは、生成双曲線からのピクセルビーム２０、３０、４０の生成を可能にする（ｘ，ｙ）プレーン内の角度であり、ｖは、［０，２π］インターバルにおいて変化し、且つ、ｚ∈［０，∞］は、瞳孔２４、３４の表面に対して垂直の方向を定義するｚ軸に沿った座標である。式（２）及び式（３）は、ピクセル２２及びその共役のセクションが円形であり、且つ、瞳孔２４、３４のセクションも同様に円形であるという仮定の下に記述されている。

ピクセルビーム２０、３０、４０が光学系２１の物体空間をサンプリングする方式の正確な記述を取得するには、ピクセル２２のセクション及び瞳孔２４、３４のセクションの形状が物体空間を覆う方式を判定することが興味深い。これは、物体空間内において放出された光がセンサ２３の異なるピクセル２２の間において分散される方式に関する知識をもたらす。

従って、瞳孔２４、３４の、且つ、ピクセル２２の、且つ、ピクセル２２の共役２５の、セクションの形状を記述するべく、パラメータの別の組が定義される。

第１パラメータＡ_Ｏが定義される。パラメータＡ_Ｏは、非対称瞳孔２４、３４を許容するためのアスペクト比を表している。

第２パラメータＡ_Ｐが定義される。パラメータＡ_Ｐは、ピクセル２２の共役２５、４５―ウエストにおける非対称なピクセルビームを許容するためのアスペクト比を表している。

第３パラメータ依存パラメータαが、以下のように定義され、

αは、瞳孔２４、３４の且つピクセル２２のセクションの形状とは独立した状態における、且つ、無限に対するピクセル２２の共役２５、４５とは独立した状態における、瞳孔２４、３４とピクセル２２の共役２５、４５の間のｚ軸に沿ったピクセルビーム２０、３０、４０の形状の伝播を表す係数である。パラメータｋは、ｚ軸に沿ったピクセルビーム２０、３０、４０の形状の変化を調節するパラメータである。ｋ≒１．３の値は、瞳孔２４、３４とピクセル２２の共役２５、４５の間のパラメータαの線形変動を近似している。

極半径係数と呼称される２つのパラメータρ_Ｏ及びρ_Ｐは、それぞれ、瞳孔２４、３４の形状及び瞳孔２２の共役２５、４５の形状を記述している。パラメータρ_Ｏ及びρ_Ｐは、次式によって定義され、

ここで、ρは、角度ｖの単位正方形点を定義する極半径である。

表１と呼称される、以下の表は、Ａ_Ｏ＝Ａ_Ｐ＝１．０である際のパラメータρ_Ｏ及びρ_Ｐの値の例を付与している。

先程定義された、瞳孔２４、３４並びにピクセル２２及びピクセル２２の共役２５のセクションの形状に関係するパラメータを考慮することにより、ピクセルビーム２０、３０、４０を表す双曲面の拡張パラメトリック方程式（６）は、次式のとおりである。

前記光学取得システムのセンサのピクセルと前記光学取得システムの物体空間の間の対応性に関係した情報は、瞳孔２４、３４の前面において、ピクセルの共役２５、４５の位置及びサイズを定義する４つのパラメータｚ_Ｐ、θ_ｘ、θ_ｙ、αと、ピクセルビームをそのパラメトリック方程式によって表す必要がある際の、瞳孔２４、３４の位置、向き、及び半径を定義する６つの瞳孔パラメータｘ_０、ｙ_０、ｚ_０、θ_ｘ０、θ_ｙ０、ｒと、のいずれかの組の形態を有することができる。従って、このパラメータの組は、４Ｄライトフィールドデータを処理する際に使用されるべく、光学取得システムによってキャプチャされる４Ｄライトフィールドデータを表す未加工の画像又はエピポーラ画像に加えて、提供される。

ピクセルビームに関係する更なる情報は、所与の光学取得システムに対して関連付けられたメタデータである。これらは、例えば、光学取得システムと共に供給されるＣＤ−ＲＯＭ又はフラッシュドライブ上において保存されたデータファイルとして提供することができる。また、ピクセルビームに関係する更なる情報を含むデータファイルを光学取得システムの製造者に属するサーバーからダウンロードすることもできる。また、本発明の一実施形態においては、ピクセルビームに関係するこれらの更なる情報は、光学取得システムによってキャプチャされた画像のヘッダ内に埋め込むこともできる。

ピクセルビームに関係するこれらの情報の知識は、プロプライエタリなファイルフォーマットとは独立した状態における、且つ、処理対象の画像をキャプチャするべく使用される光学取得システムの特徴とは独立した状態における、任意の光学取得システムによってキャプチャされた画像の処理を可能にする。

図５は、本開示の一実施形態による光学取得システムによってキャプチャされた画像をエンコードするための装置の一例を示す概略ブロックダイアグラムである。このような装置は、カメラなどの光学取得システムであってもよい。

装置５００は、バス５０６によって接続されたプロセッサ５０１、ストレージユニット５０２、入力装置５０３、表示装置５０４、及びインターフェイスユニット５０５を含む。当然のことながら、コンピュータ装置５００の構成要素は、バス接続以外の接続によって接続することもできる。

プロセッサ５０１は、装置５００の動作を制御している。ストレージユニット５０２は、プロセッサ５０１によって実行される、光学取得システムによって取得された画像をエンコードする能力を有する少なくとも１つのプログラムと、センサ２３上のピクセル２２の位置に関係するパラメータ、瞳孔の位置、又は光学取得システムの光学系２１に関係するパラメータ、プロセッサ５０１によって実行される演算によって使用されるパラメータ、プロセッサ５０１によって実行される演算の中間データなどを含む、様々なデータと、を保存している。プロセッサ５０１は、任意の既知の、且つ、適切な、ハードウェア、又はソフトウェア、或いは、ハードウェア及びソフトウェアの組合せによって形成することができる。例えば、プロセッサ５０１は、処理回路などの専用のハードウェアにより、或いは、そのメモリ内において保存されたプログラムを実行するＣＰＵ（Central Processing Unit）などのプログラム可能な処理ユニットにより、形成することができる。

ストレージユニット５０２は、任意の適切なストレージにより、或いは、プログラム、データ、又はこれらに類似したものをコンピュータ可読方式によって保存する能力を有する手段により、形成することができる。ストレージユニット５０２の例は、半導体メモリ装置などの一時的ではないコンピュータ可読ストレージ媒体と、読み取り及び書き込みユニット内に装填される磁気的、光学的、又は磁気光学的記録媒体と、を含む。プログラムは、プロセッサ５０１が、光学系の物体空間内の、光線の組によって占有された容積を表すパラメータを演算すると共に、図６を参照して後述する本開示の一実施形態に従って光学取得システムによってキャプチャされた画像によってこれらのパラメータをエンコードするためのプロセスを実行するようにしている。

入力装置５０３は、光学系の物体空間内の、光線の組によって占有された容積のパラメトリック表現を生成するために使用されるパラメータのユーザーの選択を実施するためのコマンドを入力するべく、ユーザーによって使用される、キーボード、マウスなどのポインティング装置、或いは、これらに類似したものによって形成することができる。出力装置５０４は、例えば、本開示の一実施形態に従って生成される画像である、グラフィカルユーザーインターフェイス（ＧＵＩ：Graphical User Interface）を表示するべく、表示装置によって形成することができる。入力装置５０３及び出力装置５０４は、例えば、タッチスクリーンパネルにより、一体的に形成されてもよい。

インターフェイスユニット５０５は、装置５００と外部装置の間のインターフェイスを提供している。インターフェイスユニット５０５は、ケーブル又は無線通信を介して外部装置と通信自在であってもよい。一実施形態においては、外部装置は、カメラ、スマートフォン、タブレットなどのような光学取得システムであってもよい。

図６は、本開示の一実施形態によるピクセルビームを表すデータを生成するプロセスを説明するためのフローチャートである。

装置５００のプロセッサ５０１は、光学取得システムのピクセルビームの集合体に属するピクセルビームを表すパラメータを演算すると共に光学取得システムによってキャプチャされた画像によってこれらのパラメータをエンコードする能力を有するプログラムを実行する。

即ち、プロセッサ５０１は、ステップ６０１において、瞳孔２４、３４の位置、向き、及び半径を定義する６つの瞳孔パラメータｘ_０、ｙ_０、ｚ_０、θ_ｘ０、θ_ｙ０、ｒを演算している。このステップ６０１は、光学取得システムのそれぞれの瞳孔２４ごとに、且つ、センサ２３のそれぞれのピクセル２２ごとに、実行される。

この演算は、例えば、光学系１１を通じた光線の伝播をモデル化する能力を有するプログラムを実行することにより、光学取得システムの較正フェーズにおいて実現される。このようなプログラムは、例えば、Ｚｅｍａｘ（著作権）、ＡＳＡＰ（著作権）、又はＣｏｄｅＶ（著作権）などの光学設計プログラムである。光学設計プログラムは、光学系１１を設計及び分析するべく使用される。光学設計プログラムは、光学系１１を通じた光線の伝播をモデル化し、且つ、単純なレンズ、非球面レンズ、屈折率分布型レンズ、ミラー、及び回折光学要素などのような光学要素の効果をモデル化することができる。市販のレンズのライブラリが、装置５００のストレージユニット５０２内において保存されており、且つ、光学設計プログラムを実行する際に、プロセッサ５０１からアクセス可能である。

ステップ６０２において、プロセッサ５０１は、瞳孔２４、３４の正面において、ピクセルの共役２５、４５の位置及びサイズを定義する４つのパラメータｚ_Ｐ、θ_ｘ、θ_ｙ、αを演算している。この演算は、ステップ６０１において演算された瞳孔２４、３４を定義するパラメータと、装置５００のストレージユニット５０２内において保存されているセンサ２３上のピクセル２２の位置を定義するパラメータと、に基づいている。この演算も、光学系１１を通じた光線の伝播をモデル化する能力を有するプログラムを実行することにより、光学取得システムの較正フェーズにおいて実現される。ステップ６０２は、センサ２３のそれぞれのピクセルごとに、実行される。

ステップ６０３において、プロセッサ５０１は、光学取得装置によってキャプチャされたライトフィールドデータから、センサ２３のピクセル２２によってキャプチャされた光の強度を表すパラメータを演算している。センサ２３のタイプに応じて、ピクセル２２によってキャプチャされた光の強度を表すパラメータは、例えば、Ｒ、Ｇ、又はＢ、或いは、これらの組合せであるＲＧＢなどの色チャネル属性、或いは、輝度属性Ｌ、或いは、赤外線属性ＩＲなどである。

ステップ６０４において、プロセッサ５０１は、光学取得システムの瞳孔２４、３４を定義すると共にそれぞれの瞳孔に対して関連付けられたパラメータと、瞳孔と共にピクセルビームを定義するピクセル２２の共役３５を定義するパラメータと、を含むデジタルファイルを生成している。その共役３５がビークセルビームを定義するピクセル２２によってキャプチャされた光の強度を表すパラメータは、瞳孔２４、３４を定義するパラメータに対して関連付けられている。生成されたデータファイルは、例えば、光学取得システムと共に供給されるＣＤ−ＲＯＭ又はフラッシュドライブ上において、或いは、光学取得システムの製造者に属するサーバー上において、保存される。

図７には、このようなデジタルファイル７０が表されている。デジタルファイル７０は、カメラなどの光学取得システムのピクセルビームの集合体を表している。それぞれの瞳孔１〜Ｙは、カメラがプレノプティックカメラである際には、カメラのマイクロレンズに対応しており、且つ、カメラのアレイのケースにおいては、異なるカメラのレンズに対応している。

デジタルファイル７０のフィールド７１は、カメラのそれぞれの瞳孔１〜Ｙに専用である。このフィールド内には、瞳孔の位置、向き、及び半径を定義する６つの瞳孔パラメータｘ_０、ｙ_０、ｚ_０、θ_ｘ０、θ_ｙ０、ｒ、非対称な瞳孔を許容するためのアスペクト比を表すパラメータＡ_Ｏ、並びに、瞳孔の形状を記述する、極半径係数と呼称される、パラメータρ_Ｏなどの、対象の瞳孔に関係するすべてのパラメータが保存される。

瞳孔１〜Ｙに専用のそれぞれのフィールド内において、前記瞳孔によって定義されたピクセルビーム１〜Ｘに関係するパラメータは、専用のサブフィールド７２内において保存される。これらのサブフィールド内には、瞳孔２４、３４の正面における、ピクセルの共役２５、４５の位置及びサイズを定義する４つのパラメータｚ_Ｐ、θ_ｘ、θ_ｙ、α、非対称なピクセルを許容するためのアスペクト比を表すパラメータＡ_Ｐ、並びに、ピクセルの形状を記述する、極半径係数と呼称される、パラメータρ_Ｐ、並びに、その共役がピクセルビームを定義するピクセルによってキャプチャされた光の強度を表すパラメータが保存される。

本発明の一実施形態においては、デジタルファイル７０は、少なくとも２つの異なる光学取得装置の瞳孔及びピクセルの共役を定義するパラメータを含む。それぞれの光学取得装置は、３×３回転マトリックス及び３×１平行運動ベクトルなどの外因性パラメータによって特徴付けられており、回転マトリックス及び平行運動ベクトルは、いずれも、取得装置の外因性較正によって取得される。

本発明の別の実施形態においては、ステップ６０５において、プロセッサ５０１は、光学取得システムのセンサの異なるピクセルに関連付けられたピクセルビームを表すパラメータを含むデジタルファイルを光学取得システムによってキャプチャされた画像に対して関連付けている。データファイルは、例えば、キャプチャされた画像のヘッダの特定のフィールド内において保存される。

ステップ６０６において、プロセッサ５０１は、光学取得システムによってキャプチャされた画像を処理する能力を有する装置に送信されるメッセージを生成している。本発明の第１の実施形態においては、メッセージは、光学取得システムによってキャプチャされた画像との関係において光学取得システムのセンサの異なるピクセルに関連付けられたピクセルビームを表す演算されたパラメータを含むデータファイルを含む。本発明の第２の実施形態においては、メッセージは、そのヘッダのフィールド内においてデータファイルが埋め込まれた、光学取得システムによってキャプチャされた画像を有する。

次いで、このメッセージは、インターフェイスユニット５０５を通じて外部装置に送信される。インターフェイスユニット５０５は、パラメータを含むメッセージを搬送するケーブル又は無線通信を介して、信号を外部装置に送信する。外部装置は、装置５００によって送信されたメッセージ内において受け取ったパラメータを使用して光学系２１によってキャプチャされた画像を処理する能力を有する。

図８は、本開示の一実施形態による光学取得システムによってキャプチャされた画像を処理する装置の一例を示す概略ブロックダイアグラムである。

装置８００は、バス８０６によって接続されたプロセッサ８０１、ストレージユニット８０２、入力装置８０３、表示装置８０４、及びインターフェイスユニット８０５を含む。当然のことながら、コンピュータ装置８００の構成要素は、バス接続以外の接続により、接続することもできる。

プロセッサ８０１は、装置８００の動作を制御している。ストレージユニット８０２は、プロセッサ８０１によって実行される、光学取得システムによって取得された画像を処理する能力を有する少なくとも１つのプログラムと、センサ２３上のピクセル２２の位置に関係するパラメータ、或いは、光学取得システムの光学系２１に関係するパラメータ、プロセッサ８０１によって実行される演算によって使用されるパラメータ、プロセッサ８０１によって実行される演算の中間データなどを含む、様々なデータと、を保存している。プロセッサ８０１は、任意の既知の、且つ、適切な、ハードウェア、又はソフトウェア、或いは、ハードウェア及びソフトウェアの組合せにより、形成することができる。例えば、プロセッサ８０１は、処理回路などの専用のハードウェアにより、或いは、そのメモリ内において保存されているプログラムを実行するＣＰＵ（Central Processing Unit）などのプログラム可能な処理ユニットにより、形成することができる。

ストレージユニット８０２は、任意の適切なストレージにより、或いは、プログラム、データ、又はこれらに類似したものをコンピュータ可読方式によって保存する能力を有する手段により、形成することができる。ストレージユニット８０２の例は、半導体メモリ装置などの一時的ではないコンピュータ可読ストレージ媒体並びに読み取り及び書き込みユニット内に装填される磁気的、光学的、又は磁気光学的記録媒体を含む。プログラムは、プロセッサ８０１が、図９を参照して後述するように、本開示の一実施形態に従って処理されるように画像と共に提供されるピクセルビームのパラメータに基づいて、光学取得システムによってキャプチャされた画像を処理するプロセスを実行するようにする。

入力装置８０３は、光学取得システムによってキャプチャされた画像を処理するために使用されるパラメータのユーザーの選択を実施するためのコマンドを入力するべく、ユーザーによって使用される、キーボード、マウスなどのポインティング装置、或いは、これらに類似したものにより、形成することができる。出力装置８０４は、例えば、本開示の一実施形態によって生成される画像である、グラフィカルユーザーインターフェイス（ＧＵＩ）を表示するための表示装置によって形成することができる。入力装置８０３及び出力装置８０４は、例えば、タッチスクリーンパネルにより、一体的に形成されてもよい。

インターフェイスユニット８０５は、装置８００と外部装置の間のインターフェイスを提供している。インターフェイスユニット８０５は、ケーブル又は無線通信を介して外部装置と通信自在であってもよい。一実施形態においては、外部装置は、光学取得システム又は装置６００であってもよい。

図９は、本開示の一実施形態による光学取得システムによってキャプチャされた画像を処理するプロセスを説明するフローチャートである。

装置８００のプロセッサ８０１は、処理対象である画像と関連付けられたピクセルビームを表すパラメータに基づいて光学取得システムによってキャプチャされた画像を処理する能力を有するプログラムを実行する。

即ち、プロセッサ８０１は、ステップ９０１において、光学取得システムと共に供給されるＣＤ−ＲＯＭ又はフラッシュドライブから、或いは、光学取得システムの製造者に属するサーバーから前記パラメータを含むデータファイルをダウンロードすることにより、キャプチャされた画像を処理するために使用されるピクセルビームを表すパラメータを取得している。本発明の一実施形態においては、プロセッサ８０１は、処理対象の画像のヘッダ内において、これらのパラメータを取得している。

次いで、ステップ９０２において、プロセッサ８０１は、ステップ９０１において取得されたピクセルビーム１０、２０、３０、４０、５０を表すパラメータに基づいて光学取得システムによってキャプチャされた画像を処理している。

キャプチャされた画像の処理は、前記キャプチャされた画像の逆多重化、逆モザイク化、再合焦、レンダリング、或いは、異なる光学取得システムによってキャプチャされた少なくとも別の画像との間における混合、或いは、これらの動作の任意のものの組合せを有することができる。

以上、特定の実施形態を参照し、本発明について説明したが、本発明は、特定の実施形態に限定されるものではなく、且つ、当業者には、本発明の範囲に含まれる変更が明らかとなろう。

多くの更なる変更及び変形は、例としてのみ付与されていると共に、添付の請求項によってのみ判定される本発明の範囲の限定を意図したものではない、上述の例示用の実施形態を参照した際、それ自体が当業者に対して示唆されることになろう。具体的には、異なる実施形態からの異なる特徴が、適宜、相互交換可能でありうる。

Claims (12)

1. 光学取得システムの瞳孔を通過する光線の組によって占有された、前記光学取得システムの物体空間内の、容積と、前記光学取得システムのセンサの少なくとも１つのピクセルの共役と、を表すデータを生成するコンピュータ実装された方法であって、前記光線の組によって占有された前記容積は、ピクセルビームと呼称され、前記方法は、前記ピクセルビームを表すデータを含むデジタルファイルを生成することを含み、前記データは、
   − 前記光学取得装置の前記瞳孔を定義するパラメータと、
   − 前記センサの少なくとも前記ピクセルの、前記物体空間内の、前記共役に対応する、ウエストと呼称される、前記ピクセルビームの最小のセクションを定義するパラメータと、
   を含み、
   前記ピクセルビームの前記ウエストを定義する前記パラメータは、前記少なくとも１つのピクセルを定義するパラメータに基づいて演算される、方法。
2. 前記光学取得システムによってキャプチャされたライトフィールドデータから取得された前記ピクセルによってキャプチャされた前記光の強度を表すパラメータは、前記デジタルファイル内の前記ピクセルビームを表す前記パラメータに対して関連付けられている請求項１に記載の方法。
3. 前記瞳孔を定義する前記パラメータは、前記瞳孔の半径、前記光学取得システムに関連付けられた座標系内の前記瞳孔中心の座標、及び前記座標系内の前記瞳孔の向きを定義する角度を含む請求項１又は２に記載の方法。
4. 前記ピクセルビームの前記ウエストを表す前記パラメータは、前記ピクセルビームの前記ウエストと前記瞳孔の前記中心の間の距離、前記座標系内の前記ピクセルビームの前記ウエストの向きを含む請求項１から３のいずれか１項に記載の方法。
5. 光学取得システムの瞳孔を通過する光線の組によって占有された、前記光学取得システムの物体空間内の、容積と、前記光学取得システムのセンサの少なくとも１つのピクセルの共役と、を表すデータを生成する装置であって、前記光線の組によって占有された前記容積は、ピクセルビームと呼称され、前記装置は、前記ピクセルビームを表すデータを含むデジタルファイルを生成するように構成されたプロセッサを含み、前記データは、
   − 前記光学取得装置の前記瞳孔を定義するパラメータと、
   − 前記センサの少なくとも前記ピクセルの、前記物体空間内の、前記共役に対応する、ウエストと呼称される、前記ピクセルビームの最小のセクションを定義するパラメータと、
   を含み、
   前記ピクセルビームの前記ウエストを定義する前記パラメータは、前記少なくとも１つのピクセルを定義するパラメータに基づいて演算される、装置。
6. 前記光学取得装置によってキャプチャされたライトフィールドデータから取得された前記ピクセルによってキャプチャされた前記光の強度を表すパラメータは、前記デジタルファイル内の前記ピクセルビームを表す前記パラメータに対して関連付けられている請求項５に記載の装置。
7. 前記瞳孔を定義する前記パラメータは、前記瞳孔の半径、前記光学取得装置に関連付けられた座標系内の前記瞳孔中心の座標、及び前記座標系内の前記瞳孔の向きを定義する角度を含む請求項５又は６に記載の装置。
8. ライトフィールド撮像装置であって、
   − 規則的な格子構造において配置されたマイクロレンズのアレイと、
   − 前記マイクロレンズのアレイから前記フォトセンサ上において投影された光をキャプチャするように構成されたフォトセンサであって、前記フォトセンサは、ピクセルの組を含み、ピクセルのそれぞれの組は、前記マイクロレンズのアレイの個々のマイクロレンズと光学的に関連付けられている、フォトセンサと、
   − 請求項５に記載の、光学取得システムの瞳孔を通過する光線の組によって占有された、前記光学取得システムの物体空間内の、容積と、前記光学取得システムのセンサの少なくとも１つのピクセルの共役と、を表すデータを含むデジタルファイルを提供する装置であって、前記光線の組によって占有された前記容積は、ピクセルビームと呼称される、装置と、
   を含む装置。
9. 請求項１乃至４のいずれか１項に記載の前記方法に従って得られる、光学取得システムの瞳孔を通過する光線の組によって占有された、前記光学取得システムの物体空間内の、容積と、前記光学取得システムのセンサの少なくとも１つのピクセルの共役と、を表すデータを含むデジタルファイルを使用してライトフィールドデータから画像をレンダリングする装置であって、前記光線の組によって占有された前記容積は、ピクセルビームと呼称される、装置。
10. 光学取得システムの瞳孔を通過する光線の組によって占有された、前記光学取得システムの物体空間内の、容積と、前記光学取得システムのセンサの少なくとも１つのピクセルの共役と、を表すデータを含むデジタルファイルであって、前記光線の組によって占有された前記容積は、ピクセルビームと呼称され、前記データは、
    − 前記光学取得装置の前記瞳孔を定義するパラメータと、
    − 前記センサの少なくとも前記ピクセルの、前記物体空間内の、前記共役に対応する、ウエストと呼称される、前記ピクセルビームの最小のセクションを定義するパラメータであって、
    前記ピクセルビームの前記ウエストを定義する前記パラメータは、前記少なくとも１つのピクセルを定義するパラメータに基づいて演算される、パラメータと、
    − 前記光学取得システムによってキャプチャされたライトフィールドデータから取得された前記ピクセルによってキャプチャされた前記光の強度と、
    を含む、データファイル。
11. 請求項１から４のいずれか１項に記載の前記方法によって得られた請求項１０に記載のデジタルファイル。
12. プログラム可能な装置用のコンピュータプログラムプロダクトであって、前記プログラム可能な装置内に読み込まれ、且つ、前記プログラム可能な装置によって実行された際に、請求項１から４のいずれか１項に記載の方法を実装する命令のシーケンスを有するコンピュータプログラムプロダクト。