JP2018536312A - 光学取得系によりキャプチャされた画像を符号化するための装置及び方法 - Google Patents

Abstract

市場で入手可能ないくつかの種類のプレノプティックデバイス及びカメラアレイが存在し、全てのこれらのライトフィールド取得デバイスは、独自のファイルフォーマットを有する。しかし、多次元情報の取得及び送信をサポートする標準が存在しない。前記光学取得系のセンサのピクセルと前記光学取得系の物空間との間の対応関係に関する情報を取得することは興味深い。実際に、光学取得系のセンサに属するピクセルが前記光学取得系の物空間のどの部分を検出しているかを認識することは、信号処理動作の改善を可能にする。したがって、カメラの光学系の物空間内で一式の光線により占有される大きさを表すピクセルビームの概念が導入される。

Description

本発明は、ライトフィールドを表現するデータの生成に関する。

4Dライトフィールド（light filed）のサンプリングとして見なされることができる４次元又は4Dライトフィールドデータの取得、すなわち、光線の記録は、ECCV 2008の会議集録において公表されたAnat Levin他による論文「Understanding camera trade-offs through a Bayesian analysis of light field projections」に説明されており、活発な研究課題である。

カメラから取得される従来の２次元又は2D画像と比べて、4Dライトフィールドデータは、ユーザが画像のレンダリング及びユーザとの双方向性を向上するより多くの後処理機能にアクセスすることを可能にする。例えば、4Dライトフィールドデータによって、自由に選択される焦点距離で画像の焦点再設定を実行することが可能になり、焦点面の位置が事後的に指定／選択できること、及び画像の場面において視点をわずかに変更できることを意味する。4Dライトフィールドデータを取得するために、いくつかの技術が使用できる。例えば、プレノプティックカメラ（plenoptic camera）は、4Dライトフィールドデータを取得することができる。プレノプティックカメラのアーキテクチャの詳細は、図１Ａに提供されている。図１Ａは、プレノプティックカメラ100を概略的に表す図である。プレノプティックカメラ100は、主レンズ101と、２次元配列に配置された複数のマイクロレンズ103を含むマイクロレンズアレイ102と、イメージセンサ104とを含む。

4Dライトフィールドデータを取得するための他の方法は、図１Ｂに示すようなカメラアレイを使用することである。図１Ｂは、マルチアレイカメラ110を表す。マルチアレイカメラ110は、レンズアレイ112と、イメージセンサ114とを含む。

図１Ａに示すプレノプティックカメラ100の例では、主レンズ101は、主レンズ101のオブジェクトフィールド（object field）内の物体（図示せず）から光を受光し、光を主レンズ101のイメージフィールド（image field）に通過させる。

少なくとも、4Dライトフィールドを取得する他の方法は、異なる焦点面で同じ場面の2D画像の系列をキャプチャするように構成された従来のカメラを使用することである。例えば、OPTICS EXPRESS, Vol. 22, No. 21, 2014年10月に公表されたJ.-H. Park他による文献「Light ray field capture using focal plane sweeping and its optical reconstruction using 3D displays」に記載の技術は、従来のカメラを用いて4Dライトフィールドデータの取得を実現するために使用され得る。

4Dライトフィールドデータを表現するいくつかの方法が存在する。実際に、2006年7月に公表されたRen Ngによる「Digital Light Field Photography」という題名の博士論文の第3.3章には、4Dライトフィールドデータを表現する３つの異なる方法が記載されている。第１に、4Dライトフィールドデータは、プレノプティックカメラによりマイクロレンズ画像の集合によって記録されたときに表現できる。この表現での4Dライトフィールドデータは、生の画像又は生の4Dライトフィールドデータと呼ばれる。第２に、4Dライトフィールドデータは、プレノプティックカメラ又はカメラアレイにより一式のサブアパーチャ（sub-aperture）画像によって記録されたときに表現できる。サブアパーチャ画像は、或る視点からの場面のキャプチャ画像に対応し、視点は２つのサブアパーチャ画像の間でわずかに異なる。これらのサブアパーチャ画像は、画像化された場面の視差及び深度についての情報を与える。第３に、4Dライトフィールドデータは、一式のエピポーラ画像（epipolar image）によって表現できる（例えば、ISVC 2011の会議集録において公表されたS. Wanner他による「Generating EPI Representation of a 4D Light Fields with a Single Lens Focused Plenoptic Camera」という題名の文献を参照）。

市場で入手可能ないくつかの種類のプレノプティックデバイス及びカメラアレイが存在し、全てのこれらのライトフィールド取得デバイスは、独自のファイルフォーマットを有する。したがって、多次元情報の取得及び送信をサポートする標準が存在しないため、通常の2D又は3D画像の他に、ライトフィールド技術は生き延びることができないと思われる。本発明は、前述のことを考慮して考えられている。

本発明の第１の態様によれば、光学取得系によりキャプチャされた画像を符号化するための装置が提供され、前記装置は、前記光学取得系のセンサの少なくとも１つのピクセルについて、前記光学取得系の瞳を通過する一式の光線により占有される前記光学取得系の物空間内の大きさと、瞳の面に垂直の方向における前記光学取得系の前記物空間内の前記少なくとも１つのピクセルの共役とを規定するパラメータを計算するプロセッサを含み、前記一式の光線により占有される前記大きさは、ピクセルビームと呼ばれる。

装置の実施例によれば、前記プロセッサは、ピクセルビームを表現する前記パラメータを、符号化されるべき前記光学取得系により取得された画像に関連付けるように構成される。

装置の実施例によれば、前記ピクセルビームのパラメータ表現は、以下の式により規定される一葉双曲面であり、

x、y及びzは、前記双曲面z_P、θ_x、θ_y、aの面に属する点の前記物空間内の座標であり、z_Pは、ウェストと呼ばれる前記ピクセルビームの最小断面の距離を表し、前記瞳の面に垂直の方向における前記光学取得系の前記物空間内の前記ピクセルの前記共役に対応し、θ_x、θ_yは、前記瞳の中心から前記ウェストの方向を規定する剪断角（shear angle）を表し、aはウェストのサイズを表し、cは、前記ピクセルビームの開口角の規定に依存するパラメータであり、vは[0,2π]の間隔で変化する角度である。

装置の実施例によれば、ピクセルビームのパラメータ表現は、以下の式により規定される一葉双曲面であり、

A_Oは、非対称瞳のアスペクト比を表すパラメータであり、A_Pは、非対称ウェストのアスペクト比を表すパラメータであり、aは、前記瞳と前記ウェストとの間のピクセルビームの断面の広がりを表すパラメータであり、ρ_Oは、前記瞳の極半径係数を表すパラメータであり、ρPは、前記ウェストの極半径係数を表すパラメータである。

装置の実施例によれば、ピクセルビームは、少なくとも、主線と呼ばれる双曲面の軸を表す第１のパラメータセットと、前記主線を中心に回転させることにより前記双曲面の面の生成を可能にする生成線群を表す第２のパラメータセットとにより表現される。

装置の実施例によれば、前記ピクセルビームのパラメータ表現は、前円錐（front cone）と背円錐（rear cone）との結合であり、前円錐及び背円錐は互いに重なる。

装置の実施例によれば、前円錐と背円錐との結合としての前記ピクセルビームのパラメータ表現は、以下の式により与えられ、

z_frontは、前記前円錐の頂点のz座標を表し、z_rearは、前記背円錐の頂点のz座標を表し、P、z_P、W及びz_wは、それぞれ前記ピクセルビームの前記瞳の直径（P>0）、そのz座標、前記ピクセルビームのウェストの直径及びz座標（0<W<+∞）、及びそのz座標（0<z_w<+∞）を示し、

であり、θ_front及びθ_rearは、それぞれ前記前円錐及び前記背円錐の頂角である。

装置の実施例によれば、前円錐と背円錐との結合としてのピクセルビームのパラメータ表現は、W=+∞及びz_w=+∞のときに以下の式により与えられ、

p及びfは、それぞれピクセルの直径（p>0）及び光学取得系の光学素子の焦点距離（f>0）を表し、

である。

本発明の他の目的は、光学取得系によりキャプチャされた画像を符号化するための方法であり、前記方法は、前記光学取得系のセンサの少なくとも１つのピクセルについて、前記光学取得系の瞳を通過する一式の光線により占有される前記光学取得系の物空間内の大きさと、前記瞳の面に垂直の方向における前記光学取得系の前記物空間内の前記少なくとも１つのピクセルの共役とを規定するパラメータを計算するステップを含み、前記一式の光線により占有される前記大きさは、ピクセルビームと呼ばれる。

本発明の実施例による方法は、ピクセルビームを表現する前記パラメータを、符号化されるべき前記光学取得系により取得された画像に関連付けるステップを更に含む。

本発明の他の目的は、光学取得系によりキャプチャされた画像を処理するための装置であり、前記装置は、前記光学取得系のセンサの少なくとも１つのピクセルに関連付けられたパラメータに基づいて前記画像を処理するように構成されたプロセッサを含み、前記パラメータは、前記光学取得系の瞳を通過する一式の光線により占有される前記光学取得系の物空間内の大きさと、前記瞳の面に垂直の方向における前記光学取得系の前記物空間内の前記少なくとも１つのピクセルの共役とを規定し、前記一式の光線により占有される前記大きさは、ピクセルと呼ばれる。

光学取得系によりキャプチャされた画像を処理するための装置の実施例によれば、前記プロセッサは、
前記キャプチャされた画像を多重分離すること、
前記キャプチャされた画像をデモザイク処理すること、
前記キャプチャされた画像に焦点再設定すること、又は
異なる光学取得系によりキャプチャされた少なくとも他の画像と、前記キャプチャされた画像とをミキシングすること
により前記キャプチャされた画像を処理するように構成される。

本発明の他の目的は、光学取得系によりキャプチャされた画像を処理するための方法であり、前記方法は、光学取得系のセンサの少なくとも１つのピクセルに関連付けられたパラメータに基づいて前記画像を処理するステップを含み、前記パラメータは、前記光学取得系の瞳を通過する一式の光線により占有される前記光学取得系の物空間内の大きさと、前記瞳の面に垂直の方向における前記光学取得系の前記物空間内の前記少なくとも１つのピクセルの共役とを規定し、前記一式の光線により占有される前記大きさは、ピクセルと呼ばれる。

光学取得系によりキャプチャされた画像を処理するための方法の実施例によれば、前記キャプチャされた画像を処理することは、
前記キャプチャされた画像を多重分離すること、
前記キャプチャされた画像をデモザイク処理すること、
前記キャプチャされた画像に焦点再設定すること、又は
異なる光学取得系によりキャプチャされた少なくとも他の画像と、前記キャプチャされた画像とをミキシングすること
にある。

本発明の他の目的は、光学取得系によりキャプチャされた画像を符号化できる第１の装置により、キャプチャされた前記キャプチャされた画像を処理できる第２の装置に送信される信号であり、前記信号は、前記光学取得系の瞳を通過する一式の光線により占有される前記光学取得系の物空間内の大きさと、前記瞳の面に垂直の方向における前記光学取得系の前記物空間内の前記少なくとも１つのピクセルの共役とを規定するパラメータを含むメッセージを搬送し、前記一式の光線により占有される前記大きさは、ピクセルビームと呼ばれ、前記第２の装置による前記キャプチャされた画像の処理は、前記パラメータに基づく。

本発明のエレメントにより実施されるいくつかの処理は、コンピュータにより実施されてもよい。したがって、このようなエレメントは、完全にハードウェアの実施例、完全にソフトウェアの実施例（ファームウェア、常駐ソフトウェア、マイクロコード等を含む）又はソフトウェアとハードウェアの態様を組み合わせた実施例の形式になってもよく、これらの全ては、一般的にここでは「回路」、「モジュール」又は「システム」と呼ばれてもよい。さらに、このようなエレメントは、媒体に具現されたコンピュータ使用可能なプログラムコードを有する表現のいずれかの有形の媒体に具現されたコンピュータプログラムプロダクトの形式になってもよい。

本発明のエレメントは、ソフトウェアで実施できるため、本発明は、いずれか適切な担体媒体でプログラム可能な装置に提供するコンピュータ読み取り可能コードとして具現できる。有形の担体媒体は、フロッピーディスク、CD-ROM、ハードディスクドライブ、磁気テープデバイス又はソリッドステートメモリデバイス等のような記憶媒体を含んでもよい。一時的な担体媒体は、電気信号、電子信号、光信号、音響信号、磁気信号又は電磁気信号（例えば、マイクロ波又はRF信号）のような信号を含んでもよい。

本発明の実施例について、一例のみとして以下の図面を参照して説明する。
プレノプティックカメラを概略的に表す図である。 マルチアレイカメラを表す。 カメラの光学系又は光学取得系の物空間内で一式の光線により占有される大きさを表す。 一葉双曲面を表す。 一葉双曲面の他の図を表す。 本発明の実施例に従ってピクセルビームを規定する主線及び生成線を表す。 ２つの円錐の結合を表す。 本開示の実施例に従って光学取得系によりキャプチャされた画像を符号化するための装置の例を示す概略ブロック図である。 本開示の実施例に従って光学取得系によりキャプチャされた画像を符号化するための処理を説明するフローチャートである。 本開示の実施例に従って光学取得系によりキャプチャされた画像を処理するための装置の例を示す概略ブロック図である。 本開示の実施例に従って光学取得系によりキャプチャされた画像を処理するための処理を説明するフローチャートである。

当業者に認識されるように、本原理の態様は、システム、方法又はコンピュータ読み取り可能媒体として具現できる。したがって、本原理の態様は、完全にハードウェアの実施例、完全にソフトウェアの実施例（ファームウェア、常駐ソフトウェア、マイクロコード等を含む）又はソフトウェアとハードウェアの態様を組み合わせた実施例の形式にすることができ、これらの全ては、一般的にここでは「回路」、「モジュール」又は「システム」と呼ばれることができる。さらに、本原理の態様は、コンピュータ読み取り可能記憶媒体の形式にすることができる。１つ以上のコンピュータ読み取り可能記憶媒体のいずれかの組み合わせが利用されてもよい。

いずれかの光学取得系について、プレノプティックであってもそうでなくても、光学取得系によりキャプチャされた4Dライトフィールドデータを表現する生の画像又はエピポーラ画像に加えて、前記光学取得系のセンサのピクセルと前記光学取得系の物空間との間の対応関係に関する情報を取得することは興味深い。光学取得系のセンサに属するピクセルが前記光学取得系の物空間のどの部分を検出しているかを認識することは、多重分離、デモザイク処理、焦点再設定等、及び異なる特徴を有する異なる光学系によりキャプチャされた画像のミキシングのような信号処理動作の改善を可能にする。さらに、光学取得系のセンサのピクセルと前記光学取得系の物空間との間の対応関係に関する情報は、光学取得系と独立している。

本開示は、図２に示すピクセルビーム10の概念を導入する。図２は、カメラ（図２に図示せず）の光学系21の瞳を通過する一式の光線により占有される大きさと、瞳の面に垂直の方向における光学系の物空間内のカメラのセンサのピクセルの共役とを表す。

一式の光線は、前記光学系21の瞳24を通じてカメラのセンサ23のピクセル22により検出される。光学系21は、写真用カメラ又はビデオカメラに適したレンズの組み合わせでもよい。光学系の瞳は、前記光学系、すなわち、開口絞りに先行する光学取得系のレンズから見て開口絞りの像として規定される。開口絞りは、光学取得系の光学系を通過する光の量を制限する開口部である。例えば、カメラレンズ内部に位置する調整可能なブレード型絞りは、レンズの開口絞りである。絞りを通る光の量は、カメラのユーザが通したいと思う光の量に依存して適合し得る絞り開口の直径により制御される。例えば、開口を小さくすることは、絞りを通る光の量を減少させ、同時に焦点深度を増加させる。レンズの一部の屈折作用のため、絞りの開口サイズは、その物理的なサイズより大きくても小さくてもよい。最後に、瞳は、物理的な絞りと観察空間との間に位置する光学取得系の全てのレンズを通じた開口絞りの像である。

ピクセルビーム20は、入射瞳24を介して光学系21を通じて伝わるときに、所与のピクセル22に到達する光線束として規定される。光は自由空間において直線に伝わるため、このようなピクセルビーム20の形状は、２つの断面により規定でき、一方はピクセル22の共役25であり、他方は入射瞳24である。ピクセル22は、そのヌルでない面及びその感度マップにより規定される。

本発明の第１の実施例では、図３に示すように、ピクセルビーム30は、２つのエレメント（瞳34及び物空間内のピクセル22の共役35）によりサポートされる一葉双曲面により表現されてもよい。

一葉双曲面は、光線束の概念をサポートできる線織面であり、物理的な光ビームの「エテンデュ（etendue）」の概念、すなわち、物理的な光ビームの断面の間のエネルギーの保存に関連する概念に適合する。

図４に表すように、一葉双曲面40は、物空間内の共役25に対応するウェスト45と呼ばれるその最小断面の基本的な領域を除き、その漸近円錐41、42とほぼ同一である。ライトフィールドカメラのようなプレノプティック系では、これは、複数の経路線により空間サンプリングが実行される領域である。この領域内の点に縮退（degenerate）する固有の円錐を有するサンプリング空間は適切ではない。その理由は、ピクセル22感度がその面上の数十もの正方形のミクロン（square micron）において有意になり、円錐の先端のような無限に小さい面を有する数学的な点により表現できないからである。

本発明の実施例では、各ピクセルビーム20、30、40は、瞳24、34の前のピクセル共役25、45の位置及びサイズを規定する４つの独立したパラメータz_P、θ_x、θ_y、aと、瞳24、34の位置、向き及び半径を規定する６個の瞳パラメータx_O、y_O、z_O、θ_x0、θ_y0、rとにより規定される。これらの６個の瞳パラメータは、一葉双曲面により表現されるときに同じ瞳24、34を共有するピクセルビームの集合に共通である。実際に、ピクセルビームは、瞳24を通じてピクセル22により検出される光学系21の物空間内の一式の光線により占有される大きさを表す。すなわち、所与のピクセル22／瞳24、34の対に対して固有のピクセルビーム20、30、40が対応するが、複数の別個のピクセルビームは、同じ瞳24、34によりサポートできる。

ピクセルビーム20、30、40を表現する一葉双曲線のパラメータが規定される座標系（x,y,z）の原点Oは、図２に示すように瞳24の中心に対応し、z軸は、瞳24、34の面に垂直の方向を規定する。

パラメータθ_x、θ_yは、瞳24の中心の入射に対して主線方向を規定する。これらは、センサ23及び光学系21の光学素子上のピクセル22の位置に依存する。より正確には、パラメータθ_x、θ_yは、瞳24の中心からピクセル22の共役25の方向を規定する剪断角を表す。

パラメータz_Pは、z軸に沿ったピクセルビーム20、30、40のウェスト45又はピクセル22の共役25の距離を表す。

パラメータaは、ピクセルビーム20、30、45のウェスト45の半径を表す。

光学歪み及び像面湾曲がモデル化され得る光学系21では、パラメータz_P及びaは、パラメータ関数を介してθ_x及びθ_yに依存することができる。

４つの独立したパラメータは、ピクセル22及びその共役25に関係する。

ピクセルビーム20、30、40を規定する６個の補完的な瞳パラメータは、瞳24、34の半径を表すrと、（x,y,z）座標系において瞳24、34の中心の座標を表すx_O、y_O、z_Oと、基準（x,y,z）座標系において瞳24、34の向きを表すθ_x0、θ_y0である。

これらの６個の瞳パラメータは、瞳24、34に関係する。他のパラメータcが規定される。このようなパラメータcは、ピクセル22に関係するパラメータz_P及びaと、瞳24、34に関係するパラメータrとに依存する。パラメータcは、ピクセルビーム20、30、40の開口角αを規定し、式

により与えられる。

したがって、パラメータcの表現は以下の式により与えられる。

ピクセルビーム20、30、40の範囲を定める面に属する点の物空間における座標（x,y,z）は、瞳24及びピクセルの共役25に関係する前述のパラメータセットの関数である。したがって、ピクセルビーム20、30、40を表現する一葉双曲面の生成を可能にする式(2)は、

である。

ピクセルビーム20、30、40を表現する同じ双曲面のパラメータ式(3)は、

であり、vは、生成双曲線からピクセルビーム20、30、40の生成を可能にする（x,y）面の角度であり、vは[0,2π]の間隔で変化し、z∈[0,∞]は、瞳24、34の面に垂直の方向を規定するz軸に沿った座標である。式(2)及び(3)は、ピクセル22及びその共役25の断面が円形であり、瞳24、34の断面も円形であるという仮定で記述されている。

ピクセルビーム20、30、40が光学系21の物空間をどのようにサンプリングするかの正確な記述を取得するために、ピクセル22の断面及び瞳24、34の断面の幾何学がどのように物空間を覆うかを決定することは興味深い。これは、物空間において放射された光がどのようにセンサ23の異なるピクセル22の間に分配されるかの認識をもたらす。

したがって、瞳24、34、ピクセル22及びピクセル22の共役25の断面の形状を記述するために、他のパラメータセットが規定される。

第１の独立したパラメータA_Oが規定される。パラメータA_Oは、非対称瞳24、34を考慮するためのアスペクト比を表す。

第２の独立したパラメータA_Pが規定される。パラメータA_Pは、ピクセル22の共役25、45（ウェスト）における非対称ピクセルビームを考慮するためのアスペクト比を表す。

第３のパラメータである従属パラメータαは、以下のように規定される。

αは、瞳24、34とピクセル22の共役25、45との間のz軸に沿ったピクセルビーム20、30、40の形状の広がりを表す係数であり、瞳24、34及びピクセル22の断面の形状と独立しており、ピクセル22の共役25、45から∞までである。パラメータkは、z軸に沿ったピクセルビーム20、30、40の形状の展開を調整するパラメータである。k≒1.3の値は、瞳24、34とピクセル22の共役25、45との間のパラメータαの線形の変化を近似する。

極半径係数と呼ばれる２つのパラメータρ_O及びρ_Pは、それぞれ瞳24、34の形状及びピクセル22の共役25、45の形状を記述している。パラメータρ_O及びρ_Pは、以下の式により規定される。

ρは、角度vについて単位正方形の点を規定する極半径である。

表１と呼ばれる以下の表は、A_O=A_P=1.0のときのパラメータρ_O及びρ_Pの値の例を与える。

瞳24、34、ピクセル22及びピクセル22の共役25の断面の形状に関係する前述のパラメータを考慮して、ピクセルビーム20、30、40を表現する双曲面の展開したパラメータ式(6)は、

である。

本発明の他の実施例では、一葉双曲面は線織面であるため、２つの直線群により記述されてもよく、第１の群は、主線と呼ばれ且つ第２の群にある軸を中心として回転する生成線と呼ばれる。主線及びいずれかの生成線は、ピクセルビームを規定するのに十分である。

図５に表すように、ピクセルビーム50を記述するときに考慮される第１の線は、その軸又は主線51である。主線51は、図２に表す双曲面20、30、40、50のz軸に対応する。

主軸が方向（θx）に向くように双曲面20、30、40、50を剪断すると、式

を与える。tx=tan(θx)であり、ty=tan(θy)であり、z_Pは、z軸上のピクセルビームのウェストの位置であり、a及びcは、それぞれx、y及びz軸に沿った双曲面の半軸（semi-axes）の長さを表す。

ピクセルビーム10、20、30、40、50を表現する一葉双曲面を記述するときに考慮される第２の線は、生成線52である。生成線52の群は、双曲面50の面を記述する。

前記光学取得系のセンサのピクセルと前記光学取得系の物空間との間の対応関係に関する情報は、瞳24、34の前のピクセル共役25、45の位置及びサイズを規定する４つの独立したパラメータz_P、θ_x、θ_y、aと、ピクセルビームがそのパラメータ式により表現されるときの瞳24、34の位置、向き及び半径を規定する６個の瞳パラメータx_O、y_O、z_O、θ_x0、θ_y0、rとを含むパラメータセット、又はピクセルビームが２つの線（主線及び生成線）20、30、40、50により表現される20、30、40、50であるときに主線51及び生成線52の群を規定するパラメータセットのいずれかの形式になってもよい。したがって、これらの２つのパラメータセットの一方は、4Dライトフィールドデータを処理する間に使用されるために、光学取得系によりキャプチャされた4Dライトフィールドデータを表現する生の画像又はエピポーラ画像に加えて提供される。

本発明の第１の実施例は、ピクセルビームを規定するために２つのみの線、すなわち、主線及び生成線を必要とするという利点を提示する。しかし、これは、基礎となる物理学の幾何学を正確には言い換えていない。実際に、一葉双曲面は、センサに実際に達するいくつかの線を無視しており、他方で余計な線を含む。

この欠点を克服するために、本発明の第２の実施例では、図６に示すように、ピクセルビーム60は、２つのエレメント（瞳64及び物空間内のピクセル62の共役65、すなわち、ピクセル上に結像される物空間内の面）によりサポートされる２つの同軸の部分的に重なる円錐（前円錐及び背円錐）により表現されてもよい。

前円錐61_Fは、ピクセル62及び瞳64により規定される凸台形（convex frustum）の像である。凸台形の頂点は、光学取得系のセンサの範囲外にある。構造によって、前円錐61_Fは、光学取得系の物空間において収束しており、前円錐61_Fの頂点は、ピクセル65の共役又はピクセルビーム60のウェストと瞳64との間にある。前円錐61_Fは、ピクセル62において瞳64の範囲を定める立体角から導出する。

背円錐61_Rは、ピクセル62及び瞳64により規定される円錐の像であり、その頂点は、瞳64と画像取得系のセンサとの間にある。構造によって、背円錐61_Rの頂点は、瞳60のウェスト65の範囲外に位置する。背円錐61_Rは、必ずしも光学取得系の物空間に収束する必要はなく、いくつかの場合には、円柱又は発散円錐（diverging cone）に縮退してもよい。後者の場合、発散円錐の頂点は、画像取得系の像空間にあり、すなわち、瞳64の入射の前にある。

前円錐61_F及び背円錐61_Rは、同じ回転軸を共有し、この回転軸は、瞳64の中心とウェスト65の中心とを結ぶ線である。

円錐は、光線束の概念をサポートできる線織面であり、２つの円錐を組み合わせると、物理的な光ビームの「エテンデュ（etendue）」の概念、すなわち、物理的な光ビームの断面の間のエネルギーの保存に関連する概念に適合する。平面での円錐の交わりは、円錐曲線であり、双曲面に関しては、これは複数の係数により特徴付けることができる。その頂点を考慮すると、円錐は、３つの角度パラメータ（頂角までの円錐の回転軸から測定された極角と、２つの角度により与えられる回転軸の方向）により表現されてもよい。

xyzを光学取得系の座標系とし、zが光学取得系の物空間内の光学取得系の光軸（z>0）を示し、瞳64の中心が前記座標系の原点である。光学取得系の光学素子は、範囲z∈[2f,+∞]からの光学取得系の物空間を光学取得系の像空間z∈[-2f,f]に結像し、fは、光学取得系の光学素子の焦点距離である。瞳64の位置及びピクセルビーム60のウェスト65は、光学取得系の較正から光学取得系の座標系xyzにおいて既知である。瞳64及びウェスト65は、平行であると仮定し、双方ともz軸に垂直である。

z’をピクセルビーム60の主線と呼ぶ。主線は、瞳64の中心とピクセルビーム60のウェスト65の中心とを結ぶ線である。主線はまた、回転軸及びピクセルビーム60の対称軸でもある。したがって、座標系xyz’では、ピクセルビーム60は回転体である。

前円錐61_F及び背円錐61_Rの双方の頂点は、ピクセルビーム60の主線z’上に位置する。薄いレンズの近似のもとで、光学取得系のセンサが背焦点面に位置しないという仮定で、これらの２つの頂点の座標は、以下のように光学取得系の座標系xyzにおいて計算される。

すなわち、

であり、P、z_P、W及びz_wは、それぞれ、瞳64の直径（P>0）、そのz座標、ピクセルの共役65の直径（0<W<+∞）及びそのz座標（0<z_w<+∞）を示す。

背円錐61_Rの頂点のz座標z_rearは、背円錐61_Rが収束円錐（converging cone）であるときに正でもよく、背円錐61_Rが発散円錐であるときに負でもよい。瞳64及びピクセルビームのピクセルの共役65が同じサイズである場合には無限大でもよい。

光学取得系のセンサが背焦点面に位置する場合、W=+∞及びz_w=+∞である。これらの比が一定であるときに、

であり、p及びfは、光学取得系の光学素子が収束レンズであると仮定して、それぞれピクセル62の直径（p>0）及び光学取得系の光学素子の焦点距離（f>0）を表す。

頂角は、

により与えられる。

結合したものがピクセルビーム60を表す各円錐の頂点を考慮して、線は、２つの角度パラメータ（頂角までのピクセルビームの回転軸からの極角測定及び[0,2π[の方位角）で規定できる。

ピクセルビームに関するこれらの更なる情報は、所与の光学取得系に関連するメタデータである。これらは、例えば、光学取得系と共に供給されるCD-ROM又はフラッシュドライブに記憶されたデータファイルとして提供されてもよい。ピクセルビームに関する更なる情報を含むデータファイルはまた、光学取得系の製造者に属するサーバからダウンロードされてもよい。本発明の実施例では、ピクセルビームに関するこれらの更なるデータはまた、光学取得系によりキャプチャされた画像のヘッダに埋め込まれてもよい。

ピクセルビームに関するこれらの情報の認識は、独自のファイルフォーマット及び処理される画像をキャプチャするために使用される光学取得系の特徴と独立して、いずれかの光学取得系によりキャプチャされた画像の処理を可能にする。

図７は、本開示の実施例に従って光学取得系によりキャプチャされた画像を符号化するための装置の例を示す概略ブロック図である。

装置700は、バス706により接続されたプロセッサ701と、記憶ユニット702と、入力デバイス703と、表示デバイス704と、インタフェースユニット705とを含む。当然に、コンピュータ装置700の構成要素は、バス接続以外の接続により接続されてもよい。

プロセッサ701は、装置700の動作を制御する。記憶ユニット702は、プロセッサ701により実行される光学取得系により取得された画像を符号化できる少なくとも１つのプログラムと、センサ23上のピクセル22の位置に関するパラメータ又は光学取得系の光学系21に関するパラメータ、プロセッサ701により実行される計算により使用されるパラメータ、プロセッサ701により実行される計算の中間データ等を含む様々なデータとを記憶する。プロセッサ701は、いずれか既知の適切なハードウェア若しくはソフトウェア、又はハードウェアとソフトウェアとの組み合わせにより形成されてもよい。例えば、プロセッサ701は、処理回路のような専用ハードウェアにより形成されてもよく、或いはそのメモリに記憶されたプログラムを実行するCPU（中央処理装置）のようなプログラム可能な処理ユニットにより形成されてもよい。

記憶ユニット702は、いずれか適切な記憶装置又はコンピュータ読み取り可能な方式でプログラム、データ等を記憶可能な手段により形成されてもよい。記憶ユニット702の例は、半導体メモリデバイス及び読み取り及び書き込みユニットに装備された磁気、光又は光磁気記録媒体のような非一時的なコンピュータ読み取り可能記憶媒体を含む。図８を参照して以下に説明するような本開示の実施例に従って、プログラムは、プロセッサ701に対して、カメラの光学系の瞳を通過する一式の光線により占有される大きさと、瞳の面に垂直の方向における光学系の物空間内のカメラのセンサのピクセルの共役とを表すパラメータを計算し、光学取得系によりキャプチャされた画像を用いてこれらのパラメータを符号化するための処理を実行させる。

入力デバイス703は、ユーザがコマンドを入力したり、光学系の物空間内の一式の光線により占有される大きさを表すパラメータを生成するために使用されるユーザのパラメータの選択を行ったりするために使用されるキーボード、マウスのようなポインティングデバイス等により形成されてもよい。出力デバイス704は、本開示の実施例に従って生成された画像を表示するための表示デバイス、例えば、グラフィカルユーザインタフェース（GUI）により形成されてもよい。入力デバイス703及び出力デバイス704は、例えば、タッチパネルにより一体的に形成されてもよい。

インタフェースユニット705は、装置700と外部装置との間のインタフェースを提供する。インタフェースユニット705は、ケーブル又は無線通信を介して外部装置と通信可能でもよい。実施例では、外部装置は、光学取得系でもよい。

図８は、本開示の実施例に従って光学取得系によりキャプチャされた画像を符号化するための処理を説明するフローチャートである。

装置700のプロセッサ701は、カメラ（図２に図示せず）の光学系11の瞳を通過する一式の光線により占有される大きさと、瞳の面に垂直の方向における光学系の物空間内のカメラのセンサのピクセルの共役とを表すパラメータを計算し、光学取得系によりキャプチャされた画像を用いてこれらのパラメータを符号化することができるプログラムを実行する。

したがって、プロセッサ701は、ステップ801の間に、記憶ユニット702に記憶されたパラメータに基づいて、ピクセルビーム10、20、30、40、50、60を表現するパラメータを少なくとも計算する。計算されたパラメータは、製造者が選択したピクセルビーム10、20、30、40、50、60の表現の種類に依存し、すなわち、双曲面のパラメータ式を用いて、或いは主線又は生成線群を用いて、ピクセルビームを表現する。

ステップ802の間に、プロセッサ701は、ステップ801の間に計算されたパラメータを、光学取得系の瞳を通じて光を検出できる前記光学取得系のセンサのピクセルに関連付ける。ステップ802は、光学取得系の瞳を通じて光を検出できるセンサのピクセル毎に計算される。

ステップ803の間に、プロセッサ701は、光学取得系のセンサの異なるピクセルに関連付けられたピクセルビームを表現する計算されたパラメータを含むデータファイルを生成する。生成されたデータファイルは、例えば、光学取得系と共に供給されるCD-ROM若しくはフラッシュドライブ、又は光学取得系の製造者に属するサーバに記憶される。

本発明の他の実施例では、ステップ804の間に、プロセッサ701は、光学取得系のセンサの異なるピクセルに関連付けられたピクセルビームを表現する計算されたパラメータを含むデータファイルを、光学取得系によりキャプチャされた画像に関連付ける。データフィルは、例えば、キャプチャされた画像のヘッダの特定のフィールドに記憶される。

ステップ805の間に、プロセッサ701は、光学取得系によりキャプチャされた画像を処理できる装置に送信されるメッセージを生成する。本発明の第１の実施例では、メッセージは、光学取得系によりキャプチャされた画像への光学取得系のセンサの異なるピクセルに関連付けられたピクセルビームを表現する計算されたパラメータを含むデータファイルを含む。本発明の第２の実施例では、メッセージは、光学取得系によりキャプチャされた画像がそのヘッダのフィールドにデータファイルを埋め込むことにある。

次に、ステップ806の間に、このメッセージは、インタフェースユニット705を通じて外部装置に送信される。インタフェースユニット705は、ケーブル又は無線通信を介して、パラメータを含むメッセージを搬送する信号を外部装置に送信する。外部装置は、装置700により送信されたメッセージで受信したパラメータを使用して、光学系21によりキャプチャされた画像を処理できる。

図９は、本開示の実施例に従って光学取得系によりキャプチャされた画像を処理するための装置の例を示す概略ブロック図である。

装置900は、バス906により接続されたプロセッサ901と、記憶ユニット902と、入力デバイス903と、表示デバイス904と、インタフェースユニット905とを含む。当然に、コンピュータ装置900の構成要素は、バス接続以外の接続により接続されてもよい。

プロセッサ901は、装置900の動作を制御する。記憶ユニット902は、プロセッサ901により実行される光学取得系により取得された画像を処理できる少なくとも１つのプログラムと、センサ23上のピクセル22の位置に関するパラメータ又は光学取得系の光学系21に関するパラメータ、プロセッサ901により実行される計算により使用されるパラメータ、プロセッサ901により実行される計算の中間データ等を含む様々なデータとを記憶する。プロセッサ901は、いずれか既知の適切なハードウェア若しくはソフトウェア、又はハードウェアとソフトウェアとの組み合わせにより形成されてもよい。例えば、プロセッサ901は、処理回路のような専用ハードウェアにより形成されてもよく、或いはそのメモリに記憶されたプログラムを実行するCPU（中央処理装置）のようなプログラム可能な処理ユニットにより形成されてもよい。

記憶ユニット902は、いずれか適切な記憶装置又はコンピュータ読み取り可能な方式でプログラム、データ等を記憶可能な手段により形成されてもよい。記憶ユニット902の例は、半導体メモリデバイス及び読み取り及び書き込みユニットに装備された磁気、光又は光磁気記録媒体のような非一時的なコンピュータ読み取り可能記憶媒体を含む。図１０を参照して以下に説明するような本開示の実施例に従って、プログラムは、プロセッサ901に対して、処理される画像と共に提供されたピクセルビームのパラメータに基づいて、光学取得系によりキャプチャされた画像を処理するための処理を実行させる。

入力デバイス903は、ユーザがコマンドを入力したり、光学取得系によりキャプチャされた画像を処理するために使用されるユーザのパラメータの選択を行ったりするために使用されるキーボード、マウスのようなポインティングデバイス等により形成されてもよい。出力デバイス904は、本開示の実施例に従って生成された画像を表示するための表示デバイス、例えば、グラフィカルユーザインタフェース（GUI）により形成されてもよい。入力デバイス903及び出力デバイス904は、例えば、タッチパネルにより一体的に形成されてもよい。

インタフェースユニット905は、装置900と外部装置との間のインタフェースを提供する。インタフェースユニット905は、ケーブル又は無線通信を介して外部装置と通信可能でもよい。実施例では、外部装置は、光学取得系又は装置700でもよい。

図１０は、本開示の実施例に従って光学取得系によりキャプチャされた画像を処理するための処理を説明するフローチャートである。

装置900のプロセッサ901は、処理される画像に関連するピクセルビームを表現するパラメータに基づいて、光学取得系によりキャプチャされた画像を処理できるプログラムを実行する。

したがって、プロセッサ901は、ステップ1001の間に、光学取得系と共に供給されるCD-ROM又はフラッシュドライブから、或いは光学取得系の製造者に属するサーバから前記パラメータを含むデータファイルをダウンロードすることにより、キャプチャされた画像を処理するために使用されるピクセルビームを表現するパラメータを取得する。本発明の実施例では、プロセッサ901は、処理される画像のヘッダにおいてこれらのパラメータを取得する。

次に、ステップ1002の間に、ステップ1001の間に取得されたピクセルビーム10、20、30、40、50、60を表現するパラメータに基づいて、光学取得系によりキャプチャされた画像を処理する。

キャプチャされた画像の処理は、多重分離、デモザイク処理、焦点再設定、若しくは異なる光学取得系によりキャプチャされた少なくとも他の画像と前記キャプチャされた画像とのミキシング、又はこれらの動作のいずれかの組み合わせにあってもよい。

本発明について具体的な実施例を参照して前述したが、本発明は、具体的な実施例に限定されず、変形例は、本発明の範囲内にある当業者に明らかになる。

多くの更なる変形例及び変更例は、前述の例示的な実施例を参照するときに、これら自体を当業者に示唆する。前述の例示的な実施例は、例のみとして与えられており、特許請求の範囲のみにより決定される本発明の範囲を限定することを意図するものではない。特に、異なる実施例からの異なる特徴は、適切な場合には交換されてもよい。

Claims (16)

1. 光学取得系によりキャプチャされた画像を符号化するための装置であって、
   前記装置は、前記光学取得系のセンサの少なくとも１つのピクセルについて、前記光学取得系の瞳を通過する一式の光線により占有される前記光学取得系の物空間内の大きさと、瞳の面に垂直の方向における前記光学取得系の前記物空間内の前記少なくとも１つのピクセルの共役とを規定するパラメータを計算するプロセッサを含み、
   前記一式の光線により占有される前記大きさは、ピクセルビームと呼ばれる装置。
2. 前記プロセッサは、ピクセルビームを表現する前記パラメータを、符号化されるべき前記光学取得系により取得された画像に関連付けるように構成される、請求項１に記載の装置。
3. 前記ピクセルビームのパラメータ表現は、以下の式により規定される一葉双曲面であり、
   

   

   x、y及びzは、前記双曲面z_P、θ_x、θ_y、aの面に属する点の前記物空間内の座標であり、z_Pは、ウェストと呼ばれる前記ピクセルビームの最小断面の距離を表し、前記瞳の面に垂直の方向における前記光学取得系の前記物空間内の前記ピクセルの前記共役に対応し、θ_x、θ_yは、前記瞳の中心から前記ウェストの方向を規定する剪断角を表し、aはウェストのサイズを表し、cは、前記ピクセルビームの開口角の規定に依存するパラメータであり、vは[0,2π]の間隔で変化する角度である、請求項１又は２に記載の装置。
4. 前記ピクセルビームのパラメータ表現は、以下の式により規定される一葉双曲面であり、
   

   

   A_Oは、非対称瞳のアスペクト比を表すパラメータであり、A_Pは、非対称ウェストのアスペクト比を表すパラメータであり、aは、前記瞳と前記ウェストとの間の前記ピクセルビームの断面の広がりを表すパラメータであり、ρ_Oは、前記瞳の極半径係数を表すパラメータであり、ρPは、前記ウェストの極半径係数を表すパラメータである、請求項３に記載の装置。
5. ピクセルビームは、少なくとも、主線と呼ばれる双曲面の軸を表す第１のパラメータセットと、前記主線を中心に回転させることにより前記双曲面の面の生成を可能にする生成線群を表す第２のパラメータセットとにより表現される、請求項１又は２に記載の装置。
6. 前記ピクセルビームのパラメータ表現は、前円錐と背円錐との結合であり、前記前円錐及び前記背円錐は互いに重なる、請求項１又は２に記載の装置。
7. 前円錐と背円錐との結合としての前記ピクセルビームのパラメータ表現は、以下の式により与えられ、
   

   

   z_frontは、前記前円錐の頂点のz座標を表し、z_rearは、前記背円錐の頂点のz座標を表し、P、z_P、W及びz_wは、それぞれ前記ピクセルビームの前記瞳の直径（P>0）、そのz座標、前記ピクセルビームのウェストの直径及びz座標（0<W<+∞）、及びそのz座標（0<z_w<+∞）を示し、
   

   

   であり、θ_front及びθ_rearは、それぞれ前記前円錐及び前記背円錐の頂角である、請求項６に記載の装置。
8. 前円錐と背円錐との結合としての前記ピクセルビームのパラメータ表現は、W=+∞及びz_w=+∞のときに以下の式により与えられ、
   

   

   p及びfは、それぞれ前記ピクセルの直径（p>0）及び前記光学取得系の光学素子の焦点距離（f>0）を表し、
   

   

   である、請求項６に記載の装置。
9. 光学取得系によりキャプチャされた画像を符号化するための方法であって、
   前記方法は、前記光学取得系のセンサの少なくとも１つのピクセルについて、前記光学取得系の瞳を通過する一式の光線により占有される前記光学取得系の物空間内の大きさと、前記瞳の面に垂直の方向における前記光学取得系の前記物空間内の前記少なくとも１つのピクセルの共役とを規定するパラメータを計算するステップを含み、
   前記一式の光線により占有される前記大きさは、ピクセルビームと呼ばれる方法。
10. ピクセルビームを表現する前記パラメータを、符号化されるべき前記光学取得系により取得された画像に関連付けるステップを更に含む、請求項９に記載の方法。
11. 光学取得系によりキャプチャされた画像を処理するための装置であって、
    前記装置は、前記光学取得系のセンサの少なくとも１つのピクセルに関連付けられたパラメータに基づいて前記画像を処理するように構成されたプロセッサを含み、
    前記パラメータは、前記光学取得系の瞳を通過する一式の光線により占有される前記光学取得系の物空間内の大きさと、前記瞳の面に垂直の方向における前記光学取得系の前記物空間内の前記少なくとも１つのピクセルの共役とを規定し、
    前記一式の光線により占有される前記大きさは、ピクセルと呼ばれる装置。
12. 前記プロセッサは、
    前記キャプチャされた画像を多重分離すること、
    前記キャプチャされた画像をデモザイク処理すること、
    前記キャプチャされた画像に焦点再設定すること、又は
    異なる光学取得系によりキャプチャされた少なくとも他の画像と、前記キャプチャされた画像とをミキシングすること
    により前記キャプチャされた画像を処理するように構成される、請求項１１に記載の装置。
13. 光学取得系によりキャプチャされた画像を処理するための方法であって、
    前記方法は、前記光学取得系のセンサの少なくとも１つのピクセルに関連付けられたパラメータに基づいて前記画像を処理するステップを含み、
    前記パラメータは、前記光学取得系の瞳を通過する一式の光線により占有される前記光学取得系の物空間内の大きさと、前記瞳の面に垂直の方向における前記光学取得系の前記物空間内の前記少なくとも１つのピクセルの共役とを規定し、
    前記一式の光線により占有される前記大きさは、ピクセルと呼ばれる方法。
14. 前記キャプチャされた画像を処理することは、
    前記キャプチャされた画像を多重分離すること、
    前記キャプチャされた画像をデモザイク処理すること、
    前記キャプチャされた画像に焦点再設定すること、又は
    異なる光学取得系によりキャプチャされた少なくとも他の画像と、前記キャプチャされた画像とをミキシングすること
    にある、請求項１３に記載の方法。
15. 光学取得系によりキャプチャされた画像を符号化できる第１の装置により、キャプチャされた前記キャプチャされた画像を処理できる第２の装置に送信される信号であって、
    前記信号は、前記光学取得系の瞳を通過する一式の光線により占有される前記光学取得系の物空間内の大きさと、前記瞳の面に垂直の方向における前記光学取得系の前記物空間内の前記少なくとも１つのピクセルの共役とを規定するパラメータを含むメッセージを搬送し、
    前記一式の光線により占有される前記大きさは、ピクセルビームと呼ばれ、
    前記第２の装置による前記キャプチャされた画像の処理は、前記パラメータに基づく信号。
16. プログラムがプロセッサにより実行されたときに、請求項９乃至１１のうちいずれか１項に記載の光学取得系によりキャプチャされた画像を符号化するための方法を実施するプログラムコード命令を含むことを特徴とするコンピュータプログラム。

Images