JP2016103822A - 発光デバイスを含むプレノプティック・カメラ - Google Patents

Abstract

【課題】プレノプティック・カメラを較正する。【解決手段】プレノプティック・カメラ２は、カメラ・レンズ１０と、複数のマイクロレンズ１１１、１１２、１１ｎを含むレンズレット・アレイ１１と、光センサ・アレイ１３とを含む。サブ画像の参照ピクセルを決定するために、カメラ・レンズは、カメラ・レンズの開口絞り平面内に配置された発光デバイス２０を含み、この発光デバイスは、光センサ・アレイを照明する。【選択図】図２

Description

本開示は、プレノプティック・カメラならびに光照射野取得デバイスおよび方法の領域に関する。本開示は、プレノプティック・カメラの較正の領域にも関する。

背景技術によれば、光照射野カメラとも呼ばれるプレノプティック・カメラを用いて同一のシーンの異なるビューを取得することが知られている。図１は、従来技術によるそのようなプレノプティック・カメラ１を示す図である。プレノプティック・カメラ１は、画像センサ・アレイ１３とも呼ばれる光センサ・アレイ１３と関連付けられたレンズ配列で構成される。光センサ・アレイ１３は、Ｘ列Ｙ行のグリッドの形態に配列された多数（ｍ個）の光センサ１３１、１３２、１３３〜１ｍを含む。ここで、ｍは、Ｘ×Ｙに対応する。カラー・フィルタ・アレイ（ＣＦＡ）１２は、光センサ・アレイ１３上に配置される。ＣＦＡ１２は、通常は、ＲＧＢ（赤、緑、および青）カラー・フィルタを光センサ・アレイ上に配置し、このＲＧＢ配置は、この例では、ベイヤー・フィルタ・モザイクの形態である。通常は、１つのカラー・フィルタ（赤、緑、または青のフィルタ）は、所定のパターンに従って１つの光センサと関連付けられ、この所定のパターンは、ベイヤー・フィルタの例では緑５０％、赤２５％、青２５％であり、このようなパターンは、ＲＧＢＧ、ＧＲＧＢ、またはＲＧＧＢパターンとも呼ばれる。レンズ配列は、メイン・レンズとも呼ばれる主レンズ１０と、複数（ｎ個）のマイクロレンズ１１１、１１２、１ｎを含むレンズレット・アレイ１１を含む。ここで、ｎは、２以上の正の整数である。マイクロレンズ１１１、１１２、１ｎは、複数の光センサとそれぞれ光学的に関連付けられるように配置される。１つのマイクロレンズと光学的に関連付けられる光センサの数は、プレノプティック・カメラ１によって取得されるシーンのビューの数に対応する。所与のマイクロレンズと関連付けられる光センサが、マイクロレンズのマイクロ画像を形成する。様々なビューを得るために、生画像（すなわち光センサ・アレイ１３によって取得したカラー・センサ・データ）に、モザイク解除および逆多重化を行う。モザイク解除により、フル・カラー生画像を復元する、すなわち、プレノプティック・カメラによって取得した生画像では、各ピクセルに１つの色成分（例えばＲ、Ｇ、またはＢ）しか関連付けていないのに対して、生画像のピクセルのフル・カラー情報（例えばＲＧＢ情報、ここでＲＧＢは、「赤（Ｒｅｄ）」、「緑（Ｇｒｅｅｎ）」、および「青（Ｂｌｕｅ）」を表す）を復元することができる。モザイク解除の後に実行される逆多重化により、シーンの様々なビューを復元する、すなわち、モザイク解除された生画像のピクセルを、それらが属するビューに応じてグループ化することができる。

シーンの様々なビューを復元するためには、プレノプティック・カメラによって取得した生画像を較正する必要がある。この較正の主な目的は、プレノプティック・カメラの光センサ・アレイ上に形成される各マイクロレンズのマイクロ画像の中心点の位置を特定することである。様々な複雑化により、中心点の位置の特定に関するプロセスは、各中心ピクセルと光学的に結合していると考えられるメイン・レンズのサブ開口の位置が１つである光センサ・アレイ全体における推定した中心の間の不一致につながる様々な問題に悩まされている。光センサ・アレイがベイヤー型のカラー・フィルタ・アレイ（ＣＦＡ）を備えている場合には、これが推定の精度にさらに影響を与える。大域的な最適化を使用して中心を推定する場合、このような最適化は、通常は、個々のマイクロレンズの大きさおよびレンズレット・アレイ内の相対位置の製造時のばらつきを考慮に入れることはできない。さらに、推定位置がいくつかのピクセル／光センサの境界の近傍にある場合には、中心の推定に曖昧さがある。すなわち、正しいピクセルを選択するために最も近い整数に丸めることにより、マイクロ画像の中心のピクセルではないピクセルを選択してしまう可能性が高い。

さらに、ズーム時または合焦時の何れかでメイン・レンズに変化が生じるたびに、マイクロ画像の中心を推定し直さなければならない。この理由から、同じレンズ設定を有するフラットな白色写真を撮り、その画像から、最小自乗最適化方法を使用して、ビューを逆多重化するために必要なパラメータを取り出さなければならない。これにより、１枚撮影するためにメイン・レンズを調整するたびにシステムを較正することはあまり便利ではないので、不都合が生じる。システムがビデオにも対応している場合には、これは、撮影中にズームすることもできないということを意味する。

特開２０１３−１０５１５１号公報

本開示の目的は、背景技術の上記の欠点のうちの少なくとも１つを克服することである。

本開示は、カメラ・レンズと、複数のマイクロレンズを含むレンズレット・アレイと、光センサ・アレイとを含むプレノプティック・カメラであって、カメラ・レンズの開口絞り平面内に配置された発光デバイスを含み、発光デバイスが、光センサ・アレイを照明する、プレノプティック・カメラに関する。

特定の特徴によれば、発光デバイスは、前記開口絞り平面の中心に配置される。

発光デバイスは、透明であると有利である。

特定の特徴によれば、プレノプティック・カメラは、カメラ・レンズの少なくとも１つのパラメータの変化を検出するデバイスを含む。

少なくとも１つのパラメータの変化の検出が、発光デバイスによる光センサ・アレイの照明をトリガすると有利である。

別の特徴によれば、発光デバイスは、少なくとも１つの画像取得サイクルの少なくとも一部分の間、光センサ・アレイを照明する。

発光デバイスは、白色光を発出すると有利である。

特定の特徴によれば、発光デバイスは、赤色光、緑色光、および青色光を連続的に発出する。

別の特徴によれば、発光デバイスは、発光ダイオードである。

本開示は、また、カメラ・レンズと、複数のマイクロレンズを含むレンズレット・アレイと、光センサ・アレイとを含むプレノプティック・カメラを較正する方法であって、
カメラ・レンズの開口絞り平面内に配置された発光デバイスによって光センサ・アレイを照明するステップと、
発光デバイスによって照明される光センサ・アレイの光センサを決定するステップと、
決定された光センサに従ってプレノプティック・カメラを較正するステップとを含む方法にも関する。

この方法は、カメラ・レンズの少なくとも１つのパラメータの変化を検出するステップをさらに含み、照明が、この検出によってトリガされると有利である。

特定の特徴によれば、光センサ・アレイは、少なくとも１つの画像取得サイクルの少なくとも一部分の間照明される。

別の特徴によれば、決定するステップは、光センサ・アレイの各光センサが受光する光強度を測定することを含み、決定された光センサは、測定された光強度が最大となる光センサに対応する。

レンズレット・アレイの各マイクロレンズごとに１つの光センサが決定されると有利である。

特定の特徴によれば、各マイクロレンズごとに決定された光センサは、そのマイクロレンズと関連付けられたマイクロ画像の中心のピクセルに対応する。

本発明は、このプレノプティック・カメラを含む電気通信デバイスにも関する。

添付の図面を参照する以下の説明を読めば、本開示はより深く理解され、その他の具体的な特徴および利点も明らかになるであろう。

背景技術によるプレノプティック・カメラを示す図である。 本発明の原理の特定の実施形態によるプレノプティック・カメラを示す図である。 本発明の原理の特定の実施形態による、図２のプレノプティック・カメラの発光デバイスによって発出される光線束を示す図である。 本発明の原理の第１の特定の実施形態による、図２のプレノプティック・カメラのレンズレット・アレイのマイクロレンズと関連付けられたマイクロ画像を示す図である。 本発明の原理の第２の特定の実施形態による、図２のプレノプティック・カメラのレンズレット・アレイのマイクロレンズと関連付けられたマイクロ画像を示す図である。 本発明の原理の特定の実施形態による、図２のプレノプティック・カメラを較正する方法を示す図である。 本発明の原理の特定の実施形態による、図２のプレノプティック・カメラを含む電気通信デバイスを示す図である。

次に、図面を参照して、本主題について説明する。全ての図面を通じて、同様の要素は同様の参照番号を用いて示してある。以下の説明では、説明のために、本主題が完全に理解されるように、多数の具体的な詳細について記載する。ただし、本主題の実施形態は、これらの具体的な詳細がなくても実施することができることは明らかである。

本発明の原理の特定の実施形態によれば、プレノプティック・カメラの光学的アセンブリは、光学的アセンブリのカメラ・レンズ（メイン・レンズまたは主レンズとも呼ばれる）の開口絞り平面内に配置された発光デバイス、すなわち光源を含む。発光デバイスは、プレノプティック・カメラの光センサ・アレイを照明するように配置される。分かりやすくするために、図面では、メイン・レンズとしてレンズを１つしか示していない。メイン・レンズは、いくつかのレンズのセットを含んでいてもよいことは、当然理解されたい。

発光デバイスで所定の期間の間（例えばシーンの生画像を取得するのに必要な期間に対応する期間、または生画像を取得するのに必要な期間の一部のみに対応する期間の間）光センサ・アレイを照明することにより、各マイクロレンズの下の光センサ・アレイの少なくとも１つの光センサを選択することができる。所与のマイクロレンズについて選択された光センサは、その後、生画像のモザイク解除中に様々なビューに関連するピクセルを収集するための参照光センサ（またはピクセル）として使用することができる。

カメラ・レンズの開口絞り平面については、１つまたは複数の物理的デバイス（１つまたは複数のレンズおよび／あるいは絞り）の平面が、カメラ・レンズを通過する光錐を制限するものと理解される。開口絞りの平面は、絞り、すなわちより一般的に言えば開口絞りが、カメラ・レンズを通過する光の光錐を制限するように位置決めされる所定の平面である（カメラ・レンズの設計に依存する）。

図２は、本発明の原理の特定の実施形態によるプレノプティック・カメラ２を示す図である。このプレノプティック・カメラは、レンズ・ユニット２０１（光学的アセンブリに対応する）と、カメラ本体２０２とを含む。

レンズ・ユニット２０１は、カメラ本体２０２と関連付けられるように適応されているので有利である。カメラ本体２０２は、複数（ｍ個）の光センサ１３１、１３２、１３３〜１３ｍを含む光センサ・アレイ１３を含む。各光センサは、光センサ・アレイによって取得されるシーンの生画像の１つのピクセルに対応し、各ピクセルは、シーンの一部分（点とも呼ぶ）を包含している。説明のために、光センサ・アレイ１３は、比較的少数の光センサ１３１〜１３ｍを有するものとして示してある。言うまでもなく、光センサの数は図２に示すものに限定されるわけではなく、例えば数千個や数百万個の光センサなど、任意の数の光センサに及ぶ。例えば、１２．４メガピクセル・カメラでは、１つのピクセルが１つの光センサに対応することになる（例えば、４０８８×３０４０ピクセル／光センサのアレイに対応する）。カラー・フィルタ・アレイ（ＣＦＡ）１２は、光センサ・アレイ１３上に配置される。ＣＦＡ１２は、通常は、ＲＧＢ（赤、緑、および青）カラー・フィルタを光センサ・アレイ上に配置し、このＲＧＢ配置は、この例では、ベイヤー・フィルタ・モザイクの形態である。変形形態では、（ＣＦＡ１２に加えて、またはＣＦＡ１２の代わりに）レンズレット・アレイ１１上にＣＦＡが配置される。レンズ・ユニット２０１をカメラ本体２０２と関連付けるために、レンズ・ユニット２０１は、第１の取付け部分を含み、カメラ本体２０２は、第２の取付け部分を含み、第１の取付け部分と第２の取付け部分は互換性がある。第１の取付け部分および第２の取付け部分により、レンズ・ユニット２０１をカメラ本体２０２にクリップ留めする、あるいはレンズ・ユニット２０１をカメラ本体２０２にねじ留めすることができる。カメラ本体と関連付けられるように構成されたレンズ・ユニットのこのような第１の取付け部分および第２の取付け部分の一例は、２０１３年５月３０日に公開された特開２０１３−１０５１５１号公報に見ることができる。第１の取付け部分および第２の取付け部分は、いったんレンズ・ユニット２０１とカメラ本体２０２とが一体化されたら、レンズ・ユニット２０１とカメラ本体２０２とが、１つのシーンを取得するたびにそのシーンの複数のビューを取得するように構成されたプレノプティック・カメラを形成するように構成される。この目的のために、カメラ本体２０２は、ｎ個のマイクロレンズ１１１、１１２、１１ｎを含むレンズレット・アレイ１１も含む。ここで、ｎは、２以上の整数である。説明のために、レンズレット・アレイ１１は、比較的少数のマイクロレンズを有するものとして示してあるが、マイクロレンズの数は、数千個、あるいは百万または数百万個のマイクロレンズにまで及ぶこともある。光センサ・アレイ１３の光センサのグループは、レンズレット・アレイ１１の各マイクロレンズ１１１から１１ｎと光学的に関連付けられる。例えば、レンズレット・アレイ１１の各マイクロレンズ１１１から１１ｎは、２×１、４×４、または１０×１０個の光センサのアレイに対応するようなサイズになっている。１つのマイクロレンズと関連付けられた光センサのグループ（換言すれば、そのマイクロレンズの下にある光センサのグループ）は、そのマイクロレンズと関連付けられたマイクロ画像を形成する。光センサのグループの各光センサは、マイクロ画像のピクセルを形成する。１つの独立したマイクロレンズと光学的に関連付けられた複数の光センサのそれぞれは、１つの位置に応じたシーンのピクセルを表す生データを取得すること（ピクセルの数と同数の視差の取得）を可能にする。変形形態では、レンズ・ユニット２０１とカメラ本体２０２とが、単一のボディを構成し、取外し不能な状態で組み立てられる。

レンズ・ユニット２０１は、メイン・レンズまたは主レンズとも呼ばれるカメラ・レンズ１０を含み、このカメラ・レンズ１０は、図２では分かりやすいようにレンズ要素１０を１つしか示していないが、１つまたは複数のレンズ要素で構成されるので有利である。レンズ・ユニット２０１は、カメラ・レンズ１０の開口絞り平面内に配置された発光デバイス（ＬＥＤ）または光源２０も含む。ＬＥＤ２０は、例えば、レーザ、発光電気化学セル（ＬＥＣまたはＬＥＥＣ）、白色発光ダイオード（ＷＬＥＤ）、有機発光ダイオード（ＯＬＥＤ）、あるいは量子ドット発光ダイオードとすることができる。ＷＬＥＤは、例えば青色ＬＥＤ、緑色ＬＥＤおよび赤色ＬＥＤを一体化したＬＥＤシステムなどを用いて色彩光を様々に混合することによって白色光が得られるＲＧＢ（赤、緑、青）システム（マルチカラー白色ＬＥＤとも呼ばれる）の形態であってもよい。別の例では、ＷＬＥＤは、例えば白色光になるように蛍光体でコーティングされた青色ＬＥＤなど、蛍光ＬＥＤであってもよい。ＬＥＤ２０は、透明なガラス板２１内に埋め込まれるので有利である。変形形態では、ＬＥＤ２０は、例えば各ブラケットが透明な材料（例えばＩＴＯ（インジウムスズ酸化物）、透明なセルロース・フィルム、または薄い銀製の六角格子など）で構成されると有利である三脚など任意の手段を用いて、適所に維持される。ＬＥＤ２０自体は、透明（例えばＴＯＬＥＤ（透明有機発光ダイオード）など）である、つまり発光していないときにはＬＥＤに到達する光を透過する、例えば入来する光のうちの８５％、９０％、９５％またはそれ以上を透過させると有利である。ＬＥＤまたはＬＥＤを維持するブラケットが埋め込まれたガラス板は、導電性であり、且つ光学的に透明で、ＬＥＤに電気を供給する、透明導電性フィルム（ＴＣＦ）でコーティングすることもできるので有利である。ＴＣＦは、無機材料および有機材料の両方で構成することができる。無機フィルムは、通常は、インジウムスズ酸化物（ＩＴＯ）、フッ素ドープスズ酸化物（ＦＴＯ）、およびドープ亜鉛酸化物の形態を一般にとる透明導電性酸化物（ＴＣＯ）の層で構成される。有機フィルムは、例えば、赤外光に対して高度に透明になるように作製することができるカーボン・ナノチューブ・ネットワークまたはグラフェンと、ポリ（３、４−エチレンジオキシチオフェン）およびその誘導体などの高分子のネットワークとで構成される。

ＬＥＤ２０は、カメラ・レンズの開口絞り平面内に配置されるが、カメラ・レンズ１０の開口絞り平面の中心に位置決めされると有利である。変形形態では、ＬＥＤ２０は、カメラ・レンズ１０の開口絞り平面内に配置されるが、開口絞り平面の中心とは異なる位置に配置される。

ＬＥＤ２０は、プレノプティック・カメラ２の後側に向き、発光したときに光センサ・アレイ１３を照明するように光センサ・アレイ１３の方を向いていると有利である。ＬＥＤ２０の横方向寸法は、マイクロレンズ１１１から１１ｎによる光センサ・アレイ１３上のその画像が、光センサ／ピクセル１つ分以下の大きさになる、または光センサ１つ分より大きい場合であっても少なくとも可能な限り小さくなるように、十分に小さいと有利である。そのようにすると、ＬＥＤ２０が光センサ・アレイ１３に向かって光を照射したときに、各マイクロレンズと関連付けられた各マイクロ画像の１つのピクセルだけを照明することになり、これを参照ピクセルとして使用して、光センサ・アレイ１３上に形成されたサブ画像を特定し、次いでプレノプティック・カメラ２で取得した生画像をモザイク解除するときに異なるビューのピクセルを収集することができる。

プレノプティック・カメラ２は、カメラ・レンズ１０の１つまたは複数のパラメータの変化、例えばカメラ・レンズの焦点距離の変化および／あるいは合焦またはズームを行うときに生じる集束距離の変化を検出するように構成されたハードウェア・モジュール２０３を含むので有利である。ハードウェア・モジュールは、カメラ・レンズ１０のパラメータのうちの少なくとも１つの変化が検出されたとき、および／またはプレノプティック・カメラ２に電源投入したときにＬＥＤ２０による光センサ１３の照明をトリガするように構成することもできるので有利である。このモジュールは、カメラ本体２０２に含めることができ、あるいはレンズ・ユニット２０１に含めることもできるので有利である。このモジュールは、例えば複数のレジスタを含むランダム・アクセス・メモリすなわちＲＡＭ２０３２などのメモリと関連付けられた１つまたは複数のプロセッサ２０３１を含むので有利である。メモリは、カメラ・レンズの１つまたは複数のパラメータの変化を検出し、且つ／あるいはカメラ・レンズ１０のパラメータのうちの少なくとも１つの変化が検出されたとき、および／またはプレノプティック・カメラ２が電源投入されたときにＬＥＤ２０による照明をトリガする方法を実施するアルゴリズムの命令を記憶する。変形形態では、このモジュールは、例えばＡＳＩＣ（特定用途向け集積回路）またはＤＳＰ（ディジタル信号プロセッサ）など、ＦＰＧＡ（フィールド・プログラマブル・ゲート・アレイ）のタイプのプログラマブル論理回路の形態をとる。このモジュールは、ＬＥＤ２０の制御に影響を及ぼすパラメータ（例えば、照明強度、照明持続時間など）を設定するためにユーザ・インタフェースを介してユーザによって入力される制御パラメータなどのデータを受信および送信するように構成されたインタフェースを含むこともできる。

図３は、本発明の原理の例示的な非限定的な実施形態による、発光デバイス２０によって発出される光線の束３０を示す図である。図３の例では、ＬＥＤ２０は、カメラ・レンズの開口絞り平面内のカメラ・レンズの光学的中心の高さに位置する。ＬＥＤ２０から発出される光は、一点鎖線３０で示す光錐として示してある。光錐３０は、カメラ・レンズの後部レンズ要素３１、３２を通過して、射出瞳３０１上に形成されるＬＥＤ２０の画像に対応する点３４に集束する。後部レンズ要素３１および３２は、開口絞り平面３００と射出瞳３０１の間に位置するカメラ・レンズ１０のレンズ要素に対応する。もちろん、後部レンズ要素の数は２に限定されるわけではなく、０以上の任意の整数に及ぶ。分かりやすいように、図２には、ＬＥＤ２０から発出され、後部レンズ要素３１、３２を通過した光線の一部分３５、すなわちマイクロレンズ３３を通過する光線のみを示す。マイクロレンズ３３を通過する光線３５の束は、点線で示してある。これらの光線３５は、光センサ・アレイ１３の１つまたは複数の光センサ３３４（例えば３つ、４つ、または５つの光センサ）上に集束するので有利である。ＬＥＤ２０はカメラ・レンズの開口絞り平面３００内の光学的中心の高さに位置しているので、マイクロレンズ３３と関連付けられた（マイクロレンズ３３の下にある）マイクロ画像の中心ピクセルに対応する光センサが、マイクロレンズ３３と関連付けられた一群の光センサ３３２、３３３、３３４、３３５、３３６、３３７、３３８の中で最大光強度を受光する。光線３５がいくつかの光センサに当たるときには、最大光強度を受光する光センサが、そのマイクロレンズに関連付けられたマイクロ画像の参照光センサ／ピクセルとして選択される。

図４は、本発明の原理の第１の特定の実施形態による、レンズレット・アレイ１１のマイクロレンズと関連付けられたマイクロ画像を示す図である。図４には、レンズレット・アレイ１１のマイクロレンズのうちの一部、すなわちマイクロレンズ４１、４２、４３、４４、４５、４６、４７および４８のみを示す。さらに詳細には、図４は、各マイクロレンズ４１から４８と関連付けられた光センサ・アレイの光センサを視覚化することができる、光センサ・アレイ１３のレンズレット・アレイ上への投影４を示している。所与のマイクロレンズと関連付けられた光センサは、その所与のマイクロレンズの下にある光センサ、すなわちその所与のマイクロレンズによって覆われた領域に投影する光センサに対応する。所与のマイクロレンズと関連付けられた光センサのグループの各光センサは、このマイクロレンズと関連付けられたマイクロ画像の１つのピクセルに対応する。ＬＥＤ２０によって照明される光センサは、各マイクロレンズで黒色または薄灰色でハイライト表示してある。例えば、ＬＥＤ２０によって照明される、マイクロレンズ４１に関連付けられた光センサは、光センサ４１１、４１２、４１３および４１４に対応する。ＬＥＤ２０によって照明される光センサ４１１から４１４のグループの中で参照光センサを決定するために、各光センサ４１１から４１４が受光する光の量を互いに比較し、最大値を有する光センサを、マイクロレンズ４１に関連付けられたマイクロ画像の参照ピクセルに対応する参照光センサであるものとして選択する。ＬＥＤによって照明されている光センサが１つしかない（例えば、マイクロレンズ４２および４３とそれぞれ関連付けられた光センサ４２１および４３１など）場合には、マイクロレンズの参照光センサは、ＬＥＤによって照明されているその１つの光センサである。各マイクロレンズ４１から４８の参照光センサは、黒色で示してある。図４の例は、ＬＥＤ２０がカメラ・レンズの開口絞り平面の光学的中心に配置されている場合の図３の例示的な実施形態に対応する。この例では、各マイクロレンズ４１から４８ごとに、前記各マイクロレンズに関連付けられたマイクロ画像の参照光センサまたは参照ピクセルと呼ばれるＬＥＤ２０から発出された光を最大限に受光する光センサは、そのマイクロレンズに関連付けられた光センサのグループのうちの中心の光センサに対応している。

各マイクロレンズに関連付けられた各マイクロ画像の境界および各マイクロ画像の参照ピクセルが分かれば、各マイクロ画像内のいかなるピクセルでも、収集して、正しいビューと関連付けることができる。実際には、１枚のスナップショットにおいてプレノプティック・カメラで取得されるビューの数は、１つのマイクロレンズに関連付けられた光センサの数に対応する。所与のビューを構築するためには、マイクロレンズと関連付けられた各マイクロ画像中で正しいピクセルを選択する必要がある。このようなプロセスは、逆多重化と呼ばれ、本発明の原理の１実施形態によれば、上記で説明したように決定した参照ピクセルを使用して実行される。逆多重化プロセスは、光線を特定の入射角で捉える全てのピクセルが、サブ開口ビューとも呼ばれるいわゆるビューを生成する同じ画像内に収容されるように、生画像のピクセルを再編成することにある。光線の角度情報は、各マイクロ画像の参照ピクセルの位置に対するマイクロ画像内の相対ピクセル位置によって与えられる。各マイクロレンズに関連付けられた各マイクロ画像の参照ピクセルに対する同じ相対位置にある各マイクロレンズの下にあるピクセルは、同じビューに属する。マイクロレンズに関連付けられたマイクロ画像のピクセルは、例えば、Ｒ行Ｃ列を有するピクセルのグリッドを形成する。ここで、ＲおよびＣは整数である。マイクロ画像のピクセルの座標は、ピクセルの行番号および列番号で与えられる。マイクロレンズ４１の下のマイクロ画像では、参照ピクセル４１１の座標は、例えば（ｉ，ｊ）である。これは、各マイクロレンズの下の各マイクロ画像の各参照ピクセルについても同様である。例えば、参照ピクセル４２１の座標も、マイクロレンズ４２の下のマイクロ画像中の（ｉ，ｊ）であり、参照ピクセル４３１の座標も、マイクロレンズ４３の下のマイクロ画像中の（ｉ，ｊ）であり、ピクセルの数は、各マイクロ画像で同じであり、各マイクロ画像中の行および列の数ＲおよびＣも、各マイクロ画像で同じである。所定のビューを構築するためには、各マイクロ画像中の同じ座標を有する全てのピクセルを選択する。例えば、同一のビューに関するピクセルが、図４では×印で特定してあるが、×印で特定された各ピクセルの座標は、各画像において、各マイクロ画像の参照ピクセルの座標（ｉ，ｊ）に対して（ｉ＋３，ｊ＋３）である。

マイクロ画像の境界は、例えば、白色のシーンまたは灰色の一様なシーンを取得することによって決定される。マイクロ画像は、マイクロレンズの分布と同じ分布を有する。白色または灰色のシーンの画像を取得することにより、マイクロレンズの下のピクセルは、マイクロレンズの下に位置していないピクセルより明るく見える。マイクロ画像は、光センサ・アレイ上の明るく見えるピクセルを集めたものであり、マイクロレンズの形状と同じ形状を有する。マイクロ画像の境界は、例えば、プレノプティック・カメラの製造時に完全に決定され、それらの境界を表す情報が、例えばプレノプティック・カメラのメモリ（例えばＲＡＭ）に記憶されていることもある。変形形態では、マイクロ画像の境界は、マイクロレンズの形状が分かっていれば、参照ピクセルが図４の例のように中心ピクセルに対応しているときには、参照ピクセルを使用して決定することができる。２つの隣接するマイクロ画像の中心のピクセルを端点とする線分の中央をとることにより、マイクロ画像の大きさを容易に決定することができる。例えば、マイクロ画像に関連付けられたマイクロレンズが円形である場合には、マイクロ画像の半径は、中心のピクセルと、２つの隣接するマイクロ画像の中心のピクセルを端点とする線分の中央に位置するピクセルとの間にあるピクセルの数に対応する。

図５は、本発明の原理の第２の特定の実施形態による、レンズレット・アレイ１１のマイクロレンズに関連付けられたマイクロ画像を示す図である。図５のマイクロレンズ４１から４８は、図４のマイクロレンズに対応するが、図５の各マイクロ画像の参照ピクセルは、図４に示すマイクロ画像の参照ピクセルとは異なる。図５の例では、参照ピクセル５１１、５２１および５３１はそれぞれ、マイクロレンズ４１、４２および４３に関連付けられたマイクロ画像の左上部分に位置している。この特定の実施形態は、ＬＥＤ２０がカメラ・レンズの開口絞り平面の光学的中心に位置しておらず、開口絞り平面の光学的中心から離れたところに位置している状況に対応する。さらに具体的には、図５の例におけるＬＥＤの位置は、マイクロレンズ４１から４８に関連付けられたマイクロ画像中の参照ピクセルの位置と同じように、開口絞り平面内のカメラ・レンズの開口の左上部分である。もちろん、ＬＥＤ２０は、依然としてカメラ・レンズの開口内にあり、発光時に光センサを照明することができる。逆多重化プロセスは、図４に関連して述べたのと同じように実行されるが、参照ピクセルの位置だけは、図４の例示的な実施形態とは異なる。

図６は、本発明の原理の例示的な非限定的な実施形態による、プレノプティック・カメラ２を較正する方法を示す図である。

初期化ステップ６０で、プレノプティック・カメラの様々なパラメータ、特にカメラ・レンズのパラメータおよび参照ピクセルを表すパラメータを更新する。これらのパラメータは、例えば、プレノプティック・カメラに電源投入したとき、および／あるいはズームまたは合焦するときにカメラ・レンズの例えば焦点距離などのパラメータを変更するときに、初期化される。

次いで、ステップ６１で、プレノプティック・カメラの光センサ・アレイを、プレノプティック・カメラのカメラ・レンズの開口絞り平面内に配置された発光デバイス（ＬＥＤ）によって所定の期間の間照明する。ＬＥＤは、開口絞り平面の中心に配置されると有利である。変形形態では、ＬＥＤは、開口絞り平面内の任意の位置に配置されるが、プレノプティック・カメラのカメラ・レンズの開口内に配置されると、光センサ・アレイを照明することができる。

発光の持続時間は、例えば、画像取得サイクル、すなわちプレノプティック・カメラでシーンの生画像を取得するのに必要な時間期間に対応する。変形形態では、ＬＥＤによる発光の持続時間は、画像取得サイクル未満、例えば画像取得サイクルの２０％、３０％または５０％である。画像取得サイクル未満の期間光センサ・アレイを照明することにより、画像取得サイクルの残りの時間にシーンから入来する光を取り込むことが可能になり、これにより、ＬＥＤによって「覆われて」いる光センサについても生データを取得することが可能になる。ＬＥＤは、発光していないときには透明であると有利である。

ＬＥＤによる発光は、例えば、プレノプティック・カメラに電源投入したとき、および／あるいは（例えばズームまたは合焦するときに）カメラ・レンズの焦点距離などのパラメータが修正されたときにトリガされる。

次いで、ステップ６２で、ＬＥＤによって発出される光線によって照明される光センサ・アレイの光センサを特定する。マイクロレンズと関連付けられ、その下に位置する光センサの各グループの中で、少なくとも１つの光センサが照明される。ＬＥＤの大きさは、ＬＥＤから発出される光線がカメラ・レンズの１つまたは複数の後部レンズ要素およびマイクロレンズアレイのマイクロレンズを通過した後で１つの光センサのみに当たるように選ぶと有利である。ＬＥＤの大きさは、光センサ・アレイ上のＬＥＤの画像が、マイクロレンズに関連付けられたマイクロ画像のピクセル１つ分の大きさまたはプレノプティック・カメラによって取得した生画像を逆多重化することによって得られるビューに属するピクセルの大きさに対応する光センサ１つ分の大きさに等しくなるようになっていると有利である。マイクロレンズの下にある光センサのグループの中で複数の光センサが照明されている場合（例えばＬＥＤの画像の大きさがピクセルの大きさより大きい場合、あるいは例えばレンズレットの製造許容差および／またはプレノプティック・システムの光学的歪みによって収束の問題が生じた場合など）には、この光線が当たる光センサのうちの１つを決定／選択しなければならない。照明されている複数の光センサから選択される光センサは、最大光強度を受光する光センサに対応していると有利である。この目的のために、ＬＥＤによって照明される各光センサが受光する光の量を互いに比較して、最大値を選択する。ステップ６２の結果として、各マイクロレンズの下にある光センサが１つだけ選択され、所定のマイクロレンズについて選択された光センサが、この所定のマイクロレンズに関連付けられたマイクロ画像の参照ピクセルに対応する。

次いで、ステップ６３で、各マイクロ画像の参照ピクセルとして使用される選択した光センサに基づいて、プレノプティック・カメラを較正する。較正は、各マイクロレンズのマイクロ画像中の参照ピクセルを特定することにあり、この参照ピクセルは、例えば、マイクロ画像の中心のピクセルに対応している。いったん参照ピクセルが特定されたら、逆多重化プロセスを開始して、生画像のピクセルを再編成することによって、プレノプティック・カメラによって取得したシーンの様々なビューを構築することができる。

任意選択のステップで、参照ピクセルに対応するビューを、後処理ステップで再構築する。実際には、ＬＥＤによって照明される参照ピクセルは、特定の視角によるシーンのビューに対応する。これらの参照ピクセルに対応する光センサが、画像取得サイクル全体にわたってＬＥＤによって照明される場合には、これらのピクセルについての生データが得られず、対応するビューが失われる。例えば、プレノプティック・カメラを用いて例えば毎秒２４画像のフレーム・レートでビデオを取得する場合には、ＬＥＤは、２４個の画像取得サイクルのうちの１つの間光センサを照明することもある。これは、照明されている光センサに対応するビューが失われるのが、２４枚の画像のうちの１つに対してだけであるということを意味する。失われたビューは、その後、残りの２３枚の画像のうちの１つまたは複数を形成する同じビュー（すなわち同じ視角に対応する）の時間的補間によって再構築することができるので有利である。変形形態では、２４枚の画像のうちプレノプティック・カメラを較正するために（すなわちマイクロ画像の参照ピクセルを決定するために）使用された画像に対応する全てのビューを、プレノプティック・カメラから出力されるビューのストリームから除去し、残りの２３枚の画像に関連付けられたビューのみを考慮して、例えばメモリに記憶したり、スクリーンに表示したりする。

さらに別の任意選択のステップでは、ＬＥＤが光センサ・アレイを照明していないときにＬＥＤによって「覆われて」いるマイクロ画像のピクセルに対応するビューの輝度のレベルを、補正することができる。実際には、ＬＥＤが「オフ」状態（すなわちＬＥＤが光センサ・アレイを照明していない状態）で基本的に透明である場合でも、ＬＥＤを製造するために使用される材料は、特にＬＥＤによって「覆われて」いない周囲の光センサに対して、ＬＥＤを通過して光センサ・アレイの対応する光センサに到達する光の一部をフィルタリングする可能性がある。この光センサ間の輝度の差を補正するために、ＬＥＤをレンズ・ユニットに一体化する前に、ＬＥＤの透明度をＬＥＤの波長（色）の関数として決定し、照明されるピクセルに補正ゲインを適用することができる。

図７は、本発明の原理の１態様によるプレノプティック・カメラを実施する例えばスマートフォンまたはタブレットに対応する電気通信デバイス７のハードウェアの実施形態を概略的に示す図である。

この電気通信デバイス７は、クロック信号も移送するアドレスおよびデータのバス７４によって互いに接続された以下の要素を含む。
マイクロプロセッサ７１（またはＣＰＵ）。
ＲＯＭ（読取り専用メモリ）タイプの不揮発性メモリ７２。
ランダム・アクセス・メモリすなわちＲＡＭ７３。
無線インタフェース７６。
データを伝送するように適応されたインタフェース７５。
例えば図２のプレノプティック・カメラ２に対応するプレノプティック・カメラ７７。
ユーザに対して情報を表示し、且つ／あるいはデータまたはパラメータを入力するように適応されたＭＭＩインタフェース７８。

なお、メモリ７２および７３の説明で使用する「レジスタ」という用語は、言及している各メモリにおいて、小容量のメモリ・ゾーンおよび大容量のメモリ・ゾーン（プログラム全体あるいは受信して復号したデータを表すデータの全体または一部の記憶を可能にする）を指すことに留意されたい。

メモリＲＯＭ７２は、特に、「ｐｒｏｇ」プログラムを含む。

以下に述べる本開示に特定の方法のステップを実施するアルゴリズムは、これらのステップを実施する電気通信デバイス７と関連付けられたＲＯＭ７２に記憶される。マイクロプロセッサ７１は、電源投入時に、これらのアルゴリズムの命令をロードし、実行する。

ランダム・アクセス・メモリ７３は、特に、
レジスタ内の、電気通信デバイス７をオンにすることを担当するマイクロプロセッサ７１の動作プログラムと、
受信パラメータ（例えば変調、符号化、ＭＩＭＯ、フレームの繰返しについてのパラメータ）と、
送信パラメータ（例えば変調、符号化、ＭＩＭＯ、フレームの繰返しについてのパラメータ）と、
受信機７６によって受信されて符号化されるデータに対応する入来データと、
アプリケーション７５とのインタフェースで伝送されるように形成された復号データと、
カメラ・レンズおよび／または各マイクロ画像の参照ピクセルのパラメータとを含む。

図７に関連して説明した構造以外の電気通信デバイス７の構造は、本開示に適合している。特に、変形形態では、電気通信デバイスは、例えば専用構成要素（例えばＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールド・プログラマブル・ゲート・アレイ）またはＶＬＳＩ（超大規模集積回路）など）の形態、１つの装置に埋め込まれた複数の電子構成要素の形態、あるいはハードウェア要素とソフトウェア要素の混合した形態であるなど、純粋にハードウェアの実装形態で実施することもできる。

無線インタフェース７６およびインタフェース７５は、ＩＥＥＥ８０２．１１（Ｗｉ−Ｆｉ）、ＩＭＴ−２０００仕様（３Ｇとも呼ばれる）または３ＧＰＰ ＬＴＥ（４Ｇとも呼ばれる）に準拠した標準、ＩＥＥＥ８０２．１５．１（Ｂｌｕｅｔｏｏｔｈとも呼ばれる）などの１つまたは複数の電気通信標準に従って信号を受信および送信するように適応される。

変形形態では、電気通信デバイスは、いかなるＲＯＭも含まず、ＲＡＭのみを含み、本開示に特定の方法のステップを実施するアルゴリズムは、ＲＡＭに記憶される。

もちろん、本開示は、上述した実施形態に限定されるわけではない。

特に、本開示は、プレノプティック・カメラに限定されないだけでなく、カメラ・レンズおよびＬＥＤを含むレンズ・ユニット（プレノプティック光学的アセンブリとも呼ばれる）にも拡張される。

電気通信デバイスは、例えば、スマートフォン、スマートウォッチ、タブレット、コンピュータ、携帯電話、携帯情報端末（「ＰＤＡ」）、およびその他のエンドユーザ間の情報通信を容易にするデバイスを含み、またセット・トップ・ボックスも含む。

本明細書に記載するプレノプティック・カメラを較正する方法は、プロセッサが命令を実行することによって実施することができ、これらの命令（および／または実施態様で生成されるデータ値）は、例えば集積回路、ソフトウェア・キャリア、あるいは例えばハード・ディスク、コンパクト・ディスケット（「ＣＤ」）、光ディスク（例えばディジタル汎用ディスクもしくはディジタル・ビデオ・ディスクと呼ばれることが多いＤＶＤなど）、ランダム・アクセス・メモリ（「ＲＡＭ」）、または読取り専用メモリ（「ＲＯＭ」）などのその他の記憶デバイスなどの、プロセッサ可読媒体に記憶することができる。命令は、プロセッサ可読媒体上に有形に実施されるアプリケーション・プログラムを形成することができる。命令は、例えば、ハードウェア、ファームウェア、ソフトウェア、またはそれらの組合せとすることができる。命令は、例えば、オペレーティング・システム、別個のアプリケーション、またはその両者の組合せに見ることができる。プロセッサは、従って、例えば、プロセスを実行するように構成されたデバイス、およびプロセスを実行するための命令を有するプロセッサ可読媒体を含むデバイス（記憶デバイスなど）の両方として特徴付けることができる。さらに、プロセッサ可読媒体は、命令に加えて、または命令の代わりに、実施態様で生成されるデータ値を記憶することもできる。

当業者には明らかであるように、実施態様では、例えば記憶または送信することができる情報を搬送するようにフォーマット化された様々な信号を生成することができる。この情報は、例えば、方法を実行するための命令、または説明した実施態様のうちの１つで生成されるデータを含むことができる。例えば、信号は、説明した実施形態の構文を書き込む、または読み取るための規則をデータとして搬送するように、あるいは説明した実施形態で書き込まれる実際の構文値をデータとして搬送するように、フォーマット化することができる。このような信号は、例えば、電磁波（例えば無線周波部分のスペクトルを使用するもの）として、またはベースバンド信号としてフォーマット化することができる。フォーマット化は、例えば、データ・ストリームを符号化すること、および符号化したデータ・ストリームで搬送波を変調することを含むことができる。信号が搬送する情報は、例えば、アナログ情報であってもディジタル情報であってもよい。信号は、既知のように、様々に異なる有線または無線のリンクを介して送信することができる。信号は、プロセッサ可読媒体に記憶することができる。

いくつかの実施態様について説明した。しかしながら、様々な修正を加えることができることは理解されるであろう。例えば、異なる実施態様の要素を組み合わせたり、補ったり、修正したり、または取り除いたりして、他の実施態様を生み出すこともできる。さらに、開示した構造およびプロセスの代わりに他の構造およびプロセスを使用することもできること、また、その結果得られた実施態様は、開示した実施態様と少なくとも実質的には同じ１つまたは複数の機能を、少なくとも実質的には同じ１つまたは複数の方法で実行して、少なくとも実質的には同じ１つまたは複数の結果を実現することを、当業者なら理解するであろう。従って、本願では、以上のおよびその他の実施態様が企図されている。

２ プレノプティック・カメラ
１０ カメラ・レンズ
１１ レンズレット・アレイ
１２ カラー・フィルタ・アレイ（ＣＦＡ）
１３ 光センサ・アレイ
２０ 発光デバイス（ＬＥＤ）または光源
２１ ガラス板
３１ 後部レンズ要素
３２ 後部レンズ要素
３３ マイクロレンズ
１１１ マイクロレンズ
１３１ 光センサ
２０１ レンズ・ユニット
２０２ カメラ本体
２０３ ハードウェア・モジュール
３００ 開口絞り平面
３０１ 射出瞳
２０３１ プロセッサ
２０３２ ランダム・アクセス・メモリ（ＲＡＭ）

Claims (16)

1. カメラ・レンズ（１０）と、複数のマイクロレンズ（１１１、１１２、１１ｎ）を含むレンズレット・アレイ（１１）と、光センサ・アレイ（１３）とを含むプレノプティック・カメラ（２）であって、前記カメラ・レンズ（１０）の開口絞り平面内に配置された発光デバイス（２０）を含み、前記発光デバイス（２０）が、前記光センサ・アレイ（１３）を照明する、前記プレノプティック・カメラ（２）。
2. 前記発光デバイスによって照明される光センサから前記複数のマイクロレンズの各マイクロレンズと関連付けられたマイクロ画像の参照ピクセルを決定するように構成された、メモリと関連付けられたプロセッサをさらに含む、請求項１に記載のプレノプティック・カメラ（２）。
3. 前記発光デバイス（２０）が、前記開口絞り平面の中心に配置される、請求項１または２に記載のプレノプティック・カメラ。
4. 前記発光デバイス（２０）が、透明である、請求項１または２に記載のプレノプティック・カメラ。
5. 前記カメラ・レンズの焦点距離の変化、および／あるいはズームまたは合焦するときに生じる集束距離の変化を検出するモジュールをさらに含む、請求項１または２に記載のプレノプティック・カメラ。
6. 変化の前記検出が、前記発光デバイス（２０）による前記光センサ・アレイ（１３）の照明をトリガする、請求項５に記載のプレノプティック・カメラ。
7. 前記発光デバイス（２０）が、少なくとも１つの画像取得サイクルの少なくとも一部分の間、前記光センサ・アレイ（１３）を照明する、請求項１または２に記載のプレノプティック・カメラ。
8. 前記発光デバイス（２０）が、白色光を発出する、請求項１または２に記載のプレノプティック・カメラ。
9. 前記発光デバイス（２０）が、赤色光、緑色光、および青色光を連続的に発出する、請求項１または２に記載のプレノプティック・カメラ。
10. 前記発光デバイス（２０）が、発光ダイオードである、請求項１または２に記載のプレノプティック・カメラ。
11. 前記プロセッサが、前記光センサ・アレイの各光センサが受光する光強度を測定することによって、前記発光デバイスによって照明される光センサを決定するようにさらに構成され、前記決定された光センサが、前記測定された光強度が最大となる光センサに対応する、請求項２に記載のプレノプティック・カメラ。
12. カメラ・レンズと、複数のマイクロレンズを含むレンズレット・アレイと、光センサ・アレイとを含むプレノプティック・カメラにおいて参照ピクセルを決定する方法であって、
    前記カメラ・レンズの開口絞り平面内に配置された発光デバイスによって前記光センサ・アレイを照明するステップ（６１）と、
    前記発光デバイスによって照明される前記光センサ・アレイの光センサから、前記複数のマイクロレンズの各マイクロレンズと関連付けられたマイクロ画像の参照ピクセルを決定するステップ（６２）とを含む、前記方法。
13. 前記カメラ・レンズの焦点距離の変化、および／あるいはズームまたは合焦するときに生じる集束距離の変化を検出するステップをさらに含み、前記照明が、前記検出によってトリガされる、請求項１２に記載の方法。
14. 前記光センサ・アレイが、少なくとも１つの画像取得サイクルの少なくとも一部分の間照明される、請求項１２または１３に記載の方法。
15. 前記決定するステップが、前記光センサ・アレイの各光センサが受光する光強度を測定することによって、前記発光デバイスによって照明される前記光センサを決定することを含み、前記決定された光センサが、前記測定された光強度が最大となる光センサに対応する、請求項１２または１３に記載の方法。
16. 前記参照ピクセルが、前記マイクロ画像の中心のピクセルに対応する、請求項１２または１３に記載の方法。
    

Images