JP2017525188A - ハイブリッドプレノプティックカメラ - Google Patents

Abstract

プレノプティックカメラ（１００）は、画像センサ（１２）と光学的見当合わせ状態にある可動マイクロレンズアレイ（１８）を有する。第１プライムムーバー（１８）は、シーンのマルチ分解能を得るべく、カメラのフレームレートと同期した状態においてマイクロレンズアレイ（１８）を変位させる。第２プライムムーバー（２０）は、カラーサンプリングを増大させるべく、画像センサを変位させる。

Description

相互参照
本出願は、２０１４年６月１０日付けで出願された欧州特許出願第１４３０５８７０．９号に対する優先権を主張するものであり、この文献の内容は、引用により、そのすべてが本明細書に包含される。

技術分野
本発明は、プレノプティック（plenoptic）カメラに関する。

背景技術
しばしば、ライトフィールドカメラと呼称されるプレノプティックカメラは、通常、カメラの焦点面に近接して配置されたマイクロレンズのアレイを含む。このプレノプティックカメラの特徴により、プレノプティックカメラは、シーンの明視野をキャプチャすることができる。コンピュータの支援により、ユーザーは、プレノプティックカメラによってキャプチャされた明視野を事後処理することにより、異なる視点からのシーンの画像を再構築することができる。更には、ユーザーは、プレノプティックカメラによってキャプチャされた画像の焦点を変更することもできる。

従来のカメラとの比較において、プレノプティックカメラは、カメラによる上述の目的の実現を可能にする余分な光学コンポーネント（即ち、マイクロレンズアレイ）を含んでいる。現在、少なくとも２つの異なるタイプのプレノプティックカメラが存在している。Lytro, Inc., Mountain View, California USAが製造するプレノプティックカメラによって例示される第１のタイプのプレノプティックカメラは、カメラ画像センサから１焦点距離のところに配置されたそのマイクロレンズのアレイを有する。アレイ内のすべてのマイクロレンズは、同一の焦点距離を有する。このマイクロレンズ構成は、最大角度分解能を提供するが、低い空間分解能しか提供しない。Raytrix GmbH, Kiel, Germanyが製造するプレノプティックカメラによって例示される第２のタイプのプレノプティックカメラは、３つのタイプのマイクロレンズを有するマイクロレンズアレイを有する。このタイプのプレノプティックカメラは、メインレンズの画像が、マイクロレンズ上に、ではなく、空気中の表面上に、形成されるという事実を特徴としている。この結果、この表面が、被写体として設定され、次いで、これが、マイクロレンズアレイにより、センサ上において結像される。３つの異なるタイプのマイクロレンズは、同一種類のマイクロレンズを有するマイクロレンズアレイとの比較において、相対的に大きな被写界深度を提供する。このタイプのプレノプティックカメラは、相対的に良好な空間分解能のために、角度分解能を犠牲にしており、その理由は、マイクロレンズがメイン画像上において合焦されることにより、相対的に大きな空間分解能と、相対的に乏しい角度分解能と、がもたらされるからである。

多くの現時点におけるプレノプティックカメラは、アレイ内のマイクロレンズを六角形の構成において配列するように選択しているが、デカルトグリッドも、機能しうるであろう。バイエルパターンカラーフィルタは、カメラ画像センサの個々の光伝送要素上に入射する光をフィルタリングし、これにより、カメラ画像センサが概略サンプリング画像内の色情報をキャプチャできるようにしている。このサンプリング画像は、それぞれのマイクロレンズの下方において形成された小さなサブ画像を含んでいる。それぞれのマイクロレンズの下方において形成されるサブ画像は、実際には、そのマイクロレンズによって観察されたメインカメラレンズの射出瞳のサンプリング画像となる。このサブ画像は、明視野の角度情報を含んでいる。それぞれのマイクロレンズの下方の固定位置（即ち、サブ画像内の同一のピクセル位置）から取得されたピクセルを連結することにより、特定の視点におけるキャプチャされたシーンの画像がもたらされる。以下においては、「視野の逆多重化（view de-multiplexing）」という用語は、特定の視点におけるキャプチャされたシーンの画像を形成するべく、ピクセルを抽出するプロセスを意味することになる。

カメラ画像センサの前面において位置決めされたバイエルカラーフィルタにより、結果的にキャプチャされた画像は、視野の逆多重化の後に、デモザイク化を経験しうる。それぞれのマイクロレンズの下方のピクセルが、シーンの異なる位置における情報を含むという事実を考慮することにより、このよう画像（未加工のデータ）のデモザイク化は、ほとんど有用な情報をもたらさず、且つ、視野のクロストークの問題を有する。マイクロレンズの六角形の構成は、不規則性及び深刻な単色性（monochromaticism）の問題を有するパターンを結果的にもたらし、即ち、シーンのカラーサンプリングが、サンプル間における大きな空間ギャップの問題を有する。

逆多重化された視野のデモザイク化を実行するべく、プロセッサは、キャプチャされた画像を事前処理することにより、視野のすべての近傍内の３つのチャネルの情報を取得することになる。この事前処理は、デモザイク化アルゴリズムをガイドする視差マップを算出するステップを含む。但し、実際には、このような事前処理の結果は、未加工データのデモザイク化よりも格段に低い品質をもたらす。

従って、上述の欠点のうちの少なくとも１つを有していない改善されたプレノプティックカメラに対するニーズが存在している。

簡単な概要
高度な空間及び角度分解能を有するプレノプティックカメラを提供することが、本発明の目的である。
事前処理のニーズを低減するプレノプティックカメラを提供することが、本発明の別の目的である。
改善された色分解能を有するプレノプティックカメラを提供することが、本発明の更に別の目的である。

これらの及びその他の利益が、本原理の一態様によるプレノプティックカメラによって得られる。本原理のプレノプティックカメラは、画像センサと光学的見当合わせ状態にある可動マイクロレンズアレイを特徴としている。第１プライムムーバーは、シーンのマルチ分解能を得るべく、カメラのフレームレートと同期した状態においてマイクロレンズアレイを変位させている。

本原理の別の態様によれば、プレノプティックカメラは、画像センサと光学的見当合わせ状態にある可動マイクロレンズアレイを特徴としている。第１プライムムーバーは、シーンのマルチ分解能を得るべく、カメラのフレームレートと同期した状態においてマイクロレンズアレイを変位させている。第２プライムムーバーは、カラーサンプリングを増大させるべく、画像センサを変位させている。

図面の簡単な説明
カメラが画像を形成する方式を示す従来技術のプレノプティックカメラの概略図を示す。 プレノプティックカメラ内のマイクロレンズの六角形構成を示す図１のプレノプティックカメラによってキャプチャされたシーンのカラーサンプリングを示す。 １つの視野と関連付けられたピクセルのモザイク化の後の図２の画像を示す。 マイクロレンズアレイの異なる位置を示す本原理のプレノプティックカメラの概略ブロックダイアグラムを示す。 マイクロレンズアレイの異なる位置を示す本原理のプレノプティックカメラの概略ブロックダイアグラムを示す。

簡単な説明
図１は、メインレンズ１４から離隔した関係にある画像センサ１２を含む従来技術のプレノプティックカメラ１０の概略図を示している。画像センサ１２は、ｎ_１×ｎ_２のアレイとして配列された複数の個別の光検知要素１６を含み、ここで、ｎ_１及びｎ_２は、整数である。画像センサ１２の光検知要素のそれぞれは、メインレンズ１４の焦点における画像内の対応するピクセルと関連した光をキャプチャする。

図１のプレノプティックカメラ１０は、個別のマイクロレンズ２０を含むマイクロレンズアレイ１８を含む。マイクロレンズアレイ１８は、画像センサ１２とメインレンズ１４の間において離隔した状態で位置している。プレノプティックカメラの特性に応じて、マイクロレンズアレイ１８は、画像センサ１２から焦点距離以上のところにおいて位置することになる。上述のように、マイクロレンズアレイ１８内のマイクロレンズ２０は、六角形の構成を有する。バイエルパターンカラーフィルタ（図示されてはいない）は、カメラの画像センサの個別の光伝送要素上に入射した光をフィルタリングし、これにより、画像センサ１２が概略サンプリング画像内の色情報をキャプチャできるようにしている。このサンプリング画像は、図２に示されているように、それぞれのマイクロレンズの下方において形成された小さなサブ画像を含む。図３は、図２のサブ画像の個々のピクセルをモザイク化することによって生成されたパターンを示している。画像センサ１２の前面において位置決めされたバイエルカラーフィルタにより、結果的にキャプチャされた画像は、視野の逆多重化の後に、デモザイク化を経験しうる。上述のように、図１のマイクロレンズアレイ１８内のマイクロレンズ２０の六角形の構成は、不規則性及び深刻な単色性の問題を有するバイエルパターンをもたらし、即ち、シーンのカラーサンプリングが、図３において観察されるように、サンプル間における大きな空間ギャップの問題を有することになる。

図４Ａ及び図４Ｂは、従来技術のプレノプティックカメラの上述の欠点のうちの少なくとも１つを克服する、本原理の具体的な且つ非特異的な実施形態によるプレノプティックカメラ１００の概略図を示している。図４Ａ及び図４Ｂのプレノプティックカメラ１００は、図１のプレノプティックカメラ１０と同様に、画像センサ１２と、メインレンズ１４と、画像センサとメインレンズの間において離隔したマイクロレンズアレイ１８とを含む。そのマイクロレンズアレイ１８が、画像センサ１２から固定距離において（通常は、プレノプティックカメラのタイプに応じて、焦点距離以上において）位置している従来のプレノプティックカメラ１０とは対照的に、本原理の一態様によれば、図４Ａ及び図４Ｂのプレノプティックカメラ１００は、可動マイクロレンズアレイ１８を有する。

本原理のプレノプティックカメラ１００は、シーンのマルチ（空間／角度／クロマティック）分解能ピラミッドを得るべく、カメラのフレームレートと同期した方式によって可動マイクロレンズアレイ１８を変位させる電気モーターの形態の第１プライムムーバー２０を含む。実際には、電気モーター２０は、画像センサ１２から距離ｆ＋ｄのところにおいて位置した図４Ａに示されている開始位置０（ｐｏｓ０）から、図４Ｂにおいて観察される画像センサ１２から距離ｆのところの位置１（ｐｏｓ１）まで、マイクロレンズアレイ１８を変位させることが可能であり、ここで、ｆは、最大のｆ数を有するアレイ１８内のマイクロレンズの焦点面を表している。理解できるように、マイクロレンズアレイ１８を図４Ａのｐｏｓ０から図４Ｂのｐｏｓ１に移動させることにより、モーター２０は、第２のタイプ（「タイプ２」）のプレノプティックカメラから第１のタイプ（「タイプ１」）のプレノプティックカメラに切り替わる能力を本原理のカメラ１００に対して提供している。Raytrixカメラなどの５６ｆｐｓのフレームレートを有するタイプ２のプレノプティックカメラの場合には、連続したフレームの間のインターバルは、１８ｍｓに等しい。フレームの間の期間において、モーター２０によってマイクロレンズ１８を移動させることにより、モーションブラーに起因して画像の劣化が生じないことが実質的に保証される。

本原理のプレノプティックカメラ１００の動作を理解するべく、モーター２０が、それぞれ、図４Ａ及び図４Ｂのｐｏｓ０とｐｏｓ１の間において、プレノプティックカメラ１００のマイクロレンズアレイ１８を５段階で移動させる状況を検討してみよう。画像センサ１２は、１１．２ｆｐｓのフレームレートによって画像のスタックをキャプチャすることになる。この画像のスタックは、興味深い特性を有する。変位の値を知ることにより、増大する空間分解能と、減少する角度的分解能とを有する画像のピラミッドを提示するスタックが得られる。このマルチ分解能画像のピラミッドは、画像センサ１２上の固定されたバイエルパターンに起因し、シーンの豊かなクロマティック情報を提供する。図４Ｂに示されているマイクロレンズアレイ１８のｐｏｓ１において（「タイプ１」プレノプティックカメラに対応したカメラ１００によって）キャプチャされた画像は、通常、このピラミッドの最上部において位置することになり、且つ、最低の空間分解能と、最大の角度分解能とを有することになる。ｐｏｓ０の画像（最新技術のRaytrixカメラ構成の、即ち、「タイプ２」プレノプティックカメラの、画像）は、通常、このピラミッドの最下部において位置することになり、且つ、最大の空間分解能と、最低の角度分解能とを有することになる。

有利には、電気モーター２０によって変位する可動マイクロレンズ１８を有するように本原理のプレノプティックカメラ１００を構成することにより、ハイブリッドプレノプティックカメラが得られる。換言すれば、可動マイクロレンズアレイ１８は、本原理のカメラ１００が、「タイプ１」及び「タイプ２」プレノプティックカメラの組合せとして機能することを許容し、且つ、従って、既存のプレノプティックカメラのそれぞれのタイプの利点を許容する。プレノプティックカメラ１００の構成は、角度分解能、空間分解能、クロマティック分解能、及び被写界深度を極大化させる。本原理のプレノプティックカメラ１００によってキャプチャされた画像は、高度な空間及び角度分解能の明視野を得るべく、いくつかの周知の画像処理方式（例えば、光線追跡、又はマルチフレームスーパー分解能アルゴリズム）のうちの１つ又は複数を使用した処理を経験しうる。

上述の構造に加えて、本原理のプレノプティックカメラ１００は、既存のプレノプティックカメラの不良設定（ill-posed）のデモザイク化問題を更に単純化するべく、人間の視覚システムによって着想されたハードウェア構成を含む。人間の眼の解剖学との関連において、中心窩は、色情報をキャプチャする眼の唯一の部分を構成している。中心窩は、ランダムに分布した細胞を含み、即ち、色情報をサンプリングする長、中間、及び短波長コーンを含んでいる。換言すれば、それぞれのコーンは、（モザイク化された画像に対応した）中心窩上の特定の空間位置における特定波長の光情報をキャプチャしている。視神経は、シーンのカラー画像を得るべく、この情報を脳に転送している。このキャプチャされた情報の分解能を改善するべく、人物が物体を凝視している際にも、人間の眼は、揺動を経験し、この結果、網膜上における画像のわずかな平行運動がもたらされ、これにより、すべてのチャネルの色情報が、ほぼ同時に脳に提供されている。

眼の揺動効果をシミュレートするべく、本原理のプレノプティックカメラ１００は、マイクロレンズアレイ１８に対して平行に画像センサ１２を往復移動させ、これにより、マイクロレンズアレイの移動に直交する方向において、画像センサを双方向で事実上揺動させる第２電気モーター２２を含む。実際には、マイクロレンズアレイ１８の変位は、１ピクセルの変位が、マイクロレンズアレイ１８から画像センサ１２上に投射された基礎を成す画像の１ピクセルだけの変位を結果的にもたらすように、プレノプティックカメラ１００のフレームキャプチャメカニズム（図示されていない）に対して同期化されている。この第２画像は、マイクロレンズグリッドが、その先行する位置に存在していた際にキャプチャされた画像と正確に同一の情報を含むが、バイエルカラーパターンは、いまや、相補的な色をもたらすべく、変化している。この変位が相対的に高速で発生した場合に、結果的に得られるフレームのパッチは、シーンのすべての色情報を含むことになろう。この結果、このケースにおいては、デモザイク化のタスクが、取るに足らないものとなり、且つ、事前処理ニーズが生じない。従って、第２モーターは、明視野の色コンテンツのサンプリングを更に増大させるように機能している。従って、例えば、本原理のプレノプティックカメラ１００は、図４Ａに示されているように、ｐｏｓ０において第１画像をキャプチャすることができる。その後に、電気モーター２２は、ｐｏｓ０において画像センサによって別の画像を、但し、別の色チャネル情報と共に、取得する前に、１ピクセルだけ、画像センサ１２を変位させることができる。画像センサ１２を変位させるための第２電気モーター２２の追加は、色分解能を大幅に増大させ、且つ、デモザイク化の困難なタスクを格段に容易なものとしている。この特徴を実装することにより、カメラのフレームレートが１１ｆｐｓに低減される。

以上、高度な空間及び角度分解能と、改善された色分解能とを有するハイブリッドプレノプティックカメラについて説明した。

Claims (12)

1. 画像センサ（１２）と光学的見当合わせ状態にあるマイクロレンズアレイ（１８）を有するプレノプティックカメラ（１００）であって、
   前記画像センサ（１２）に対して移動可能である前記マイクロレンズアレイ（１８）と、前記カメラのフレームレートと同期した状態において前記マイクロレンズアレイを変位させるための第１プライムムーバーとを特徴とするプレノプティックカメラ。
2. 前記画像センサを変位させるための第２プライムムーバーを更に含む、請求項１に記載のプレノプティックカメラ。
3. 前記第１プライムムーバーは、電気モーターを含む、請求項１に記載のプレノプティックカメラ。
4. 前記第２プライムムーバーは、電気モーターを含む、請求項２に記載のプレノプティックカメラ。
5. 前記第１プライムムーバーは、前記マイクロレンズアレイを段階的に変位させる、請求項１に記載のプレノプティックカメラ。
6. 前記第１プライムムーバーは、最大のｆ数を有する前記アレイ内の前記マイクロレンズの焦点面を表すｆを上回る第１位置から、ｆに等しい第２位置まで、前記マイクロレンズアレイを変位させる、請求項１に記載のプレノプティックカメラ。
7. 前記第２プライムは、前記画像センサ画像によって結果的にキャプチャされた画像が、その先行する位置においてキャプチャされた画像と同一の、但し、相補的な色を有する、情報を含み、これにより色分解能を増大させるように、ある距離だけ前記画像センサを変位させる、請求項２に記載のプレノプティックカメラ。
8. 画像センサと光学的見当合わせ状態にあるマイクロレンズアレイ（１８）を有するプレノプティックカメラ（１００）を動作させる方法であって、
   前記カメラのフレームレートと同期した状態においてプライムムーバー（１８）を介して前記画像センサに対して前記マイクロレンズアレイ（１８）を変位させること、
   を含む方法。
9. 第２プライムムーバーを介して前記画像センサを変位させるステップを更に含む、請求項８に記載の方法。
10. 前記第１プライムムーバーは、マイクロレンズアレイを段階的に変位させる、請求項８に記載の方法。
11. 前記第１プライムムーバーは、最大のｆ数を有する前記アレイ内の前記マイクロレンズの焦点面を表すｆを上回る第１位置から、ｆに等しい第２位置まで、前記マイクロレンズアレイを変位させる、請求項８に記載の方法。
12. 前記第２プライムは、前記画像センサ画像によって結果的にキャプチャされた画像が、その先行する位置においてキャプチャされた画像と同一の、但し、相補的な色を有する、情報を含み、これにより色分解能を増大させるように、ある距離だけ前記画像センサを変位させる、請求項９に記載の方法。