JP2017519440A - 深度推定のための画像センサ - Google Patents

Abstract

強度および深度情報画像を取得するための装置は、平面または少なくとも２方向に曲率を持つ面内に配置された、第１の放射線感受性要素と、第２の放射線感受性要素のグループとを有し、第１の放射線感受性要素、および第２の放射線感受性要素のグループはそれぞれ強度画像、および深度情報画像を感受し、第２の要素の少なくとも２つのグループは平面の２つの方向の各々に延在する、画像感知ユニットと、各々が第１の要素のうちの対応する要素に放射線を伝えるように配置されている第１のマイクロレンズと、各々が第２の要素の対応するグループに放射線を伝えるように配置されている第２のマイクロレンズと、を備えてもよい。

Description

本発明は、深度を測定することと、光強度像を収集することの両方を行うように構成された撮像システムに関する。
本願は、２０１４年６月１１日に出願された米国特許出願番号１４／３０２，３４９号に基づき優先権を主張し、その内容をここに援用する。

発明の分野における撮像システムは、一般的に、三角測量の基本原理に頼る。この原理の最も基本的な実装は、２つの画像内のピクセルに対する有効口径が２つの点の間の分離距離に関して小さい２つの位置のみからの画像を伴う。（本明細書では、有効口径は、感知ピクセルの能動的部分に到達する光線のすべてを含む物理的開口の部分であると考えられる。）異なる位置からの２つの画像を用いるこの実装は、立体視と称され、多くの場合、２つの別々のカメラおよびレンズにより実装される。三角測量を実行するために、異なる位置からの画像に対する対応問題を解いて、両方の画像内の物体の位置を決定する必要がある。画像内の位置は、カメラの位置から物体の位置への方向を決定する。これら２本の直線の交点は、物体の深度を与える、シーン内の物体の位置を決定する。（シーン内の物体の深度とは、撮像システムから物体までの距離であり、シーンとは、カメラから見えるカメラの外側の三次元世界の一部分である。典型的には、カメラは、三次元シーンの二次元表現（画像）を取り込む。）言い換えれば、２つの画像の間の物体の位置のズレである、視差は、物体の深度を決定するために使用される。

米国特許出願公開第２０１２／０３０７１１６号明細書

「Image Guided Depth Upsampling using Anisotropic Total Generalized Variation」David Ferstl、Christian Reinbacher、Rene Ranftl、Matthias Ruether、およびHorst Bischof著、Proceedings International Conference on Computer Vision (ICCV)、IEEE 2013

撮像システムの幾何学的形状が知られているときに、実現可能な一致と称されるいくつかの一致のみが考慮されるべきである。これらの一致は、カメラの位置からシーン内に入る関連付けられている直線が互いに交差する場合の一致である。２つのカメラまたはビュー画像を有する撮像システムについて、これは、第１の画像内の所与の領域に対して、第２の画像内の可能な一致の集合が、第２の画像を通る直線に沿って置かれていることを意味する。対応問題を正確に解くには、第１の画像内の領域が可能な一致の直線に沿った単一点を中心とする領域に正確に類似していることを必要とする。

三角測量の幾何学により、視差は、基線と称される、ビューの位置の間の距離が大きいほど増大する。撮像システムについて、視差は、画像内においてピクセル単位で本来測定される。異なる視点からの２つの画像の間の１つのピクセル分の視差は、２つの画像から深度の信頼性の高い推定を行うのに必要な最小の視差と考えられ得る。したがって、深度精度は、基線の増大とともに増大する。しかしながら、単レンズの口径よりも大きい基線については、この原理は、シーンが物体の局所的平行移動によって近似され得ない方式で異なる位置と異なる見え方をするので、当てはまらないことがある。たとえば、近くの閉塞物体は、ただ１つの画像内でしか見えない。しかしながら、この効果は、シーン内の物体までの距離に関するレンズの寸法によって課される制限された基線のせいで単眼撮像システムについては無視できるくらい小さい。

従来のカメラ内のすべてのピクセルは、カメラの物理的開口に等しい有効口径を有するので、視差は、従来のカメラを使用したのでは観察され得ない。図１は、光軸１００、主レンズ１０１、マイクロレンズアレイ１０２、および画像感知ユニット１０３を含む、基本的カメラセットアップの一例を示している。

発明の一般的分野における撮像システムは、異なるビュー画像を比較して、視差を決定し、次いで物体の深度を推定する。いくつかのアプローチは、数パーセントのピクセルを使用して、少数の位置において、有効口径が物理的開口の半分、典型的には、開口の左半分と右半分である２つのビュー画像を取得する。説明を簡単にするため、上半分および下半分の使用と機能的に同等である、左半分と右半分とを使用する設計のみが考察されている。これらの深度感知ピクセルは、センサの局所的領域内で、深度感知ピクセルのすべてが単一の行を占有するようにセンサの少数の行のセクション内に互いに隣接して位置されることが多い。したがって、深度は、シーンの少数の位置においてのみ推定され得る。少数の位置において深度を潜在的に知ることが、これらのピクセルの目的の用途である、オートフォーカス検出に十分である。しかしながら、これは深度画像全体が要求される多くのアプリケーションには不十分である。

これらのセンサ内の深度感知ピクセルの有効口径は、一般的に２つの設計のうちの一方によって実装される。第１の設計は、水平方向にピクセルピッチの約２倍の幅を有するマイクロレンズの背後に深度感知ピクセルを置くことを含む。一般的に、物理的開口の左半分または右半分からマイクロレンズに当たる光のすべては、マイクロレンズの背後の適切なピクセルに向けられる。第２の設計は、物理的開口の望ましくない部分からピクセルに当たる光がそのピクセルに到達する前に遮られる、またはそのピクセルによって測定されないように光マスクを備える。２つの設計は、ほぼ同等の有効口径を達成するが、いくつかの相違点がある。光マスクは、光を遮り、測定結果の信号対雑音比を低減する。光マスクは単一ピクセル用に作られ得るが、マイクロレンズは相補的な有効口径を達成するように２つの隣接するピクセルに適用されなければならない。

２つのビュー画像のみを取得するこれらの設計は、ロバスト深度推定を行わない。水平線の一次的特徴を有する平坦な表面を含むシーンの一部を考える。たとえば、そのような撮像システムによって見られる水平線を有する均一に着色された部分的平面である。このシーンに対して対応問題を正確に解くことは不可能である。シーン内の水平線の近くの画像領域は、他の画像内のすべての類似する領域と正確に一致する。撮像システムは、２つの有効口径の間の水平基線により視点の水平方向の変化のみをもたらし、シーンは水平特徴のみを含むので、深度は、正確に推定することが不可能である。この問題は、基線に平行なシーン内の直線だけでなく基線に平行なシーン内の任意の直線の成分にも適用される。撮像システムがシーン内でこの明確に定義された特徴を使用することができないため、その後の深度推定の精度が下がる。

代替的設計は、センサのすべての、またはほぼすべてのピクセルに、上で説明されているような、物理的開口の左半分または右半分の有効口径を持たせることである。この設計は、シーン内の少数の位置でしか深度を推定できないというすでに説明されているアプローチの問題を克服している。しかしながら、すべてまたはほぼすべてのピクセルを深度感知ピクセルとして有するようなセンサは空間解像度の著しい喪失を被る。これらは、各出力ピクセルが２つのセンサピクセルの平均であるのでセンサ内に存在する総ピクセルの半分を有する光強度画像のみを出力することができる。左半分および右半分の有効口径を有するピクセルを平均することによって、完全な有効口径を有する従来のピクセル（本明細書では、従来のピクセルは、中心が物理的開口の中心にほぼ位置する有効口径を有するピクセルである）がシミュレートされる。空間解像度の著しい喪失は、この設計の深刻な制限である。

空間撮像解像度を犠牲にすることなく、シーンの広い面積にわたって正確な深度推定を行うことができる深度推定のシステムおよび方法が必要である。

強度および深度情報画像を取得するための装置は、平面または少なくとも２方向に曲率を持つ面内に配置された、第１の放射線感受性要素（感知ピクセル）と、第２の放射線感受性要素のグループとを有し、第１の放射線感受性要素および第２の放射線感受性要素のグループはそれぞれ強度画像、および深度情報画像を感受し、第２の要素の少なくとも２つのグループは平面の２つの方向の各々に延在する、画像感知ユニットと、各々が第１の要素のうちの対応する要素に放射能を伝えるように配置されている第１のマイクロレンズと、各々が第２の要素の対応するグループに放射能を伝えるように配置されている第２のマイクロレンズと、を備えてもよい。

深度画像および光強度画像を同時に生成する方法は、光強度データを画像感知ユニットから収集することであって、画像感知ユニットは、平面または少なくとも２方向に曲率を持つ面内に配置された、第１の放射線感受性要素、および第２の放射線感受性要素のグループであって、第１の放射線感受性要素、および第２の放射線感受性要素のグループはそれぞれ強度画像および深度情報画像を感受し、第２の要素の少なくとも２つのグループは平面の２つの方向の各々に延在する、第１の放射線感受性要素、および第２の放射線感受性要素のグループと、各々が第１の要素のうちの対応する要素に放射線を伝えるように配置されている第１のマイクロレンズと、各々が第２の要素の対応するグループに放射線を伝えるように配置されている第２のマイクロレンズとを有し、収集することと、コンピュータプロセッサを使用して第１の放射線感受性要素からの光強度を処理して光強度画像を生成することと、コンピュータプロセッサを使用して第２の放射線感受性要素からの光強度を処理して深度画像を生成することと、メモリデバイスに光強度画像および深度画像を記憶することと、を含んでもよい。

本開示のこれらおよび他の態様および特徴は、付属の図と併せて特定の実施形態の以下の説明を検討した後に、当業者に明らかになるであろう。

従来技術の基本的カメラ構成の一例を示す図である。 いくつかの実施形態による、従来のマイクロレンズおよび深度感知マイクロレンズの両方を含むマイクロレンズのアレイの詳細の概略平面図である。 いくつかの実施形態による、図２のマイクロレンズアレイに対応するピクセルのアレイの詳細の概略平面図である。 深度感知ピクセルの第１の実施形態の上面図である。 深度感知ピクセルの第１の実施形態の側面図である。 図４Ａおよび図４Ｂの深度感知ピクセルの有効口径を表現する図である。 深度感知ピクセルの第２の実施形態の上面図である。 深度感知ピクセルの第２の実施形態の側面図である。 図６Ａおよび図６Ｂの深度感知ピクセルの有効口径を表現する図である。 いくつかの実施形態による、光マスクなしの４つの象限の深度感知ピクセルからの例示的な画像である。 いくつかの実施形態による、光マスクありの４つの象限の深度感知ピクセルからの例示的な画像である。 いくつかの実施形態による、深度推定を含む画像処理プロセスを表現する図である。 いくつかの実施形態による、深度推定を含む画像収集システムの第１の実施形態の概略図である。 いくつかの実施形態による、深度推定を含む画像収集システムの第２の実施形態の概略図である。 いくつかの実施形態による、深度推定を含む画像収集システムの第３の実施形態の概略図である。 いくつかの実施形態による、従来のマイクロレンズおよび深度感知マイクロレンズの両方を含むマイクロレンズのアレイの詳細を示し、アレイは深度感知マイクロレンズ１つにつき３つの深度感知ピクセルを有するＨＣＰ構成に基づく概略平面図である。 いくつかの実施形態による、従来のマイクロレンズおよび深度感知マイクロレンズの両方を含むマイクロレンズのアレイの詳細を示し、アレイは深度感知マイクロレンズ１つにつき７つの深度感知ピクセルを有するＨＣＰ構成に基づく概略平面図である。

本開示の実施形態は、これから、当業者が本開示を実践できるように本開示の説明に役立つ例として提供される、図面を参照しつつ詳しく説明される。本明細書に用意されている図面は、縮尺通りに描かれていないデバイスおよびデバイスプロセスフローの表現を含む。特に、以下の図および例は、本開示の範囲を単一の実施形態に制限することを意図されていないが、説明されている、または例示されている要素のうちのいくつかまたはすべてを交換することで他の実施形態も可能である。さらに、本開示のいくつかの要素が、知られている構成要素を使用して部分的にまたは完全に実装され得る場合、本開示の理解に必要なそのような知られている構成要素のそれらの部分のみが説明され、そのような知られている構成要素の他の部分の詳細な説明は、本開示をわかりにくくしないために省略される。本明細書において、単数形の構成要素を示す一実施形態は、制限と考えられるべきでなく、むしろ、本開示は、特に断りのない限り、複数の同じ構成要素を含む他の実施形態を包含することを意図されており、またその逆も言える。さらに、出願人は、明細書または請求項の中のいかなる用語もそのようなものとして明示的に述べていない限りまれな、または特別な意味を付されることを意図していない。さらに、本開示は、例示により本明細書において参照される知られている構成要素の、現在のおよび将来の等価物を包含する。

本開示は、いくつかの実施形態において、受動的単眼カメラを使用して単一の露出から深度画像および光強度画像の両方を生成することができる撮像システムを説明している。撮像システムは、単一の主レンズと、マイクロレンズアレイと、単一の露出でフル解像度光強度画像およびシーンの深度画像を出力することができる処理ユニットとを備え得る。マイクロレンズアレイは、いくつかの実施形態では、２種類の円形マイクロレンズ、すなわち、マイクロレンズピッチがセンサのピクセルピッチの２倍におおよそ等しい大きいマイクロレンズおよびマイクロレンズピッチがセンサのピクセルピッチにおおよそ等しい小さいマイクロレンズの規則正しい繰り返しパターンを含み得る。大きいマイクロレンズの背後のピクセルは、深度感知ピクセルであり、もっぱら深度画像を生成するために使用される。小さいマイクロレンズの背後のピクセルは、従来のピクセルであり、もっぱらフル解像度光強度画像を生成するために使用される。

シーンの深度画像を取得するための様々な方法がある。能動的な方法は、撮像機器からシーン内に光を送り、応答を測定する。能動的な方法は、著しく高い電力要求条件を有し、特別な照明機器を必要とするので、本開示のシステムは、光を放射せず、シーンから周辺光を分析する受動的な方法を採用するように構成されている。しかしながら、本開示の教示および原理は、能動的な方法とともに利用されうる。

立体視およびカメラアレイを含む、多数の受動的深度推定技術は、深度を推論するために異なる位置に置かれた複数のカメラを必要とする。複数のカメラを使用する不利点の１つは、コストが増加し、電力要求条件が高くなることである。複数のカメラは、慎重な位置およびスペクトル較正だけでなく、複数の位置への位置も必要とする。本明細書で説明されている実施形態において利用される単眼カメラは、必要とする機器が少なく、したがって、複数のカメラシステムに比べて安価でコンパクトであり、また較正もほとんど、または全く必要としない場合もある。

いくつかの撮像システムは、ビデオ録画を含む複数の露出を通じて深度画像を測定することができる。技術は、カメラが異なる位置を通して移動されるか、またはカメラが各々異なる焦点設定を有する複数の画像を取得するときを含む。これらのシステムは、シーン内の移動が深度推定に干渉するので、静的であるシーンに制限される。本明細書で開示されているシステムのいくつかの実施形態において、単一の露出のみが必要であり、その結果、深度画像の生成は、データ処理が少なくて済み、また動的なシーンに対してよりロバストである。

実施形態によれば、撮像システムは、単一の主レンズと、マイクロレンズアレイと、単一の露出でフル解像度光強度画像およびシーンの深度画像を出力することができる処理ユニットとを備え得る。マイクロレンズアレイは、２種類の円形マイクロレンズ、すなわち、マイクロレンズピッチがセンサのピクセルピッチの２倍におおよそ等しい大きいマイクロレンズおよびマイクロレンズピッチがセンサのピクセルピッチにおおよそ等しい小さいマイクロレンズの規則正しい繰り返しパターンからなる。大きいマイクロレンズの背後のピクセルは、深度感知ピクセルであり、もっぱら深度画像を生成するために使用される。小さいマイクロレンズの背後のピクセルは、従来のピクセルであり、もっぱらフル解像度光強度画像を生成するために使用される。マイクロレンズ配置の一例は、図２に示されている。

図２は、より大きい深度感知マイクロレンズ２０１および従来のマイクロレンズ２０２〜２０４を含むマイクロレンズ２００のアレイを示しており、後者はそれぞれＲ、Ｇ、およびＢとラベル付けされ、各マイクロレンズに関連付けられている感知ピクセルによって検出される色を指示する。この例では直交している方向２０６および２０７は、アレイの平面内の方向を指示し、深度感知マイクロレンズはこれに沿って配置される。赤色、緑色、および青色光は、センサと一体化されたカラーフィルタアレイ（図２に示されていない）によってもたらされ得る。図３は、図２のマイクロレンズのアレイと対応するセンサピクセル３００（たとえば各ピクセルはフォトダイオードであってよい）のアレイを示している。図３において、アレイ３００はＲＧＢセンサ３０２を備え、感色性は、図中でラベル付けされ、感色性は、カラーフィルタアレイ（以下でより詳しく説明される）、および図中、「Ｄｘ」（ｘ＝１、２、３、４）とラベル付けされている深度感知ピクセル３０１によって決定され得る。深度感知ピクセルは、各大きい深度感知マイクロレンズ２０１の象限１つにつき１つの深度感知ピクセル３０１、４つからなるグループに配置される。しかしながら、さらなる実施形態は異なる構成で配置されるものとしてよく、たとえば、感知ピクセルの矩形アレイにより、深度感知マイクロレンズ１つにつき９個の深度感知ピクセルがあるものとしてよく、さらに、感知ピクセルが六方最密充填（ＨＣＰ）構成で配置されたときに、深度感知マイクロレンズ１つにつき３または７個のまたはそれ以上の深度感知ピクセルがあり得る。たとえば、以下でより詳しく説明されている、図１４および図１５を参照されたい。さらに、他のアレイ配置およびレンズ形状は、本開示の教示および原理に従って使用され得る。

図４Ａおよび図４Ｂは、大きい深度感知マイクロレンズ２０１および対応する深度感知ピクセルフォトダイオード３０１のより詳しい上面図および側面図を示している。構造４１０は、フォトダイオード３０１とマイクロレンズ２０１との間の画像センサの一部である−−構造４１０はカラーフィルタアレイを含み、スペーサとしても働きマイクロレンズからの光をフォトダイオードに集束させることができる。図５は、深度感知マイクロレンズ２０１の４つの象限におおよそ対応する４つの感知ピクセル３０１（それぞれＤ４、Ｄ３、Ｄ２、Ｄ１）に対する有効口径４２１〜４２４の表現である。図２のマイクロレンズ配置および図３の対応するセンサアレイは、図１に示されているのと同じ配置で単眼撮像システム内に構成され得る。図１１〜図１３に示され、以下でより詳しく説明されているように、センサアレイは、センサアレイによって生成される強度画像の操作および記憶のために画像処理ユニットおよび画像記憶ユニットに接続される。（画像処理ユニットおよび画像記憶ユニットは、コンピュータプロセッサおよびメモリデバイスを備えることができる。）

いくつかの実施形態により深度画像ならびに赤色、緑色、および青色（ＲＧＢ）画像を取得するためのマイクロレンズ配置の技術的要求条件は、以下に要約されている。

第１に、大きい深度感知マイクロレンズは、小さい従来のマイクロレンズによって囲まれている−−これは、大きい深度感知マイクロレンズの背後のピクセルが他の大きいマイクロレンズの背後のピクセルに隣接していないと解釈されることも可能である。この要求条件は、最良の妥当性により大きいマイクロレンズの位置において正確なＲＧＢ値を取得するために必要であり得るけれども、より低い妥当性で十分なときにはこれは必要でない。さらに、いくつかの実施形態において、大きいマイクロレンズは、マイクロレンズの正方形のアレイの対角線に沿って隣接しているものとしてよい。

第２に、大きい深度感知マイクロレンズは、画像センサアレイ全体を通して位置決めされる必要がある。たとえば、実施形態において、サイズ６×６ピクセルのセンサアレイのすべての領域は、少なくとも１つの大きい深度感知マイクロレンズを含むべきであり、さらなる実施形態において、サイズ８×８ピクセルのセンサアレイのすべての領域は、少なくとも１つの大きい深度感知マイクロレンズを含むべきであり、なおもさらなる実施形態において、サイズ１０×１０ピクセルのセンサアレイのすべての領域は、少なくとも１つの大きい深度感知マイクロレンズを含んでいるべきである。さらなる一例として、また図２に示されているように、実施形態において、要求条件は４×４ピクセルのグループが少なくとも４つの深度感知ピクセルを含んでいることであるものとしてよく、さらに、いくつかの実施形態において、要求条件は６×６ピクセルのグループが少なくとも４つの深度感知ピクセルを含んでいることであるものとしてよく、さらに、いくつかの実施形態において、要求条件は８×８ピクセルのグループが少なくとも４つの深度感知ピクセルを含んでいることであるものとしてよい。より一般的に、いくつかの実施形態において、従来のピクセルと深度感知ピクセルのグループ（グループは、上で説明されているように３つまたはそれ以上のピクセルである）との比は、６対１と１００対１との間である。他の実施形態において、この比は、２０：１と４０：１との間であり、さらに他の実施形態において、比は３２である。センサの領域内に大きいマイクロレンズがない場合、そこでは深度推定が得られない。この要求条件は、深度画像を取得するために必要であるが、オートフォーカス（ＡＦ）には、ＡＦが画像内の少数のつながっていない位置における深度のみを必要とするので必要ない。

第３に、各大きい深度感知マイクロレンズから、付近の大きいマイクロレンズが同一直線上にないように６個程度のピクセルのうちに少なくとも２つの大きい深度感知マイクロレンズが付近になければならない。大きい深度感知マイクロレンズの間の距離は、深度推定の精度を決定する。距離が大きすぎる場合、焦点面からの非常に大きい距離のみが推定され得る。さらに、付近の大きいマイクロレンズのすべてが直線内にある場合、１つの方向の視差のみが見られる。理解され得るように、マイクロレンズアレイ内の大きい深度感知マイクロレンズの間隔および相対的位置決めは、シーン全体にわたる深度感知の精度を決定する。

上記のマイクロレンズに関するピクセルの位置に基づき４種類の深度感知ピクセル（Ｄ１、Ｄ２、Ｄ３、Ｄ４）がある。これらの深度感知ピクセルの有効口径は、物理的開口の象限に近似的に対応する。図２、図３、図４Ａ、図４Ｂ、および図５を参照しつつ、上記の説明をさらに参照されたい。４種類の深度感知ピクセルは、４つの異なるビュー画像を生成する。（ビュー画像は、おおよそ同じ有効口径を有するピクセルから光強度データを収集することによって得られる光強度画像である。）図８および図９は、マイクロレンズアレイ上に均一に分布する複数の大きい深度感知マイクロレンズに対応する複数のＤ１、複数のＤ２、複数のＤ３、および複数のＤ４感知ピクセルによって収集されるデータに対応する４つのビュー画像のシミュレーションを示している（深度感知マイクロレンズの分布は、たとえば、図２および図３に示される通り）。対応問題は、ビュー画像のうちの１つの中の各小さい領域を考え、次いで、他のビュー画像を使用してすべての実現可能な一致のうちから最もあり得そうな一致を見つけることによって解かれる。

光強度画像は、従来のピクセルを補間することによって生成され得る。各より大きいマイクロレンズの背後の４つの深度感知ピクセルは、従来のピクセルによって囲まれているので、深度感知ピクセルの位置に対応する光強度画像値は、ほとんど誤差なしで補間され得るが、ただし、上で説明されているように、４つの深度感知ピクセルの各グループは従来のピクセルによって囲まれているものとする。この補間は、比較的単純であり、深度感知ピクセルからの情報を必要としないが、光強度画像などの参照画像の画質を高めるためにビュー画像からの情報を使用する既存の技術（ＰｅｌｉＣａｎ Ｉｍａｇｉｎｇによって使用されているような技術）がある。しかしながら、そのような処理方法は、一般的に非常に複雑であり、至るところで正確な深度推定を必要とするため、実際には、際立った特徴のないシーン領域については特に困難であるか、または不可能である。本明細書で説明されている処理方法のいくつかの実施形態は、光強度画像を生成するために比較的疎な深度感知ピクセルからの情報を必要としないことによってこれらの問題を回避している。

実施形態によれば、深度画像全体を生成するためにセンサアレイ全体を通して十分な深度感知ピクセルが与えられる。これは、少数の位置における深度しか推定し得ない疎らに散在するステレオピクセルとともにマイクロレンズアレイを利用する方法とは対照的である。さらに、フル解像度光強度画像を推定するために十分な従来のピクセルが与えられる。これは、画像解像度が本明細書で説明されているいくつかの実施形態で達成され得るものの半分しかない、すべてのピクセルがステレオピクセルであるステレオソリューションとは対照的である。

本明細書で説明されている実施形態の深度感知ピクセルは、広範なシーンに対する深度推定をもたらす。たとえば、本明細書で説明されているいくつかの実施形態は、視点の一次元の変化のみ、または一次元基線を有するカメラは深度推定に基線に平行である画像特徴の構成要素を使用することができないというすでに説明されている状況を克服する。ビュー画像の各ペアを考察することによって、本開示におけるシステムは、水平方向、垂直方向、および対角線方向に基線を設ける。その結果、本開示における深度推定のシステムは、基線に対して垂直な方向のみでなく、任意の方向で特徴を有するシーンの領域を評価するときによりロバストであるか、または安定している。

それに加えて、深度感知ピクセルとともに光マスクが使用され得る。いくつかの実施形態において、これらのマスクは、物理的開口の中心領域−たとえば、大きい深度感知マイクロレンズの中心−から光を遮る。そのような光マスク６３０は、図６Ａおよび図６Ｂに示されており、そこで、十字形マスクが大きい深度感知マイクロレンズ上の中心に置かれる。その結果、深度感知ピクセルに対する有効口径は、サイズが減少し、互いからの隔たりが大きくなる。たとえば、図７は、光マスク６３０によって修正された深度感知マイクロレンズ２０１の４つの象限に対応する４つの感知ピクセル３０１（Ｄ４、Ｄ３、Ｄ２、Ｄ１）に対する有効口径７２１〜７２４の表現であり、光マスク６３０によって塞がれる開口の領域は、十字形領域７２５によって表される。同じ効果は、センサの一部の領域が光を測定しないように深度センサの修正を行うことによって達成され得るが、これは他の場合には「不感帯」と称される。深度感知ピクセルについて、光マスクは次の目標の間でバランスをとるように設計され得る。（１）深度感知ピクセルの被写界深度を深くする有効口径の小さい領域、（２）物理的開口の中心から来る光を遮ることによって視差を大きくする有効領域の間の大きい距離、および（３）飽和なしで大きい信号対雑音比を有することによってセンサのダイナミックレンジを最も効果的に使用するセンサ内のすべてのピクセルの類似の全体的な感度。従来のピクセルについて、光マスクは次の目標の間でバランスをとるように設計され得る。（ａ）所望の被写界深度を達成する有効口径、および（ｂ）センサ内のすべてのピクセルの類似の全体的な感度。

大きい有効口径は、浅い被写界深度を生み出す。したがって、焦点面から離れている物体は、ぼやける。ぼやけている物体に対して対応問題を正確に解くことは困難であるので、深度範囲は、ぼやけた画像が利用されるときに小さくなる。この問題は、いくつかの実施形態において図６Ａおよび図６Ｂに示されているように光マスクで多少とも解決され、ここで、光マスク６３０は、たとえば、それぞれ図４Ａおよび図４Ｂおよび図６Ａおよび図６Ｂのように構成されているセンサに基づくシミュレーションに対応する図８と図９とを比較することによって、図示されているように、光マスクなしの同じセンサおよびレンズ構成と比較したときに有効口径のサイズを小さくすることによって深度範囲を大きくする。図８および図９の生成のためのシミュレーションは、１２０mmの実際の距離における平坦なテストチャートにより１５０mmに焦点が合うカメラを仮定し、有効口径を小さくする光マスクは、被写界深度を深くし、より鮮明なビュー画像の取り込みを可能にすることは明らかである。（鮮明なビュー画像であるほど、対応問題を解き、したがって深度画像を生成することが容易になる。）それに加えて、光マスクは、各有効口径の間の基線を大きくする。すでに説明されているように、基線が大きければ大きいほど深度精度は高くなる。図９に示されている大きい視差（各ビュー画像の間のずれ）は、大きい基線によって引き起こされ、有効口径が同じサイズであるが、一緒に近くなった場合、視差はより小さくなるが、深度精度を制限することになる。図９において、４つのビュー画像は図の外側隅の方へずれていることに留意されたい。シーン内の固定点の図９の各ビュー画像内の位置を比較したとすれば、それはビュー画像内での位置を変える。図９における隣接するビュー画像の間で、位置のずれは、この例では約３０ピクセルである。図８において、ずれはかなり小さく、１０ピクセル未満である。全体的なずれは、図の縁またはビュー画像を分離する青色線と比較して黒色境界のサイズを比較することによっておそらく最もよく見える。図９では境界は非常に異なるが、図８ではこれらはほとんどすべて同じである。

実施形態において、従来のピクセルに対する光マスクを導入することが望ましい場合がある。これらのマスクは、物理的開口の外側上の環状領域から光を遮るように設計される。その結果、従来のピクセルに対する有効口径は、サイズが減少することになる。従来のピクセルおよび結果として得られる光強度画像は、深い被写界深度を有することになる。深い被写界深度は、より大きい深度範囲の物体が光強度画像内で鮮明に見えそれにより画像内でより多くの細部が観察可能であることを意味する。同じ効果は、センサの一部の領域が光を測定しないように従来のピクセルにおける光強度センサの修正を行うことによって達成され得るが、これは他の場合には「不感帯」と称される。

従来のカメラでは、被写界深度は、物理的開口を調整することによって制御される。撮像システムのいくつかの実施形態において、物理的開口を調整することは、従来のピクセルおよび深度感知ピクセルの両方に影響を及ぼす。深度推定は、大きい基線に対してより正確であるので、大きい物理的開口を有することが望ましい。しかしながら、物理的開口を大きくすると、結果として、被写界深度が浅くなり、これは望ましくない場合がある。代替的方法は、より小さな有効口径を有し、光強度画像が深い被写界深度を有するように従来のピクセルに対する光マスクを導入することである。それと同時に、大きい物理的開口が使用されるものとしてよく、結果として、深度感知ピクセルに対する基線が大きくなり、深度精度が高くなる。

画像センサ内のフォトダイオードは、広範な可視光を感知する。センサそれ自体は、モノクロであり、したがって、グレースケール画像しか生成し得ない。ほとんどすべての撮像センサは、各ピクセルの上に３つのカラーフィルタのうちの１つを置き、下にあるセンサにどのような波長の光が到達するかを調整し、ピクセルのスペクトル感度を決定するのを補助する。これらのカラーフィルタは、カラーフィルタアレイと称されるものに配置される。最もよくあるカラーフィルタアレイは、ベイヤ型カラーフィルタアレイであるが、他のフィルタアレイも使用され得る。たとえば、シアン、マゼンタ、および黄色のカラーフィルタは、より多くの光を測定することを可能にするために使用され得る。さらに、３つよりも多い色を有するいくつかのカラーフィルタアレイは、より良好な色精度を達成するために使用され得る。たとえば、赤色、緑色、青色、シアン、マゼンタ、および黄色のフィルタによるカラーフィルタ、または赤色、緑色、青色、および白色によるカラーフィルタは、暗色シーン内でよりよい画像を得るために使用され得る。各ピクセルは、シーンの赤色、緑色、または青色のいずれかを測定する。各ピクセルにおいて赤色、緑色、および青色が望ましいので、２つの未測定の色は、モザイク除去処理と称されるプロセスにおいて付近のピクセル値を使用して推定される。光強度画像に対する複数の色帯が望ましい場合、適切なカラーフィルタアレイが、従来のピクセルの上に置かれ得る。しかしながら、いくつかの実施形態において、すべての深度感知ピクセルは同じスペクトル感度を有する。

マイクロレンズアレイ内の深度感知ピクセルのすべてが同じスペクトル感度を有するときに、最も正確な深度推定が達成される。主な理由は、対応問題が実施形態において広いスペクトル感度を有するカラーチャネルであってよく、したがって、実際には「白色」チャネルであると考えられ得る、ただ１つのカラーチャネルを使用して正確に解かれ得ることである。狭いスペクトルバンド（たとえば、赤色、緑色、または青色のうちの１つの色などの単一の色）の使用は、一般的に深度推定には役立たない。しかしながら、深度感知ピクセルに異なるスペクトル感度が使用される代替的アプローチがある。これは、２つの異なる方法で達成され得る。

第１に、カラーフィルタアレイ（ＣＦＡ）ビュー画像は、各大きいマイクロレンズの背後のすべてのピクセルが同じスペクトル感度を有するが、異なる大きい深度感知マイクロレンズの背後のピクセルのスペクトル感度が異なるときに生成される。（たとえば、第１の大きい深度感知マイクロレンズは、すべて赤色の感知ピクセルを有し、隣接する第２の大きい深度感知マイクロレンズはすべて緑色の感知ピクセルを有し、隣接する第３の大きい深度感知マイクロレンズはすべて青色の感知ピクセルを有する、など。）この結果、ビュー画像はカラーフィルタアレイに似たものとなる。モザイク除去処理は、対応問題を解き、深度を推定する前にフルカラーのビュー画像を生成するために必要である。残念なことに、モザイク除去処理は、結果として得られるビュー画像内に高い空間周波数を生成し得ず、高い空間周波数の欠如は、深度精度を低下させる。

第２に、有色ビュー画像は、マイクロレンズに関して同じ位置にある深度感知ピクセルが同じスペクトル感度を有するときに生成され、これらは他の位置におけるピクセルのスペクトル感度と異なる。この結果、各ビュー画像は単色となるが、ビュー画像の間では異なる。（たとえば、大きい深度感知マイクロレンズについては、４つの感知ピクセルは２つの緑色感知ピクセルと、１つの赤色感知ピクセルと、１つの青色感知ピクセルとを含み得る。）シーン内の物体は、物体の色に基づき異なるビュー画像内でより明るく、またはより暗く見える。しかしながら、異なる色を有するビュー画像を使用して対応問題を解くことは、より複雑であり、結果として、深度推定はあまり正確でなくなる。

その結果、すべて同じスペクトル感度を有する深度感知ピクセルを使用するアプローチは、都合よく利用され得る。より大きいスペクトル感度は、上で考察された２つの代替的形態と比較したときに、各深度感知ピクセルがより多くの光を集めることができることを意味する。フォトンショットノイズは、典型的には現代的な画像センサ内の最も大きいノイズ源であるので、集光される光の量を増やすことは、信号対雑音比を著しく改善する。画像センサは、各ピクセルが飽和に到達する前に正確に測定できる光の量に制限を有しているので制限されたダイナミックレンジを有する。飽和を回避しつつ良好な信号対雑音比を達成するために、すべてのピクセルはおおよそ同じ量の光を捕捉することが理想的であろう。高い信号対雑音比を維持することが重要であるが、それは、ノイズは光強度画像の画質および深度画像の精度をひどく低下させるからである。実施形態において、すべての深度感知ピクセルは、従来のピクセルよりも大きいスペクトル感度を有し、これは、白色ピクセルに類似する広いスペクトル感度を有するピクセルであってよい。

カラーフィルタアレイの効果を無視することで、大きい深度感知マイクロレンズおよびセンサの幾何学的形状または光マスクの存在のせいで従来のピクセルに比べて深度感知ピクセルに当たる光が少なくなり得る。提案されている設計におけるカラーフィルタアレイは、すべてのピクセルがおおよそ等しい量の光を測定するように従来のピクセルでの光を減らすことによって深度感知ピクセルでの光のこの損失を相殺するように構成されるものとしてよく、これは飽和を回避しながら信号対雑音比を高めるが、この目的はより大きいスペクトル感度を有する深度感知ピクセルによってのみ達成され得る。

従来のピクセルからのおよび深度感知ピクセルからの光強度データの処理は、図１０〜図１３を参照しつつ説明されている。

代表的な画像を利用する画像処理の一例が図１０に示されている。未加工画像１００１は、従来の感知ピクセルからのおよび深度感知ピクセルからのデータを含む、図３を参照しつつ上で説明されているアレイなどの、感知アレイ全体によって収集される。未加工データは、２つの別々の画像、すなわち、従来の感知ピクセルのみによる未加工画像１００２（深度感知ピクセルが位置されている場所に存在する画像内の穴−データなし、または値０のデータ）および深度感知ピクセルのみによる未加工画像１００３を生成するように分割される。分離は、汎用コンピュータプロセッサまたは専用処理チップで実装され得る、デジタル処理によって実行されるものとしてよい。代替的に、分離は、最終出力（高解像度ＲＧＢおよび深度画像）が未加工画像内の適切なピクセルから直接推定される場合に明示的に実行されないことがあり得る。そのような実装において、図１０は、実装の説明の代わりに基礎を成すプロセスの説明を多くしている。未加工画像１００２は処理されて、高解像度ＲＧＢ画像１００４を生成し、処理は、深度感知ピクセルによる画像内の「ギャップ」を覆うための補間を含む。未加工画像１００３は、上で説明されているように、４種類の深度感知ピクセルＤ１、Ｄ２、Ｄ３、およびＤ４に対応する４つの画像１００５をもたらすように再配置される。対応問題は、深度画像１００６を生成するために４つの画像１００５について上で説明されているように解かれる。深度画像１００６の生成のより詳しい例は以下のとおりである。４つの画像１００５のうちの１つは、参照画像として選択される。参照画像内の各ピクセルについて、可能な各深度値は、他の３つの画像１００５内の実現可能な一致を識別するために使用される。（ここで、望ましい深度で出現する空間内の同じ点および参照画像内の選択された点に対応する画像１００５の各々において対応する点が１つしかないことに留意されたい。）４つの画像１００５内の識別された実現可能な一致を囲む小さい領域の各々の類似性が評価される。結果として最も高い類似性をもたらす深度値は、最もあり得そうな深度値として選択される。深度画像１００６は、参照画像内の各ピクセルについて類似の操作を実行することによって得られる。

いくつかの実施形態において、未加工画像データ１００２は、図中の破線によって指示されているように、深度画像１００６の画質を高めるために使用され得る。たとえば、高周波情報（縁などの）は、深度画像の解像度を高めるために使用され得る。基本的に、深度画像は、閉塞が発生する物体の縁を表し得る縁を横切って深度推定を広げないよう注意しながら付近の深度値を使用することによってサイズを大きくされる。画質向上プロセスの例として、参照として本明細書に組み込まれる「Image Guided Depth Upsampling using Anisotropic Total Generalized Variation」David Ferstl、Christian Reinbacher、Rene Ranftl、Matthias Ruether、およびHorst Bischof著、Proceedings International Conference on Computer Vision (ICCV)、IEEE 2013を参照されたい。さらなる例において、従来のピクセルまたは高解像度ＲＧＢ画像は、深度推定のための参照画像として使用され得る。この考え方では、この画像を中心ビュー画像として使用し、この深度感知ピクセルから中心ビュー画像と４隅ビュー画像との間の視差を比較することによって深度を決定する。

いくつかの実施形態において、再配置された深度感知データは、図中の破線によって指示され、以下でより詳しく説明されているように、高解像度ＲＧＢ画像１００４の画質を高めるために使用され得る。いくつかの実施形態において、高解像度ＲＧＢ画像１００４および深度画像１００６は、三次元画像、射影などを生成するためにさらに操作され得る。たとえば、深度画像を使用することで、ＲＧＢ画像は、カメラの位置と異なる空間内の新しい点からシーンの新規ビューを生成するために操作され得る。これらの新規ビューは、シーンの３Ｄ視覚化を可能にし、シーンの３Ｄ構造を視覚的に表示する。深度画像は、これらのビューを正確に生成するために必要であり、他の場合には、生成され得ない。さらに、別の可能性として、ＲＧＢ画像の焦点をデジタル方式で調整することがあげられる。たとえば、浅い被写界深度は、その深度に基づきシーン内の物体をぼかすことによってシミュレートされ得る。これは、見ている人の注意をシーンの特定の領域に向けるために使用されるものとしてよい。さらに、ＲＧＢ画像は、深度画像をガイドとして使用することで自動的にまたは対話的にセグメント分割され得る。深度なしのセグメント分割は、どのピクセルが特定の物体に属すかを理解するのが困難であるため非常に難しいが、深度画像を使用することで、深度の不連続性に基づき物体をセグメント分割することが簡単になる。

大きいマイクロレンズの背後のピクセルの測定結果の平均は、光強度画像の補間にも使用され得ることに留意されたい。大きいマイクロレンズの背後のピクセルを平均することで、４つの元のピクセルと同じ面積を有する単一のピクセルと同等の測定が行われ、その際に有効口径は４つの元のピクセルの有効口径の合併に等しい。その結果得られる値は、対応する深度感知ピクセルの代わりに光強度画像内に出現すべきシーンの領域に関係する情報をもたらす。

光強度画像を補間するために最適な線形作用素が使用され得ることが期待される。たとえば、参照として本明細書に組み込まれる米国特許出願公開第２０１２／０３０７１１６号明細書を参照されたい。一連の深度値に対する最適なフィルタが学習され得る。局所的には、選択されたフィルタは、推定された深度値に対して最適化されたフィルタと一致する。

深度感知ピクセルは、従来のピクセルと異なる有効口径を有するので、深度感知ピクセル位置の位置と光強度画像内の見られている物体の対応する位置との間にある程度の視差が存在し得る。この視差は、深度に依存する。たとえば、非常に遠く離れている物体は、視差を示さず、深度感知ピクセルは、従来のピクセルと似た仕方で補間において使用され得る。より近い物体については、何らかの視差が存在し、補間アルゴリズムでは、深度感知ピクセルからの測定が補間を実行する前に調整済みの位置で行われたと考えるべきである。そのような補間は画像内の空間相関およびスペクトル相関を考慮する必要があり、深度に依存するので、処理は複雑なものとなる。いくつかの実施形態において、方法はコンピュータシミュレーションなどを通じて深度に基づき行われる最適な補間フィルタの自動学習を含む。

図１１〜図１３は、いくつかの機能ブロックに分割された、本発明の画像処理システムのいくつかの実施形態を示す概略図である。図１１において、画像感知ユニット１１０１は、光強度データを収集し、そこで、画像感知ユニットは、上で説明されているように、従来のピクセルおよび深度感知ピクセルの両方を含む。収集されたデータは、（１）より小さいマイクロレンズの背後の従来のピクセルの測定結果と（２）より大きい深度感知マイクロレンズの背後の深度感知ピクセルの測定結果とに分けられ、光強度処理ユニット１１０２および深度処理ユニット１１０３にそれぞれ送られる。これらの処理ユニットは、上で説明されているようにデータを処理して、光強度画像および深度画像を生成する。次いで、これらの画像は、光強度画像記憶ユニット１１０４および深度画像記憶ユニット１１０５に送られる。いくつかの実施形態において、強度処理ユニットおよび深度処理ユニットは、単一のコンピュータプロセッサ内にあるものとしてよい。さらに、いくつかの実施形態において、光強度画像記憶ユニットおよび深度画像記憶ユニットは、コンピュータメモリデバイスなどの単一の記憶ユニットであってよい。

図１２において、図１１のシステムは、より大きい深度感知マイクロレンズの背後のピクセルの測定結果を受信し、上で説明されているようにデータを処理し、次いで、データを、上で説明されているように、光強度画像の画質を高めるために平均処理されたデータを使用する光強度処理ユニット１２０２に送る平均処理ユニット１２０６の追加で修正されている。

図１３において、図１１のシステムは、上で説明されているような、深度画像の画質を高めるために強度画像データを使用する深度処理ユニット１３０３に光強度処理ユニット１３０２が光強度画像データを送るように修正されている。

本開示の実施形態は、マイクロレンズの直線的アレイおよび感知ピクセルの対応する直線的アレイを参照しつつ特に説明されていたけれども、本開示の教示および原理は、六方最密充填（ＨＣＰ）平面状構成などの、マイクロレンズおよび感知ピクセルの他の構成にも適用され得る。さらに、マイクロレンズおよび感知ピクセルは、平坦であるか、または湾曲している平面内で構成され得る。さらに、実施形態において、ピクセルおよびそれらの関連付けられているマイクロレンズは、異なるサイズを有し得る。たとえば、より大きいピクセルは、より広い領域上で光を集光することができ、同じマイクロレンズとペアになったより小さいピクセルよりも信号対雑音比がよくなる。別の例は、より大きいマイクロレンズの背後のより小さいピクセルで深度感知ピクセルのサンプリング密度を増加させるものであり、これらのより小さいピクセルが長方形格子に配置されている場合、この結果、いくつかの行／列が他の行／列よりも大きくなる。さらに、異なるサイズのピクセルは、六方最密充填（ＨＣＰ）のバリエーションなどの他の配置にすることも可能である。たとえば、図１４は、より大きい深度感知マイクロレンズ１４０１および従来のマイクロレンズ１４０２〜１４０４を含むマイクロレンズ１４００のアレイを示しており、後者はそれぞれＲ、Ｇ、およびＢとラベル付けされ、各マイクロレンズに関連付けられている感知ピクセルによって検出される色を指示し、図１５は、より大きい深度感知マイクロレンズ１５０１および従来のマイクロレンズ１５０２〜１５０４を含むマイクロレンズ１５００のアレイを示しており、後者はそれぞれＲ、Ｇ、およびＢとラベル付けされ、各マイクロレンズに関連付けられている感知ピクセルによって検出される色を指示する。図１４において、深度感知マイクロレンズ１４０１は、感知ピクセルの対応するＨＣＰアレイ内の深度感知マイクロレンズ１つにつき３つの深度感知ピクセルに対応する３つのセクタに分割されるように示されている（従来のマイクロレンズ１つにつき１つの感知ピクセルがある）。図１５において、深度感知マイクロレンズ１５０１は、感知ピクセルの対応するＨＣＰアレイ内の深度感知マイクロレンズ１つにつき７つの深度感知ピクセルに対応する７つの領域に分割されるように示されている（従来のマイクロレンズ１つにつき１つの感知ピクセルがある）。図２、図１４、および図１５において、アレイの平面内に２つの直交する方向があり、この方向に沿って深度感知マイクロレンズが配置されているように見える。しかしながら、実施形態において、これらの方向は非直交であってよく、たとえば、これらの方向は、他のファクタ、アレイ構成およびレンズ形状に応じて、互いに４５から６０度の範囲内の角度を成すものとしてよく、アレイの構成を定めるために使用され得るアレイの平面内に２つよりも多い方向もあり得る。

本開示の実施形態は、たとえば、カラーフィルタの使用により、赤色、緑色、および青色の感知ピクセルを参照しつつ特に説明されていたけれども、本開示の教示および原理は、シアン、黄色、およびマゼンタなどの、異なるカラーフィルタを有する感知ピクセルなどの、他の種類の感知ピクセルにも適用され得る。さらに、特定の波長範囲の感度を有する感知ピクセルは、また、カラーフィルタを必要とすることなく、使用され得る。さらに、いくつかの実施形態では、感知ピクセルは、たとえば、紫外線および赤外線を含む、電磁スペクトルの見えない部分における画像データを収集するように選択され得る。さらに、実施形態において、特定の光偏光を測定する感知ピクセルが使用され得る。

本開示の実施形態は、カメラを参照しつつ特に説明されていたけれども、本開示の教示および原理は、内視鏡にも適用され得る。さらに、本明細書で説明されている装置および方法を顕微鏡との使用に適合させるように本開示の形態および詳細の変更および修正がなされ得ることは、当業者には容易にわかることであろう。たとえば、深度および強度画像では、顕微鏡によって観察される物体の物理的寸法の測定を行うことが可能である。顕微鏡検査には短い距離が伴うので、深い被写界深度を達成することは非常に困難である（つまり、焦点面に近い場合を除きすべてがぼやける）。本開示のいくつかの実施形態は、被写界深度を拡張し、開口の外縁によって引き起こされる回折を回避することを助けることができる。新しい視点から新規ビューを生成することができることは、この技術なしでは、被写界深度が制限され、微視的物体に対する幾何学的な直観が一般的に欠けているため顕微鏡を通じて見られるような三次元（３Ｄ）幾何学的形状を視覚化し、理解することは困難であるので、非常に重要である（大半の写真撮影シーンでは、多くの場合シーンコンテンツに基づき３Ｄ幾何学的形状を理解できる−−たとえば、人間の典型的な背丈を認識し、したがってそれらの相対的距離を理解する）。さらに、本開示の実施形態は、物理的距離（単純な長さ／面積の測定結果など）または地図もしくは仮想環境に対する３Ｄシーンの理解、または３Ｄ物体のスキャンを理解するために光学測定デバイスにおいて使用され得る。

本開示の実施形態は、いくつかの実施形態を参照しつつ特に説明されたけれども、当業者にとっては、本開示の精神および範囲から逸脱することなくその形態および詳細の変更および修正がなされ得ることが容易に明らかとなるはずである。

１００ 光軸
１０１ 主レンズ
１０２ マイクロレンズアレイ
１０３ 画像感知ユニット
２００ マイクロレンズのアレイ
２０１ より大きい深度感知マイクロレンズ
２０２ 従来のマイクロレンズ
２０３ 従来のマイクロレンズ
２０４ 従来のマイクロレンズ
３００ センサピクセルのアレイ
３０１ 深度感知ピクセル（フォトダイオード）
３０２ ＲＧＢセンサ
４１０ 構造
４２１ 有効口径
４２２ 有効口径
４２３ 有効口径
４２４ 有効口径
６３０ 光マスク
７２１ 有効口径
７２２ 有効口径
７２３ 有効口径
７２４ 有効口径
１００１ 未加工画像
１００２ 未加工画像
１００３ 未加工画像
１００４ 高解像度ＲＧＢ画像
１００５ ４つの画像
１００６ 深度画像
１１０１ 画像感知ユニット
１１０２ 光強度処理ユニット
１１０３ 深度処理ユニット
１１０４ 光強度画像記憶ユニット
１１０５ 深度画像記憶ユニット
１２０２ 光強度処理ユニット
１２０６ 平均処理ユニット
１３０２ 光強度処理ユニット
１３０３ 深度処理ユニット
１４００ マイクロレンズのアレイ
１４０１ より大きい深度感知マイクロレンズ
１４０２ 従来のマイクロレンズ
１４０３ 従来のマイクロレンズ
１４０４ 従来のマイクロレンズ
１５００ マイクロレンズのアレイ
１５０１ より大きい深度感知マイクロレンズ
１５０２ 従来のマイクロレンズ
１５０３ 従来のマイクロレンズ
１５０４ 従来のマイクロレンズ

Claims (22)

1. 強度および深度情報画像を取得するための装置であって、
   平面または少なくとも２方向に曲率を持つ面内に配置された、第１の放射線感受性要素と、第２の放射線感受性要素のグループとを有し、前記第１の放射線感受性要素および前記第２の放射線感受性要素のグループはそれぞれ強度画像、および深度情報画像を感受し、第２の要素の少なくとも２つのグループは前記平面の前記２つの方向の各々に延在する、画像感知ユニットと、
   各々が前記第１の要素のうちの対応する要素に放射線を伝えるように配置されている第１のマイクロレンズと、
   各々が前記第２の要素の対応するグループに放射線を伝えるように配置されている第２のマイクロレンズと、
   を備える装置。
2. 前記少なくとも２つの方向は、２つの直交方向である請求項１に記載の装置。
3. 前記第１の要素のうちの少なくとも１つは、前記平面の前記２つの直交方向の各々に延在する第２の要素の前記少なくとも２つのグループの間にある請求項２に記載の装置。
4. 前記第１の複数のマイクロレンズの各々は、前記第２の複数のマイクロレンズの各々よりも小さい請求項１に記載の装置。
5. 前記第２の要素のグループの各々は、第１の要素によって囲まれ、グループと第１の要素との比は、１／６から１／１００の範囲内にある請求項１に記載の装置。
6. 前記比は、約１／３２である請求項４に記載の装置。
7. 前記第２のマイクロレンズの各々は、第１のマイクロレンズによって囲まれ、第２のマイクロレンズと第１のマイクロレンズとの比は、１／６から１／１００の範囲内にある請求項１に記載の装置。
8. 前記比は、約１／３２である請求項７に記載の装置。
9. （ｉ）強度画像の表現を形成するために前記第１の要素から第１のピクセル信号をロードし、（ｉｉ）深度情報画像の表現を形成するために前記第２の要素から第２のピクセル信号をロードするように構成された１つまたは複数の処理ユニットをさらに備える請求項１に記載の装置。
10. 前記１つまたは複数の処理ユニットは、（ｉ）前記強度画像の前記表現を形成するための前記第２の要素に対応する第１の値、および（ｉｉ）前記深度情報画像の前記表現を形成するための前記第１の要素に対応する第２の値、のうちの１つを生成するようにさらに構成される請求項９に記載の装置。
11. 前記１つまたは複数の処理ユニットは、前記第２のピクセル信号の平均を計算し、前記平均、前記第１のピクセル信号、および前記第１の値を使用して前記強度画像の前記表現を形成する請求項１０に記載の装置。
12. 前記１つまたは複数の処理ユニットは、前記第２のピクセル信号、前記第２の値、および前記第１のピクセル信号を使用して前記深度情報画像を形成するようにさらに構成される請求項１０に記載の装置。
13. 前記１つまたは複数の処理ユニットは、（ｉ）第２の要素のグループから第２のピクセル信号の平均を計算するステップ、（ｉｉ）コンピュータシミュレーションによって自動学習を使用して深度に基づき補間フィルタを計算するステップ、および（ｉｉｉ）ガイド付きフィルタのうちの１つまたは複数に基づいて第３の値を計算し、前記第３の値を使用して前記強度画像の前記表現を形成するようにさらに構成される請求項１０に記載の装置。
14. 前記第２のマイクロレンズのうちの１つと、第２の要素の前記グループのうちの対応する１つとの間の放射線を遮るためのマスクをさらに備える請求項１に記載の装置。
15. 前記第２の複数の要素の前記対応する複数の要素内の不感帯をさらに備える請求項１に記載の装置。
16. 前記第２の放射線感受性要素は、カラーフィルタを含まず、前記第２の放射線感受性要素は各々おおよそ等しいスペクトル感度を有する請求項１に記載の装置。
17. 前記第１の放射線感受性要素のうちの各要素は、多数の色のうちの１つに対するフィルタを備える請求項１６に記載の装置。
18. 前記第１の放射線感受性要素のうちの各要素は、各要素の前記有効口径のサイズを小さくするためのマスクを備える請求項１に記載の装置。
19. 前記少なくとも２つの方向は、互いに４５から６０度の範囲内の角度をなす請求項１に記載の装置。
20. 深度画像および光強度画像を同時に生成する方法であって、
    光強度データを、
    平面または少なくとも２方向に曲率を持つ面内に配置された、第１の放射線感受性要素、および第２の放射線感受性要素のグループであって、前記第１の放射線感受性要素、および前記第２の放射線感受性要素のグループはそれぞれ強度画像、および深度情報画像を感受し、第２の要素の少なくとも２つのグループは前記平面の前記２つの方向の各々に延在する、前記第１の放射線感受性要素、および前記第２の放射線感受性要素のグループと、
    各々が前記第１の要素のうちの対応する要素に放射線を伝えるように配置されている第１のマイクロレンズと、
    各々が前記第２の要素の対応するグループに放射線を伝えるように配置されている第２のマイクロレンズと、
    を有する画像感知ユニットから収集するステップと、
    コンピュータプロセッサを使用して前記第１の放射線感受性要素からの前記光強度を処理して光強度画像を生成するステップと、
    前記コンピュータプロセッサを使用して前記第２の放射線感受性要素からの前記光強度を処理して深度画像を生成するステップと、
    メモリデバイスに前記光強度画像および前記深度画像を記憶するステップと、
    を含む方法。
21. 前記コンピュータプロセッサを使用して前記光強度画像および前記深度画像から新しい画像を生成するステップをさらに含む請求項２０に記載の方法。
22. 前記少なくとも２つの方向は、２つの直交方向である請求項２０に記載の方法。