JP2017536777A - 画像センサユニット及び撮像装置 - Google Patents

Abstract

画像センサユニット（３）が、マイクロレンズ・アレイ（３１）とセンサ（３２）とを有している。センサは、マトリクス配列に配置された種々の感度を有する画素（３２２）をそれぞれ含む複数のセンサ領域（３２３）を含んでいる。複数のセンサ領域（３２３）の対応する位置に在る画素（３２２）は、同一の感度を有している。マイクロレンズ・アレイ（３１）のマイクロレンズ（３１１）の各々は、センサ（３２）の複数のセンサ領域（３２３）のうちの対応する１つに光を導くように配置されている。複数のセンサ領域（３２３）の各々のセンサ領域のマトリクス配列の第１の行又は列における画素（３２２ｃ１）は第１の光感度を有しており、複数のセンサ領域（３２３）の各々のセンサ領域のマトリクス配列の第２の行又は列における画素（３２２ｃ２、３２２ｃ３）は、第１の光感度とは異なる第２の光感度を有しており、第１及び第２の光感度は、複数のセンサ領域（３２３）の各々のセンサ領域のマトリクス配列の第１及び第２の行又は列以外のマトリクス配列の行又は列における画素（３２２）の光感度とは異なる。【選択図】 図５

Description

本開示は、概して、画像センサユニット及びこのような画像センサユニットを含む撮像装置に関する。

プレノプティック・カメラ（plenoptic camera）は、メイン・レンズとセンサとの間にマイクロレンズ・アレイを配置することによって、センサを横切る各々の光束に沿って伝わる光の量を測定可能である。ライト・フィールド（light field）を後処理して、種々の視点からのシーンの画像を再構成できる。その結果、ユーザは、画像の焦点を変更できる。従来型のカメラと比べても、プレノプティック・カメラは、後処理によって種々の視点からのシーンの画像の再構成を実現するための付加的な光学的情報成分を得ることができる。

ＨＤＲ（ハイ・ダイナミック・レンジ：High Dynamic Range）イメージングにおける課題は、ダイナミック・レンジの拡張を可能にするために、異なる露光でシーンの少なくとも２つの画像を捕捉することであろう。従って、従来型のカメラでは、動的なシーン（即ち、ビデオ）を満足な即ち十分に高度なダイナミック・レンジで処理することはできない。

他方、プレノプティック・イメージングは、同時にシーンの数枚の画像を捕捉する効率的な方法を初めて世に送り出し、静的な（即ち、スチルの）シーン又は動的なシーンの複数枚の画像を捕捉するツールを提供している。

プレノプティック・カメラによって捕捉されたシーンの画像は、ビューのデマルチプレクス、即ち、２次元（即ち、２Ｄ）の生画像（raw image）から４次元（即ち、４Ｄ）のライト・フィールド画像（light-field image）へのデータ変換を経る必要がある。このデマルチプレクス処理は、いわゆる「ビュー」、即ち、「視点画像（viewpoint image）」を作成するために、ある入射角で光線を捕捉する全ての画素が同一画像に格納されるように２Ｄの生画像の画素を再編成する。各々の視点画像は、異なる光線角度のもとでのシーンの投影である。１組の視点画像は、中央の視点画像がメイン・レンズのアパチャの中央部分を通過する光線を捕捉する画素を格納しているブロック・マトリクスを作ることができる。光線の角度情報は、マイクロレンズ画像（即ち、マイクロレンズの下でセンサ上に形成される画像）内での、中央の視点（マイクロレンズ画像の中心）に対応する画素に対する相対的な画素位置によって与えられる。

ブロック・マトリクスは、シーン内のオブジェクトの深度情報を推定するのに使用できる。深度情報が判ると、ある特定の画像処理方法によって、あらゆる視点画像上であらゆるオブジェクトを同時に操作できる。ＨＤＲイメージングは、そのような画像処理方法の一例である。シーンの深度マップが判ると、種々のマルチフレームＨＤＲイメージング方法において、種々の光線角度からのシーンの種々の露光を用いて、捕捉された画像のダイナミック・レンジを拡張できる。

例えば、カラーＣＭＯＳで１.３メガピクセル（１２８０×１０８０）のハイ・ダイナミック・レンジ（ＨＤＲ）のハイ・デフィニション・イメージ・センサである「ＯＶ１０６４０」（http://www.ovt.com/products/sensor.php?id=151）は、一部の画素が低い感度応答を有するスプリット・ピクセル技術（split-pixel technology）を提案している。しかしながら、この提案されたスプリット・ピクセル技術は、結果として、カメラの達成可能な空間分解能が減少する。更に、隣接する画素が、種々の空間位置をサンプリングすることによって、ＨＤＲイメージング方法によって行われる後処理の精度を低減してしまう。

他方、トードール・ゲオルギエフ（Todor Georgiev）氏らの「Rich Image Capture with Plenoptic Cameras」ＩＣＣＰ２０１０では、プレノプティック・タイプ２を用いるＨＤＲイメージングについての２つの方式が提案されている。第１の方式では、シーンの種々の露光を捕捉するためにマイクロレンズのアパチャ・サイズを変え、第２の方式では、マイクロレンズに放射される光の量を変えるためにメイン・レンズをフィルタ処理する。しかしながら、これらの提案された第１及び第２の方式によれば、各々のデマルチプレクス処理済みビューには、種々の露光で得られた画素が含まれており、固有の感度の画素は含まれていない。第２の方式は、トードール・ゲオルギエフ氏らの報告によれば、結果の品質の点で第１の方式よりも劣っている。更に、第１の方式によれば、ダイナミック・レンジの拡張は、アパチャ・サイズについての下限によって制限されてしまうことになり、これは、マイクロレンズのアパチャが小さいことにより、回折ボケ（diffraction blur）が生じるためである。

従って、空間分解能を下げずに、ワン・ショットでシーンの種々の露光を同時に捕捉することは、従来の方法では困難である。更に詳しくは、シーンの高い露光の捕捉と低い露光の捕捉とを同時に可能にすることは、従来の方法では困難である。

本開示の一態様によれば、画像センサユニットは、２次元のアレイ状に配置された複数のマイクロレンズを含むマイクロレンズ・アレイと、２次元のアレイ状に配置された複数の画素を含み、かつ、マイクロレンズ・アレイを通して光を受けるように構成されたセンサとを有し、センサは、２次元のアレイ状に配置された複数のセンサ領域であって、それぞれのセンサ領域がマトリクス配列に配置された異なる感度を有する画素を含んでいる複数のセンサ領域を含んでおり、複数のセンサ領域の対応する位置に在る画素は同一の感度を有しており、マイクロレンズ・アレイのマイクロレンズの各々は、センサの複数のセンサ領域のうちの対応する１つに光を導くように配置されており、複数のセンサ領域の各々のセンサ領域のマトリクス配列の第１の行又は列における画素は第１の光感度を有しており、複数のセンサ領域の各々のセンサ領域のマトリクス配列の第２の行又は列における画素は、第１の光感度とは異なる第２の光感度を有しており、第１及び第２の光感度は、複数のセンサ領域の各々のセンサ領域のマトリクス配列の第１及び第２の行又は列以外のマトリクス配列の行又は列における画素の光感度とは異なる。

本開示の別の態様によれば、撮像装置は、少なくともレンズを含む光学系と、上述の画像センサユニットとを有し、画像センサユニットのマイクロレンズ・アレイが、光学系を介して光を受けるように構成されている。

本開示の目的と利点は、特許請求の範囲の請求項に記載された構成要素と組み合わせとによって達成され実現されるであろう。

前述の概括的な説明および後述の詳しい説明は、例示的で解説的なものであり、特許請求の範囲の請求項に記載された本発明を限定するものではないことを理解されたい。

本開示の一実施形態における撮像装置の一例を例示する図である。 センサの感知表面上に配置されたセンシング領域の一例を概略的に例示する平面図である。 センサの感知表面上に配置されたセンシング領域の別の一例を概略的に例示する平面図である。 センサの一部の感知表面上に配置されたセンシング領域の第１の例示的な実施形態を概略的に例示する平面図である。 センサの一部の感知表面上に配置されたセンシング領域の第２の例示的な実施形態を概略的に例示する平面図である。

添付図面を参照して本開示の実施形態を説明する。

以下、画像センサユニット及び撮像装置を、本開示による各々の実施形態において説明する。

図１は、本開示の一実施形態における撮像装置の一例を例示する図である。この実施形態における撮像装置１は、例えば、プレノプティック・カメラを形成している。図１に例示された撮像装置１は、光学系２、画像センサユニット３及びプロセッサ４を含んでいてもよい。

光学系には、ディフューザ（散光器）２１、メイン・レンズ２２及びフィールド・レンズ２３が含まれている。ディフューザ２１は、オブジェクト１００からの光をマイクロレンズ・アレイ３１に到達する前に拡散する。このディフューザ２１は、望ましい場合、省いてもよい。メイン・レンズ２２は、オブジェクト（対象物体）１００からの光をメイン・レンズ２２のオブジェクト・フィールドにおいて受け入れ、この光をメイン・レンズ２２のイメージ・フィールドを通して通過させる。フィールド・レンズ２３は、メイン・レンズ２２とマイクロレンズ・アレイ３１との間に配置されており、メイン・レンズ２２からの焦合された光を、無限遠から焦合されているように見えるように整える。

画像センサユニット３には、マイクロレンズ・アレイ３１とセンサ３２が含まれている。マイクロレンズ・アレイ３１には、２次元のアレイに配置された複数のマイクロレンズ３１１が含まれている。センサ３２には、その感知表面上に設けられたカラー・フィルタ３２１が含まれていてもよい。カラー・フィルタ３２１には、例えばベイヤー配列（Bayer arrangement）のような望ましい配列の赤色、緑色及び青色のそれぞれのフィルタが含まれ得る。このカラー・フィルタ３２１は、望ましい場合、省いてもよい。

図２は、センサの感知表面上に配置されたセンサ領域の一例を概略的に例示する平面図である。センサ３２は、図２に例示されているように、２次元のアレイに配置された複数の画素３２２を含んでおり、オブジェクト１００からの光をマイクロレンズ・アレイ３１を介して受け取る。センサ３２は複数のセンサ領域３２３を形成しており、これらの複数のセンサ領域３２３は、２次元のアレイに配置されており、それぞれ、Ｍ行×Ｎ列（ここで、ＭとＮは２より大きい自然数）を含むマトリクス配列に配置されて互いに異なる感度を有する画素３２２を含んでいる。センサ領域３２３は、「マイクロレンズ画像」又は「ブロック」と呼ばれることもある。フィールド・レンズ２３が存在する場合、各々のセンサ領域３２３の形状とサイズは同じであり、各々のセンサ領域３２３内の画素３２２の数と配置は同じである。この例において、複数のセンサ領域３２３は、行と列が伸延する方向において直線的に整列する矩形マトリクス配列に配置されている。複数のセンサ領域３２３の対応する位置における画素３２２は、現在利用可能なプレノプティック・カメラにおいては、同一の感度を有する。

複数のセンサ領域３２３のうちの各々のセンサ領域の少なくとも１つの行又は列内に在り、且つ、複数のセンサ領域３２３の対応する位置に配置され、且つ、複数のセンサ領域３２３のうちの各々のセンサ領域の中心付近に配置された画素３２２は、例示的な実施形態に関連して後述するように、同一感度を有し得る。ここで、画素の感度は、一般的に、「画素に到達するフォトン（光子）の数と出力信号との間の変換比率」と解釈できる。画素のフィル・ファクタ（fill factor）が考慮される場合、それは、「画素の感光部分に到達するフォトンの数と出力信号との間の変換比率」と定義される。画素のフィル・ファクタは、「画素の全体に対する感光部分の割合」と定義されてもよい。この定義は、画素の一部分が概ね画像センサの回路要素に割り当てられ、従って、画素の全体が光の検出に使用されるわけではなく、画素の感光部分のみが光の検出に寄与することに依拠している。

画素３２２の種々の感度は、種々の感度を有するように製造された画素３２２を用いて実現してもよい。種々の感度を有するように製造される画素は、例えば「http://image-sensors-world.blogspot.fr/2014/11/on-semi-presents-emccd-with-per-pixel.html」において説明されているように周知であり、そのような画素を、上述の種々の感度を有する画素３２２として使用することが可能である。

あるいは、その代わりに、図１に例示された、マイクロレンズ・アレイ３１とセンサ３２との間に配置されており、画素３２２の単一の感度を種々の感度に変えるフィルタ３２１Ａ等を用いることによって、画素３２２に種々の感度を与えてもよい。フィルタ３２１Ａは、実現されるべき画素３２２の種々の感度のパターンに応じたパターンを有するように製造してもよい。フィルタ３２１Ａは、例えば、カラー・フィルタ３２１上に、或いは、センサ３２の感知表面上に設けてもよい。更に、フィルタ３２１Ａは、カラー・フィルタ３２１によって形成してもよく、即ち、カラー・フィルタ３２１の機能とフィルタ３２１Ａの機能とを単一のフィルタ内で統合してもよい。

図３は、センサの感知表面上に配置されたセンサ領域の別の一例を概略的に例示する平面図である。図３において、図２における対応する部分と同じである部分は同じ参照番号で示されており、それらの説明は省略する。この例において、複数のセンサ領域３２３は、行と列が伸延する方向において千鳥配列に直線的に配置されている。

マイクロレンズ・アレイ３１のマイクロレンズ３１１の各々は、センサ３２の複数のセンサ領域３２３のうちの対応する１つのセンサ領域に光を導くように配置されている。更に、マイクロレンズ３１１のレンズ特性により、マイクロレンズ・アレイ３１のマイクロレンズ３１１の各々は、センサ３２の複数のセンサ領域３２３のうちの対応する１つのセンサ領域内の、図２と図３内において一点鎖線で示された円形部分（即ち、マイクロレンズ画像）３２４に光を導く。

この例において、センサ領域３２３は正方形の形状を有しており、円形部分３２４は、各々の対応する正方形のセンサ領域３２３内にぴったりと収まっている。望ましくは、円形部分３２４の外側輪郭線は、対応する正方形のセンサ領域３２３に対する内接円を形成している。従って、各々のセンシング領域３２３内の画素３２２の全てのうち、実質的に円形部分３２４内に位置する画素３２２のみが撮像に寄与する。換言すれば、各々の画素３２２の、撮像に寄与する画素部分（即ち、感知部分）は、実質的に円形部分３２４内に位置している。

複数のセンサ領域３２３の各々のセンサ領域の中心は、対応する円形部分３２４の中心、即ち、対応するマイクロレンズ３１１の画像の中心と一致する。

プロセッサ４は、任意の周知の適切なハードウェア、或いは、ソフトウェア、或いは、ハードウェアとソフトウェアの組み合わせによって形成してもよい。例えば、プロセッサ４は、処理回路のような専用ハードウェアによって形成してもよく、或いは、自己のメモリに格納されたプログラムを実行するＣＰＵ（Central Processing Unit：中央処理装置）のようなプログラム可能な処理装置によって形成してもよい。

プロセッサ４は、センサ３２の複数のセンサ領域３２３の各々から出力され、種々の感度を有する画素３２２の信号を含む信号についての処理を行い得る。プロセッサ４の処理には、これらの信号をデジタル信号にデジタル化することと、これらのデジタル信号から、複数のセンサ領域３２３によって感知され、種々の視点に対応する複数の視点画像を抽出することと、が含まれ得る。プロセッサ４の処理には、更に、例えば複数の視点画像のうちの少なくとも２つを合成することが含まれ得る。プロセッサ４の処理は、例えば、センサ３２から出力された信号からの深度情報の抽出を可能にして、その深度情報に基づいて３次元表示を可能にし得る。

センサ３２における画素３２２の種々の感度の数Ｓは、公式Ｓ＝ｍ−（Ｌ１×Ｌ２）＋Ｌ１によって表してもよく、ここで、ｍは、円形部分３２４において撮像に寄与する画素３２２の数を表し、Ｌ１は、それぞれ、同一感度を有する画素３２２によって形成される、複数のセンサ領域３２３のうちの各々のセンサ領域の行又は列の数を表し、Ｌ２は、同一感度を有する画素３２２によって形成される、複数のセンサ領域３２３のうちの各々のセンサ領域のＬ１個の行又は列の各々において撮像に寄与する画素３２２の数を表す。その結果、この実施形態は、プレノプティック・データの空間分解能を下げずにワン・ショットでシーンの異なる露光を同時に捕捉できる。更に詳しくは、この実施形態は、シーンの高露光捕捉と低露光捕捉とを同時に可能にすることができる。

シーンの異なる露光を同時に捕捉することによって、静的なシーン及び動的なシーンについてのＨＤＲ（ハイ・ダイナミック・レンジ：High Dynamic Range）の撮像が容易になる。この場合、ユーザは、例えば、低い光の露光と、手作業による露光モードの変更を考慮する必要がない。高露光捕捉と低露光捕捉は、全て、例えば１つの固定モードで行うことができ、プレノプティック・カメラは、広範囲な照度条件で機能できる。更に、例えば４色型色覚を持つ人たち（tetrachromatic people）用の画像捕捉は、プレノプティック・カメラにおいて容易に実施できる。

トードール・ゲオルギエフ（Todor Georgiev）氏らの「Rich Image Capture with Plenoptic Cameras」ＩＣＣＰ２０１０において提案されたようにマイクロレンズのアパチャを変える代わりに、本実施形態においては、センサ画素の配置を、画素の感度がセンサ上で多様となるように設計する。更に、カラーＣＭＯＳで１.３メガピクセル（１２８０×１０８０）のハイ・ダイナミック・レンジ（ＨＤＲ）のハイ・デフィニション・イメージ・センサである「ＯＶ１０６４０」（http://www.ovt.com/products/sensor.php?id=151）において提案されたスプリット・ピクセル技術（split-pixel technology）の低空間分解能とは異なり、本実施形態におけるようにプレノプティック・カメラ（即ち、ライト・フィールド・カメラ）の画素感度を変えることは、捕捉されたライト・フィールドの空間分解能及び／又は角度分解能に影響を及ぼさない。

従って、本実施形態において、センサには、光に対して幾つかの種々の感度を有する画素が含まれている。画素配置の設計についての制約条件を次の（ｉ）〜（ｖ）のようにしてもよい。代表的な実施形態では、各々のマイクロレンズの下で、即ち、各々のセンシング領域３２４において１０×１０＝１００個の画素を有する代表的なタイプ１のプレノプティック・カメラを検討する。その他の例によれば、各々のセンシング領域は、２０×２０、５０×５０、あるいは、１００×１００個の画素を備えていてもよい。

制約条件（ｉ）： 各々の視点画像を同一の感度を有する画素のみによって捕捉するために、センシング領域３２４の各々において、同一の相対的位置（即ち、マイクロレンズの中心に対しての同一の座標）に位置付けられており、従って、同一の視点画像に属している全ての画素は、同一の感度を有する。

制約条件（ｉｉ）： 深度マップの計算を可能にするために、同一の露光についての少なくとも２つのビューが必要とされる。視差推定の精度を増すために、センシング領域の各々における少なくとも１つの完全な行又は列が、同一感度を有する画素によって形成されることが望ましい。この画素の感度パターンは、画素の正確な位置決めを可能にする。

図４は、センサの一部の感知表面上に配置されたセンシング領域の第１の例示的な実施形態を概略的に例示する平面図である。図４において、図３における対応する部分と同じである部分は同じ参照番号で示されており、それらの説明は省略する。センサ３２の部分的な図における円形部分３２４は、マイクロレンズ画像に対応している。各々のセンシング領域３２３の、中心３２９の付近に在る中央の行は、同一感度を有し、図４内でハッチング（線影）によって示された１つのタイプの画素３２２ｃ１のみによって形成されている。ここで、中央の行が中心３２９の付近に在るとは、その行の少なくとも１つの画素が中心３２９に接触している場合、或いは、その行の、中心３２９に最も近い画素が中心３２９の近傍に、例えば、中心３２９から、画素数の程度にも依存するが、数個の画素のうちの僅かな画素分だけ離れて位置している場合、であるとする。中央の行以外の行における画素３２２は、互に異なる感度を有している。更に、例えば、図４で「×」のマークで示されているような、各々のセンシング領域３２３（或いは、円形部分３２４）内で同じ相対的位置に位置付けられており、従って同一の視点画像に属する画素３２２は、同一感度を有している。従って、図４において太い実線で囲まれており、各々のマイクロレンズ３１１のもとの円形部分３２４内でのイメージングに寄付する６４個の画素（３２２と３２２ｃ１）のうち、８個の画素３２２ｃ１のみが同一の感度を有しており、前述の公式から計算すれば、各々の円形部分３２４内での撮像に寄与する画素（３２２と３２２ｃ１）は、６４−（１×８）＋１＝５７個の異なる感度を有し得る。

図４及び後述の図５において、太い線で囲まれた正方形領域のコーナーにおける画素は、これらの図では、円形部分３２４の内側に実質的に位置していないように見え得るが、説明の便宜上、この正方形領域内の６４（＝８×８）個の画素が撮像に寄与すると仮定する。

制約条件（ｉｉｉ）： 種々の照度レベルで連続した画像捕捉を可能にするために、より多くの制約条件を画素配置設計に適用し得る。例えば、各々のセンシング領域内の複数の中央の行又は列の各々は、同一の感度を有する画素によって形成されることが望ましい。この画素の感度パターンも画素の正確な位置決めを必要とする。深度マップの推定は、照度レベルに関してシーンを最も良く捕捉する、中央の行又は列のうちの１つについて行われてもよい。

図５は、センサの一部の感知表面上に配置されたセンシング領域の第２の例示的な実施形態を概略的に例示する平面図である。図５において、図３における対応する部分と同じである部分は同じ参照番号で示されており、それらの説明は省略する。センサ３２の部分的な図における円形部分３２４は、マイクロレンズ画像に対応している。各々のセンシング領域３２３の、中心３２９の付近に在る第１、第２及び第３の中央の行は、それぞれ、同一感度を有し、図５内でハッチング（線影）によって示された対応するタイプの画素３２２ｃ１、３２２ｃ２及び３２２ｃ３のみによって形成されている。第１、第２及び第３の中央の行以外の行における画素３２２は、互に異なる感度を有している。画素３２２ｃ１、３２２ｃ２及び３２２ｃ３の感度は、２つの極端な照明条件、即ち、それぞれ、高感度及び低感度に対応する非常に低い照度及び非常に高い照度と、これらの高感度と低感度との間の中間的な感度に対応する１つの中程度の照明条件と、を考慮することによって、決定してもよい。

従って、図５において太い実線で囲まれており、各々のマイクロレンズ３１１の下の円形部分３２４内での撮像に寄付する６４個の画素（３２２、３２２ｃ１、３２２ｃ２及び３２２ｃ３）のうち、８個の画素３２２ｃ１が同一の感度を有し、８個の画素３２２ｃ２が同一の感度を有し、８個の画素３２２ｃ３が同一の感度を有しているが、画素３２２ｃ１、３２２ｃ２及び３２２ｃ３の感度は互いに異なる。従って、前述の公式から計算すれば、各々の円形部分３２４内での撮像に寄与する画素（３２２、３２２ｃ１、３２２ｃ２及び３２２ｃ３）は、６４−（３×８）＋３＝４３個の異なる感度を有し得る。

制約条件（ｉｖ）： シーンの色コンテンツをサンプリングするために、カラー・フィルタ３２１をセンサ３２上に設けてもよい。マイクロレンズの中心が判れば、例えば、各々のビューについて通常のベイヤー配列（即ち、パターン）が得られるようにカラー・フィルタ３２１を設計できる。このカラー・フィルタの設計は、各々のマイクロレンズ３１１の直径が正確な奇数の画素３２２に対応する場合に、実現し得る。マイクロレンズ３１１の直径が正確な偶数の画素３２２に対応する場合、１画素分の物理的なスペースがマイクロレンズ・グリッド上のマイクロレンズ３１１の相互間に形成され得る。推定された視差を用いたビューの色コンテンツの正確な復元のためには、例えば、Ｍｏｚｈｄｅｈ Ｓｅｉｆｉ氏らの「Disparity-Guided Demosaicking of Light-Field Images」ＩＣＩＰ２０１４において提案された方法を実施してもよく、それにより、露光毎に複数のビューを得るために、感度数（即ち、感度レベル数）を更に低減できる。感度レベル数が例えば２で割られた場合でも、シーンの約２０の異なる露光を捕捉でき、これは従来型カメラの能力の及ぶ範囲を遥かに越えている。

制約条件（ｖ）：４色型色覚を持つ人たち用のシーン捕捉を考慮に入れてもよい。４色型色覚を持つ人たちは、その数は非常に少ないが、４つの原色応答を持っている。従って、３つの色チャンネルのみの使用は、これらの人たちの要求を満たさないかもしれない。この場合にＨＤＲプレノプティック・カメラを適応させるために、１つのビュー（或いは、もしかするとビューの１つの行又は列）を追加の色チャンネルにおける情報に含めてもよい。唯一の修正は、各々のマイクロレンズに対応する画素の前に適切なカラー・フィルタを用いることであり、依然として、シーンの約２０の異なる露光を捕捉することが可能である。

上述のように、複数のセンサ領域３２３のうちの各々のセンサ領域の少なくとも１つの行又は列内に在り、且つ、複数のセンサ領域３２３の対応する位置に配置され、且つ、複数のセンサ領域３２３のうちの各々のセンサ領域の中心付近に配置された画素３２２は、同一の感度を有し得る。従って、各々のセンサ領域３２３において、画素３２２が同一の感度を有する隣接した行又は列の数は、図４に例示されているように１か、或いは、図５に例示されているように３か、或いは、２又は４以上であってもよく、画素３２２の感度は、そのような隣接した行又は列の相互間で異なる。

注目すべき点として、プレノプティック・カメラは、ワン・ショットでシーンの複数の露光を取得して、例えばビデオ・モードで容易に機能することができる。本実施形態では、プレノプティック・タイプ１の例を挙げて説明したが、例えばプレノプティック・タイプ２のカメラについても全く同じ手法を用いることができる。例えば、Ｒａｙｔｒｉｘ ＧｍｂＨによって製造されるＲ―Ｓｅｒｉｅｓ ３Ｄカメラ（即ち、ライト・フィールド・カメラ）の場合では、プレノプティック関数が通常のグリッド上でサンプリングされないので、ビューのマトリクス配列を得るためにはデータの再グリッディング（re-gridding）が必要である。それにもかかわらず、センサをそれなりに設計することによって、種々のビューについてのシーンの種々の露光を得ることができる。

例示的な実施形態に、例えば「第１」又は「第２」を用いて番号付けしているが、これらの順序番号は、例示的な実施形態の優先順位を意味しているわけではない。その他の多くの変形形態及び修正形態は当業者に明らかであろう。

ここに挙げた全ての例と条件的な文言は、技術の促進のために本発明者によって提供された本発明と本発想とを理解することにおいて読者を手助けする教授目的のためのものであり、従って、本発明と本発想は、このような具体的に挙げた例及び条件に限定されないと解釈すべきであり、また、本明細書におけるこのような例の編成は、本原理の優劣の説明に関するものではない。以上、本開示の実施形態を詳細に説明したが、本発明の有効範囲から逸脱することなく種々の変更、置き換え、及び、修正を行い得ることを理解されたい。

Claims (9)

1. ２次元のアレイ状に配置された複数のマイクロレンズ（３１１）を含むマイクロレンズ・アレイ（３１）と、
   ２次元のアレイ状に配置された複数の画素（３２２）を含み、かつ、前記マイクロレンズ・アレイを通して光を受けるように構成されたセンサ（３２）と、
   を有する画像センサユニット（３）であって、
   前記センサは、２次元のアレイ状に配置された複数のセンサ領域（３２３）であって、それぞれのセンサ領域（３２３）がマトリクス配列に配置された異なる光感度を有する画素（３２２）を含んでいる、前記複数のセンサ領域（３２３）を含んでおり、
   前記複数のセンサ領域（３２３）の対応する位置に在る画素（３２２）は同一の光感度を有しており、
   前記マイクロレンズ・アレイ（３１）のマイクロレンズ（３１１）の各々は、前記センサ（３２）の前記複数のセンサ領域（３２３）のうちの対応する１つに光を導くように配置されており、
   前記複数のセンサ領域（３２３）の各々のセンサ領域の前記マトリクス配列の第１の行又は列における画素（３２２ｃ１）が第１の光感度を有しており、
   前記複数のセンサ領域（３２３）の各々のセンサ領域の前記マトリクス配列の第２の行又は列における画素（３２２ｃ２、３２２ｃ３）が、前記第１の光感度とは異なる第２の光感度を有しており、
   前記第１及び第２の光感度は、前記複数のセンサ領域（３２３）の各々のセンサ領域の前記マトリクス配列の前記第１及び第２の行又は列以外の前記マトリクス配列の行又は列における画素（３２２）の光感度とは異なる、前記画像センサユニット。
2. 前記複数のセンサ領域（３２３）の各々のセンサ領域の前記マトリクス配列の第３の行又は列における画素（３２２ｃ３）が、前記第１及び第２の光感度とは異なる第３の光感度を有しており、
   前記第１、第２及び第３の光感度は、前記複数のセンサ領域（３２３）の各々のセンサ領域の前記第１、第２及び第３の行又は列以外の前記マトリクス配列の行又は列における画素（３２２）の光感度とは異なり、
   前記第１、第２及び第３の行又は列は、互いに隣接しており、かつ、前記複数のセンサ領域（３２３）の各々のセンサ領域の中央領域を貫いて伸延するように配置されている、請求項１に記載の画像センサユニット。
3. 前記複数のセンサ領域（３２３）が、前記行と前記列の伸延する方向において直線的に整列するマトリクス配列に配置されている、請求項１又は２に記載の画像センサユニット。
4. 前記複数のセンサ領域（３２３）が、前記行と前記列の伸延する方向において千鳥配列に直線的に配置されている、請求項１から３のいずれか１項に記載の画像センサユニット。
5. 少なくともレンズ（２２）を含む光学系（２）と、
   請求項１から４のいずれか１項に記載の画像センサユニット（３）と、
   を有する撮像装置（１）であって、
   前記画像センサユニット（３）の前記マイクロレンズ・アレイ（３１）が、前記光学系（２）を通して光を受けるように構成されている、前記撮像装置。
6. 前記光学系（２）はメイン・レンズ（２２）を含んでおり、該メイン・レンズは、該メイン・レンズのオブジェクト・フィールドにおけるオブジェクト（１００）からの光を受け入れ、かつ、この光を該メイン・レンズのイメージ・フィールドを通して通過させるように構成されている、請求項５に記載の撮像装置（１）。
7. 前記センサ（３２）の前記複数のセンサ領域（３２３）の各々から出力された信号であって、種々の感度を有する画素（３２２）の信号を含む前記信号についての処理を行うように構成されたプロセッサ（４）を更に有する、請求項５又は６に記載の撮像装置（１）。
8. 前記プロセッサ（４）の前記処理は、
   前記信号をデジタル信号にデジタル化することと、
   前記複数のセンサ領域（３２３）によって感知された、種々の視点に対応している複数の視点画像を前記デジタル信号から抽出することと、
   を含む、請求項７に記載の撮像装置（１）。
9. 前記プロセッサ（４）の前記処理は、
   前記複数の視点画像のうちの少なくとも２つを合成することを更に含む、請求項８に記載の撮像装置（１）。

Images