JP2012195921A - 固体撮像素子およびカメラシステム - Google Patents

Abstract

【課題】複雑な構造と複雑な信号処理を必要とすることなく、単眼でステレオのワイドダイナミックレンジ（ＷＤＲ）画像を得ることが可能な固体撮像素子およびカメラシステムを提供する。
【解決手段】複数の色画素が第１方向Ｘおよび第１方向に直交する第２方向Ｙに行列状に配列された画素アレイ部と、複数の上記色画素に跨って光を入射するマルチレンズが配列されたマルチレンズアレイと、を有し、画素アレイ部の各色画素は、第１方向および第２方向に少なくとも一方向に隣接する色画素がステレオのＬ用画素とＲ用画素に割り当てられ、マルチレンズアレイは、第１方向において、少なくとも一部が互いに隣接する色の異なる異色画素に跨って光を入射するように配置されている。
【選択図】図６

Description

本技術は、たとえばライトフィールド（Light Field）技術を適用するステレオカメラや単眼３次元（３Ｄ）ステレオカメラに適用可能な固体撮像素子およびカメラシステムに関するものである。

ライトフィールドカメラ（Light Field Camera）としては、特許文献１に開示された技術が知られている。
この技術では、色フィルタアレイのカラーコーディング（色配列）を、ＲＧＢベイヤー配列を４５度回転させた市松配列（ジグザグ配列）で、上下左右隣接４画素が同一色とする。すなわち、同色４画素単位でＲＧＢの各フィルタが正方配列されたカラーコーディングとする。
そして、異なる色を跨ぐように４画素（上下２画素×左右２画素）単位で一つのマルチレンズアレイを共有する。

また、特許文献２には、複眼３Ｄカメラにおいて、カメラごとに感度差をつけることで、視差とワイドダイナミックレンジ（ＷＤＲ）を兼用する技術が開示されている。

特開２０１０−２３９３３７号公報 特開２００３−１８４４５号公報

ところが、特許文献１に開示された技術では、フル解像度を得るために、複雑な構造と複雑な信号処理を必要とする。

また、特許文献２に開示された技術では、２眼であると飽和すると視差が取れないのでワイドダイナミックレンジ（ＷＤＲ）のレンジが不足するなどの不利益がある。

そこで、本技術は、複雑な構造と複雑な信号処理を必要とすることなく、単眼でステレオのワイドダイナミックレンジ（ＷＤＲ）画像を得ることが可能な固体撮像素子およびカメラシステムを提供することにある。

本技術の第１の観点の固体撮像素子は、複数の色画素が第１方向および当該第１方向に直交する第２方向に行列状に配列された画素アレイ部と、複数の上記色画素に跨って光を入射するマルチレンズが配列されたマルチレンズアレイと、を有し、上記画素アレイ部の各色画素は、上記第１方向および上記第２方向に少なくとも一方向に隣接する色画素がステレオのＬ用画素とＲ用画素に割り当てられ、上記マルチレンズアレイは、上記第１方向において、少なくとも一部が互いに隣接する色の異なる異色画素に跨って光を入射するように配置されている。

本技術の第２の観点のカメラシステムは、固体撮像素子と、上記固体撮像素子に被写体像を結像する光学系と、を有し、上記固体撮像素子は、複数の色画素が第１方向および当該第１方向に直交する第２方向に行列状に配列された画素アレイ部と、複数の上記色画素に跨って光を入射するマルチレンズが配列されたマルチレンズアレイと、を有し、上記画素アレイ部の各色画素は、上記第１方向および上記第２方向に少なくとも一方向に隣接する色画素がステレオのＬ用画素とＲ用画素に割り当てられ、上記マルチレンズアレイは、上記第１方向において、少なくとも一部が互いに隣接する色の異なる異色画素に跨って光を入射するように配置されている。

本発明によれば、複雑な構造と複雑な信号処理を必要とすることなく、単眼でステレオのワイドダイナミックレンジ（ＷＤＲ）画像を得ることができる。

本実施形態に係る固体撮像素子（ＣＭＯＳイメージセンサ）の構成の概略を示すシステム構成図である。 単位画素の回路構成の一例を示す回路図である。 隣接４画素加算を画素内で行う場合の回路構成の一例を示す回路図である。 画素配列例としてベイヤー配列を示す図である。 本実施形態に係る画素分割の概念図である。 本実施形態に係る固体撮像素子（ＣＭＯＳイメージセンサ）の第１の特徴的構成例を示す図である。 本実施形態に係る固体撮像素子（ＣＭＯＳイメージセンサ）の第２の特徴的構成例を示す図である。 本実施形態に係る固体撮像素子（ＣＭＯＳイメージセンサ）の第３の特徴的構成例を示す図である。 本実施形態に係る固体撮像素子（ＣＭＯＳイメージセンサ）の第４の特徴的構成例を示す図である。 本実施形態に係る固体撮像素子（ＣＭＯＳイメージセンサ）の第５の特徴的構成例を示す図である。 本実施形態に係る固体撮像素子（ＣＭＯＳイメージセンサ）の第６の特徴的構成例を示す図である。 本実施形態に係る固体撮像素子（ＣＭＯＳイメージセンサ）の第７の特徴的構成例を示す図である。 本実施形態に係る固体撮像素子（ＣＭＯＳイメージセンサ）の第８の特徴的構成例を示す図である。 本実施形態に係る固体撮像素子（ＣＭＯＳイメージセンサ）が適用される単眼３Ｄステレオカメラの構成例を示す図である。 本実施形態に係る固体撮像素子（ＣＭＯＳイメージセンサ）を適用した単眼３Ｄステレオカメラにおける像高変化量の被写体距離依存性を示す図である。 本実施形態に係る固体撮像素子（ＣＭＯＳイメージセンサ）を適用した単眼３Ｄステレオカメラにおける被写体距離に対する結像変化量を示す図である。 本実施形態に係る固体撮像素子が適用されるカメラシステムの構成の一例を示す図である。

以下、本発明の実施形態を図面に関連付けて説明する。
なお、説明は以下の順序で行う。
１．固体撮像素子の構成例（ＣＭＯＳイメージセンサの例）
２．本実施形態の特徴的構成
２−１．第１の特徴的構成例
２−２．第２の特徴的構成例
２−３．第３の特徴的構成例
２−４．第４の特徴的構成例
２−５．第５の特徴的構成例
２−６．第６の特徴的構成例
２−７．第７の特徴的構成例
２−８．第８の特徴的構成例
３．適用可能な単眼３Ｄステレオカメラの構成例
４．カメラシステムの構成例

＜１．固体撮像素子の構成例＞
［システム構成］
図１は、本実施形態に係る固体撮像素子、たとえばＸ−Ｙアドレス型固体撮像装置の一種であるＣＭＯＳイメージセンサの構成の概略を示すシステム構成図である。

本実施形態に係るＣＭＯＳイメージセンサ１０は、半導体基板（以下、単に「センサチップ」と記述する場合もある）１１に形成された画素アレイ部１２と、画素アレイ部１２と同じ半導体基板１１に集積された周辺回路部とを有する。
周辺回路部としては、たとえば、垂直駆動部１３、カラム処理部１４、水平駆動部１５およびシステム制御部１６が配置されている。また、センサチップ１１の外部には、信号処理系を構成するＤＳＰ(Digital Signal Processor；デジタル信号処理回路)回路３１および画像メモリ３２が配置されている。

画素アレイ部１２には、入射する可視光をその光量に応じた電荷量に光電変換する光電変換素子を含む図示しない単位画素（以下、単に「画素」と記述する場合もある）がアレイ状に配置されている。
単位画素の具体的な回路構成については後述する。この画素アレイ部１２の受光面（光入射面）側には、色フィルタアレイ３３が形成され、その上部側にマルチレンズアレイ（Multi Lens Array；MLA）３４が配置されている。また、色フィルタアレイ３３上にはオンチップレンズＯＣＬが配置される。
基本的に、本実施形態においては、後述するように、ライトフィールド（Light Field）のステレオ版として、マルチレンズアレイ（ＭＬＡ）でＬＲ視差分離を行う構成が採用される。
また、本実施形態では、後述するように、単眼で３ＤステレオのＷＤＲ画像を得ることが可能に構成される。

画素アレイ部１２にはさらに、行列状の画素配列に対して行ごとに画素駆動線１８が図の左右方向（画素行の画素配列方向／水平方向）に沿って配線され、列ごとに垂直信号線１７が図の上下方向（画素列の画素配列方向／垂直方向）に沿って形成されている。
画素駆動線１８の一端は、垂直駆動部１３の各行に対応した出力端に接続されている。図１では、画素駆動線１８について１本として示しているが、１本に限られるものではない。

垂直駆動部１３は、シフトレジスタやアドレスデコーダなどによって構成されている。ここでは、具体的な構成については図示を省略するが、垂直駆動部１３は、読出し走査系と掃出し走査系とを含んだ構成を有する。読出し走査系は、信号を読み出す単位画素について行単位で順に選択走査を行う。

一方、掃出し走査系は、読出し走査系によって読出し走査が行われる読出し行に対し、その読出し走査よりもシャッタスピードの時間分だけ先行してその読出し行の単位画素の光電変換素子から不要な電荷を掃き出す（リセットする）掃出し走査を行う。
この掃出し走査系による不要電荷の掃き出し（リセット）により、いわゆる電子シャッタ動作が行われる。
ここで、電子シャッタ動作とは、光電変換素子の光電荷を捨てて、新たに露光を開始する（光電荷の蓄積を開始する）動作のことを言う。

読出し走査系による読出し動作によって読み出される信号は、その直前の読出し動作または電子シャッタ動作以降に入射した光量に対応する。
そして、直前の読出し動作による読出しタイミングまたは電子シャッタ動作による掃出しタイミングから、今回の読出し動作による読出しタイミングまでの期間が、単位画素における光電荷の蓄積時間（露光時間）となる。
本実施形態においては、後述するように、この露光時間の制御や色フィルタの透過率を変えるデバイスを採用することによりワイドダイナミックレンジを得ることが可能となる。

垂直駆動部１３によって選択走査された画素行の各単位画素から出力される信号は、垂直信号線１７の各々を通してカラム処理部１４に供給される。
カラム処理部１４は、画素アレイ部１２の画素列ごとに、選択行の各画素から出力されるアナログの画素信号に対してあらかじめ定められた信号処理を行う。

カラム処理部１４での信号処理としては、たとえばＣＤＳ(Correlated Double Sampling;相関二重サンプリング)処理が挙げられる。
ＣＤＳ処理は、選択行の各画素から出力されるリセットレベルと信号レベルとを取り込み、これらのレベル差を取ることによって１行分の画素の信号を得るとともに、画素の固定パターンノイズを除去する処理である。
カラム処理部１４に、アナログの画素信号をデジタル化するＡ／Ｄ変換機能を持たせることも可能である。

水平駆動部１５は、シフトレジスタやアドレスデコーダなどによって構成され、カラム処理部１４の画素列に対応した回路部分を順番に選択走査する。
この水平駆動部１５による選択走査により、カラム処理部１４で画素列ごとに信号処理された画素信号が順番にセンサチップ１１の外部へ出力される。
すなわち、センサチップ１１からは、色フィルタアレイ３３のカラーコーディング（色配列）に対応した画素信号がそのままＲＡＷデータ（生データ）として出力される。

システム制御部１６は、センサチップ１１の外部から与えられるクロックや、動作モードを指令するデータなどを受け取り、また、本ＣＭＯＳイメージセンサ１０の内部情報などのデータを出力する。
システム制御部１６は、各種のタイミング信号を生成するタイミングジェネレータを有し、タイミングジェネレータで生成された各種のタイミング信号を基に垂直駆動部１３、カラム処理部１４、水平駆動部１５などの駆動制御を行う。

センサチップ１１の外部回路であるＤＳＰ回路３１は、センサチップ１１から出力されるたとえば１フレーム分の画像データを画像メモリ３２に一時的に蓄え、画像メモリ３２に蓄えられた画素情報を基にデモザイク処理等を実行する。
デモザイク処理とは、単色の色情報しか持たない各画素の信号に対して、その周辺画素の信号から足りない色情報を集め与えることで色情報を補完してフルカラー画像を作り出す処理である。

（単位画素の回路構成）
図２は、単位画素２０の回路構成の一例を示す回路図である。
図２に示すように、本実施形態に係る単位画素２０は、光電変換素子、たとえばフォトダイオード２１と、たとえば転送トランジスタ２２、リセットトランジスタ２３、増幅トランジスタ２４および選択トランジスタ２５の４つのトランジスタとを有する。

ここでは、４つのトランジスタ２２〜２５として、たとえばＮチャネルのＭＯＳトランジスタを用いている。ただし、ここで例示した転送トランジスタ２２、リセットトランジスタ２３、増幅トランジスタ２４および選択トランジスタ２５の導電型の組み合わせは一例に過ぎず、これらの組み合わせに限られるものではない。

この単位画素２０に対して、画素駆動線１８として、たとえば、転送線１８１、リセット線１８２および選択線１８３の３本の駆動配線が同一画素行の各画素について共通に配線されている。
これら転送線１８１、リセット線１８２および選択線１８３の各一端は、垂直駆動部１３の各画素行に対応した出力端に、画素行単位で接続されている。

フォトダイオード２１は、アノード電極が負側電源(たとえば、グランド)に接続されており、受光した光をその光量に応じた電荷量の光電荷（ここでは、光電子）に光電変換する。
フォトダイオード２１のカソード電極は、転送トランジスタ２２を介して増幅トランジスタ２４のゲート電極と電気的に接続されている。
増幅トランジスタ２４のゲート電極と電気的に繋がったノード２６をＦＤ（フローティングディフュージョン）部と呼ぶ。

転送トランジスタ２２は、フォトダイオード２１のカソード電極とＦＤ部２６との間に接続されている。
転送トランジスタ２２のゲート電極には、高レベル（たとえば、Ｖｄｄレベル）がアクティブ（以下、「Ｈｉｇｈアクティブ」と記述する）の転送パルスφＴＲＦが転送線１８１を介して与えられる。
転送パルスφＴＲＦが与えられることで、転送トランジスタ２２はオン状態となってフォトダイオード２１で光電変換された光電荷をＦＤ部２６に転送する。

リセットトランジスタ２３は、ドレイン電極が画素電源Ｖｄｄに、ソース電極がＦＤ部２６にそれぞれ接続されている。
リセットトランジスタ２３のゲート電極には、フォトダイオード２１からＦＤ部２６への信号電荷の転送に先立って、ＨｉｇｈアクティブのリセットパルスφＲＳＴがリセット線１８２を介して与えられる。
リセットパルスφＲＳＴが与えられることで、リセットトランジスタ２３はオン状態となり、ＦＤ部２６の電荷を画素電源Ｖｄｄに捨てることによってＦＤ部２６をリセットする。

増幅トランジスタ２４は、ゲート電極がＦＤ部２６に、ドレイン電極が画素電源Ｖｄｄにそれぞれ接続されている。
そして、増幅トランジスタ２４は、リセットトランジスタ２３によってリセットした後のＦＤ部２６の電位をリセット信号（リセットレベル）Ｖｒｅｓｅｔとして出力する。
増幅トランジスタ２４は、転送トランジスタ２２によって信号電荷を転送した後のＦＤ部２６の電位を光蓄積信号（信号レベル）Ｖｓｉｇとして出力する。

選択トランジスタ２５は、たとえば、ドレイン電極が増幅トランジスタ２４のソース電極に、ソース電極が垂直信号線１７にそれぞれ接続されている。
選択トランジスタ２５のゲート電極には、Ｈｉｇｈアクティブの選択パルスφＳＥＬが選択線１８３を介して与えられる。
選択パルスφＳＥＬが与えられることで、選択トランジスタ２５はオン状態となって単位画素２０を選択状態とし、増幅トランジスタ２４から出力される信号を垂直信号線１７に中継する。

なお、選択トランジスタ２５については、画素電源Ｖｄｄと増幅トランジスタ２４のドレインとの間に接続した回路構成を採ることも可能である。

また、単位画素２０としては、上記構成の４つのトランジスタからなる画素構成のものに限られるものではない。
たとえば、増幅トランジスタ２４と選択トランジスタ２５とを兼用した３つのトランジスタからなる画素構成のものなどであっても良く、その画素回路の構成は問わない。

（画素加算）
ところで、一般的に、動画撮像のときにはフレームレートを上げ、高速動画撮像を実現するために、隣接する複数の画素の信号を加算して読み出す画素加算が行われる。
この画素加算については、画素内や、垂直信号線１７上や、カラム処理部１４や、後段の信号処理部などで行うことができる。
ここで、一例として、たとえば２×２の正方配列における上下左右に隣接する４画素の信号を画素内で加算する場合の画素構成について説明する。

図３は、隣接４画素加算を画素内で行う場合の回路構成の一例を示す回路図であり、図中、図２と同等部分には同一符号を付して示している。

図３において、上下左右に隣接する４画素のフォトダイオード２１を、フォトダイオード２１−１，２１−２，２１−３，２１−４とする。
これらフォトダイオード２１−１，２１−２，２１−３，２１−４に対して、４個の転送トランジスタ２２−１，２２−２，２２−３，２２−４が設けられ、リセットトランジスタ２３、増幅トランジスタ２４および選択トランジスタ２５が１個ずつ設けられている。

すなわち、転送トランジスタ２２−１，２２−２，２２−３，２２−４は、各一方の電極がフォトダイオード２１−１，２１−２，２１−３，２１−４の各カソード電極に接続され、各他方の電極が増幅トランジスタ２４のゲート電極に共通に接続されている。
この増幅トランジスタ２４のゲート電極には、フォトダイオード２１−１，２１−２，２１−３，２１−４に対して共通のＦＤ部２６が電気的に接続されている。
リセットトランジスタ２３は、ドレイン電極が画素電源Ｖｄｄに、ソース電極がＦＤ部２６にそれぞれ接続されている。

上記構成の隣接４画素加算に対応した画素構成において、４個の転送トランジスタ２２−１，２２−２，２２−３，２２−４に対して同じタイミングで転送パルスφＴＲＦを与えることで、隣接する４画素間での画素加算を実現できる。
すなわち、フォトダイオード２１−１，２１−２，２１−３，２１−４から転送トランジスタ２２−１，２２−２，２２−３，２２−４によってＦＤ部２６に転送された信号電荷は、ＦＤ部２６において加算（ＦＤ加算」と記述する場合もある）されることになる。

一方、転送トランジスタ２２−１，２２−２，２２−３，２２−４に対して異なるタイミングで転送パルスφＴＲＦを与えることで、画素単位での信号出力も実現できる。
すなわち、動画撮像時には画素加算を行うことによってフレームレートの向上を図ることができるに対して、静止画撮像時には全画素の信号を独立して読み出すことで、解像度の向上を図ることができる。

［画素配列］
上述したように、画素アレイ部１２は、複数の画素がマトリクス状（行列状）に配置されて構成される。
画素アレイ部１２は、その画素配列として、たとえば図４に示すようなベイヤー配列が採用される。

本実施形態の画素アレイ部１２は、一つの画素がたとえばフォトダイオードにより形成される光電変換素子を含む複数の分割画素セルＤＰＣに分割されている。
具体的には、固体撮像素子（ＣＭＯＳイメージセンサ）１０において、ベイヤー配列の同一色カラーフィルタ下の１画素について、２ケ以上複数個の分割画素セルＤＰＣに分割されている。この場合、感度または蓄積時間を変えて２ケ以上複数個に分割されている分割画素セルＤＰＣは、感度または蓄積時間（露光時間）を変えて分割されることが可能である。

以下の説明では、一つの画素ＤＰＣが４つの分割画素セルＤＰＣ−Ａ〜ＤＰＣ−Ｄに分割されている場合を例に説明する。

図５は、本実施形態に係る画素分割の概念図である。
図５にはベイヤー配列の場合の分割方法が示されており、同じ色フィルタの下にある１画素を４分割した例で、たとえば分割された個々の画素では感度または蓄積時間がそれぞれ異なる。
図５では、一例として、Ｇ（緑）画素ＰＣＧをＤＰＣ−Ａ，ＤＰＣ−Ｂ，ＤＰＣ−Ｃ，ＤＰＣ−Ｄの４つの画素に分割した場合が示されている。たとえばＤＰＣ−ＡとＤＰＣ−Ｂの２つの分割することも可能である。

＜２．本実施形態の特徴的構成＞
本実施形態においては、上記構成を有するＣＭＯＳイメージセンサ１０において、ライトフィールド（Light Field）技術を適用するステレオカメラや単眼３次元（３Ｄ）ステレオカメラに適用可能な固体撮像素子として構成されている。
以下、ステレオカメラや単眼３次元（３Ｄ）ステレオカメラに適用可能な固体撮像素子としての特徴的な構成について具体的に説明する。
なお、以下の説明では、図中に示すＸ−Ｙ座標において、Ｘ方向が第１方向に相当し、Ｙ方向が第２方向に相当し、Ｘ方向を水平方向または横方向といい、Ｙ方向を垂直方向または縦方向という場合もある。

＜２−１．第１の特徴的構成例＞
図６は、本実施形態に係る固体撮像素子（ＣＭＯＳイメージセンサ）の第１の特徴的構成例を示す図である。

図６のＣＭＯＳイメージセンサ１０Ａは、ステレオカメラに適用可能で、ライトフィールド（Light Field）のステレオ版として、マルチレンズアレイ（Multi Lens Array）３４でＬＲ視差分離を行う。
この構成では、水平解像度は１／２になるが、サイドバイサイド（Side by Side）記録方式とマッチすることから有用である。
ここで、Ｌはステレオにおける左（Ｌｅｆｔ）を示し、Ｒはステレオにおける右（Ｒｉｇｈｔ）を示す。

ＣＭＯＳイメージセンサ１０Ａにおいて、画素アレイ部１２Ａは、ベイヤー配列の場合の各画素の分割方法が採用されている。
図６においては、Ｇ画素ＰＣＧ１１−１、Ｒ画素ＰＣＲ１１、Ｇ画素ＰＣＧ１１−２、およびＢ画素ＰＣＢ１１が２×２のベイヤー配列となるように、色フィルタアレイ３３が形成されている。この配列が行列状に形成されている。
図６の例では、一部のみを示し、Ｂ画素ＰＣＢ１１の横方向に隣接して、隣接のベイヤー配列のＧ画素ＰＣＧ１２−１が配置され、Ｇ画素ＰＣＧ１１−２の横方向に隣接して、隣接のベイヤー配列のＲ画素ＰＣＲ１２が配置されている例を示している。
図６の例では、第１行にＧ画素ＰＣＧ１１−１、Ｂ画素ＰＣＢ１１、Ｇ画素ＰＣＧ１２−１が配置され、第２行にＲ画素ＰＣＲ１１、Ｇ画素ＰＣＧ１１−２、Ｒ画素ＰＣＲ１２が配列されている。

そして、図６の例では、各Ｇ画素ＰＣＧ１１−１、Ｒ画素ＰＣＲ１１、Ｇ画素ＰＣＧ１１−２、およびＢ画素ＰＣＢ１１はそれぞれ横方向（Ｘ方向）に２分割されている。

Ｇ画素ＰＣＧ１１−１は、画素ＤＰＣ−ＡＧ１，ＤＰＣ−ＢＧ１の２つの分割画素を含んで構成されている。この例では、分割画素ＤＰＣ−ＡＧ１はステレオのＲ用に割り当てられ、分割画素ＤＰＣ−ＢＧ１がステレオのＬ用に割り当てられている。

Ｒ画素ＰＣＲ１１は、画素ＤＰＣ−ＡＲ１，ＤＰＣ−ＢＲ１の２つの分割画素を含んで構成されている。この例では、分割画素ＤＰＣ−ＡＲ１はステレオのＲ用に割り当てられ、分割画素ＤＰＣ−ＢＲ１がステレオのＬ用に割り当てられている。

Ｂ画素ＰＣＢ１１は、画素ＤＰＣ−ＡＢ１，ＤＰＣ−ＢＢ１の２つの分割画素を含んで構成されている。この例では、分割画素ＤＰＣ−ＡＢ１はステレオのＲ用に割り当てられ、分割画素ＤＰＣ−ＢＢ１がステレオのＬ用に割り当てられている。

Ｇ画素ＰＣＧ１１−２は、画素ＤＰＣ−ＡＧ１，ＤＰＣ−ＢＧ１の２つの分割画素を含んで構成されている。この例では、分割画素ＤＰＣ−ＡＧ１はステレオのＲ用に割り当てられ、分割画素ＤＰＣ−ＢＧ１がステレオのＬ用に割り当てられている。

Ｇ画素ＰＣＧ１２−１は、画素ＤＰＣ−ＡＧ１，ＤＰＣ−ＢＧ１の２つの分割画素を含んで構成されている。この例では、分割画素ＤＰＣ−ＡＧ１はステレオのＲ用に割り当てられ、分割画素ＤＰＣ−ＢＧ１がステレオのＬ用に割り当てられている。

Ｒ画素ＰＣＲ１２は、画素ＤＰＣ−ＡＲ１，ＤＰＣ−ＢＲ１の２つの分割画素を含んで構成されている。この例では、分割画素ＤＰＣ−ＡＲ１はステレオのＲ用に割り当てられ、分割画素ＤＰＣ−ＢＲ１がステレオのＬ用に割り当てられている。

本例では、画素配列の同一列（Ｙ方向の配列）の各分割画素は、同一のステレオ用のＲおよびＬの機能が割り当てられている。
換言すれば、画素配列の同一行（Ｘ方向の配列）の各分割画素は、ステレオ用のＲおよびＬの機能が交互に割り当てられている。

図６に示すように、半導体基板１１には、遮光部ＢＬＤや配線が形成され、その上層に色フィルタアレイ３３が形成され、色フィルタアレイ３３の上層にオンチップレンズ（ＯＣＬ）アレイ３５が形成されている。
オンチップレンズアレイ３５の各オンチップレンズＯＣＬは、画素アレイ部１２Ａにおける各分割画素に対応するように行列状に形成されている。
そして、オンチップレンズアレイ３５の光入射側に対向して、マルチレンズＭＬが行列状に形成されたマルチレンズアレイ３４が配置されている。

図６の例では、マルチレンズアレイ３４の各マルチレンズＭＬの横方向（Ｘ方向）に共有する画素の色が通常の配列と異なり、共有する画素が同色ではなく、異色となるように配置されている。
図６の例では、２つの第１マルチレンズ系ＭＬ１、第２マルチレンズ系ＭＬ２が示されている。
第１マルチレンズ系ＭＬ１は、第１行において、Ｇ画素ＰＣＧ１１−１のステレオのＬ用分割画素ＤＰＣ−ＢＧ１と、Ｇ画素ＰＣＧ１１−１の隣接Ｂ画素ＰＣＢ１１のステレオのＲ用分割画素ＤＰＣ−ＡＢ１とで共有するように配置されている。
同様に、第１マルチレンズ系ＭＬ１は、第２行において、Ｒ画素ＰＣＲ１１のステレオのＬ用分割画素ＤＰＣ−ＢＲ１と、Ｒ画素ＰＣＲ１１の隣接Ｇ画素ＰＣＧ１１−２のステレオのＲ用分割画素ＤＰＣ−ＡＧ１とで共有するように配置されている。
第２マルチレンズ系ＭＬ２は、第１行において、Ｂ画素ＰＣＢ１１のステレオのＬ用分割画素ＤＰＣ−ＢＢ１と、Ｂ画素ＰＣＢ１１の隣接Ｇ画素ＰＣＧ１２−１のステレオのＲ用分割画素ＤＰＣ−ＡＧ１とで共有するように配置されている。
同様に、第２マルチレンズ系ＭＬ２は、第２行において、Ｇ画素ＰＣＧ１１−２のステレオのＬ用分割画素ＤＰＣ−ＢＧ１と、Ｇ画素ＰＣＧ１１−２の隣接Ｒ画素ＰＣＲ１２のステレオのＲ用分割画素ＤＰＣ−ＡＲ１とで共有するように配置されている。

このように、一つのマルチレンズＭＬで共有する色画素を同色ではなく異色とすることでステレオのＬＲの混色（消光比）を、レンズギャップとこの異色分離で改善することが可能となる。

また、縦方向（Ｙ方向）を、ディスクリートレンズＤＳＣＬとするかシリンドリカルレンズＣＹＬＤＬとするかは選択可能である。
オンチップレンズＯＣＬがない場合にはディスクリートレンズＤＳＣＬとすることにより集光率の向上を図ることができる。

なお、図６の例では、２つの分割画素に跨るレンズ形状は、縦方向（Ｙ方向）に隣接する共有される分割画素のレンズとの影響を避けるために、横方向（Ｘ方向）に長い扁平な形状となる。

＜２−２．第２の特徴的構成例＞
図７は、本実施形態に係る固体撮像素子（ＣＭＯＳイメージセンサ）の第２の特徴的構成例を示す図である。

図７のＣＭＯＳイメージセンサ１０Ｂが図６のＣＭＯＳイメージセンサ１０Ａと異なる点は、次の通りである。
図７のＣＭＯＳイメージセンサ１０Ｂは、各画素は２分割ではなく、図５に示すように、２×２の４分割として、縦方向（上下）にも同色フィルタを配置して、同色４画素で視差とワイドダイナミックレンジ（ＷＤＲ）の２条件を配分している。
この構成により、ＣＭＯＳイメージセンサ１０Ｂは、ベイヤー配列の基本とした、ワイドダイナミックレンジ（ＷＤＲ）の単眼３次元（３Ｄ）ステレオカメラに適用可能に構成されている。

上記したように、図７の例では、各Ｇ画素ＰＣＧ１１−１、Ｒ画素ＰＣＲ１１、Ｇ画素ＰＣＧ１１−２、およびＢ画素ＰＣＢ１１はそれぞれ横方向（Ｘ方向）および縦方向（Ｙ方向）に２×２で４分割されている。

Ｇ画素ＰＣＧ１１−１は、画素ＤＰＣ−ＡＧ１，ＤＰＣ−ＢＧ１，ＤＰＣ−ＣＧ１，ＤＰＣ−ＤＧ１の４つの分割画素を含んで構成されている。この例では、分割画素ＤＰＣ−ＡＧ１はステレオのＲ用に割り当てられ、分割画素ＤＰＣ−ＢＧ１がステレオのＬ用に割り当てられている。分割画素ＤＰＣ−ＣＧ１はステレオのＲ用に割り当てられ、分割画素ＤＰＣ−ＤＧ１がステレオのＬ用に割り当てられている。

Ｒ画素ＰＣＲ１１は、画素ＤＰＣ−ＡＲ１，ＤＰＣ−ＢＲ１，ＤＰＣ−ＣＲ１，ＤＰＣ−ＤＲ１の４つの分割画素を含んで構成されている。この例では、分割画素ＤＰＣ−ＡＲ１はステレオのＲ用に割り当てられ、分割画素ＤＰＣ−ＢＲ１がステレオのＬ用に割り当てられている。分割画素ＤＰＣ−ＣＲ１はステレオのＲ用に割り当てられ、分割画素ＤＰＣ−ＤＲ１がステレオのＬ用に割り当てられている。

Ｂ画素ＰＣＢ１１は、画素ＤＰＣ−ＡＢ１，ＤＰＣ−ＢＢ１，ＤＰＣ−ＣＢ１，ＤＰＣ−ＤＢ１の４つの分割画素を含んで構成されている。この例では、分割画素ＤＰＣ−ＡＢ１はステレオのＲ用に割り当てられ、分割画素ＤＰＣ−ＢＢ１がステレオのＬ用に割り当てられている。分割画素ＤＰＣ−ＣＢ１はステレオのＲ用に割り当てられ、分割画素ＤＰＣ−ＤＢ１がステレオのＬ用に割り当てられている。

Ｇ画素ＰＣＧ１１−２は、画素ＤＰＣ−ＡＧ１，ＤＰＣ−ＢＧ１，ＤＰＣ−ＣＧ１，ＤＰＣ−ＤＧ１の４つの分割画素を含んで構成されている。この例では、分割画素ＤＰＣ−ＡＧ１はステレオのＲ用に割り当てられ、分割画素ＤＰＣ−ＢＧ１がステレオのＬ用に割り当てられている。分割画素ＤＰＣ−ＣＧ１はステレオのＲ用に割り当てられ、分割画素分割画素ＤＰＣ−ＤＧ１がステレオのＬ用に割り当てられている。

Ｇ画素ＰＣＧ１２−１は、画素ＤＰＣ−ＡＧ１，ＤＰＣ−ＢＧ１，ＤＰＣ−ＣＧ１，ＤＰＣ−ＤＧ１の４つの分割画素を含んで構成されている。この例では、分割画素ＤＰＣ−ＡＧ１はステレオのＲ用に割り当てられ、分割画素ＤＰＣ−ＢＧ１がステレオのＬ用に割り当てられている。分割画素ＤＰＣ−ＣＧ１はステレオのＲ用に割り当てられ、分割画素ＤＰＣ−ＤＧ１がステレオのＬ用に割り当てられている。

Ｒ画素ＰＣＲ１２は、画素ＤＰＣ−ＡＲ１，ＤＰＣ−ＢＲ１，ＤＰＣ−ＣＲ１，ＤＰＣ−ＤＲ１の４つの分割画素を含んで構成されている。この例では、分割画素ＤＰＣ−ＡＲ１はステレオのＲ用に割り当てられ、分割画素ＤＰＣ−ＢＲ１がステレオのＬ用に割り当てられている。分割画素ＤＰＣ−ＣＲ１はステレオのＲ用に割り当てられ、分割画素ＤＰＣ−ＤＲ１がステレオのＬ用に割り当てられている。

本例においても、画素配列の同一列（Ｙ方向の配列）の各分割画素は、同一のステレオ用のＲおよびＬの機能が割り当てられている。
換言すれば、画素配列の同一行（Ｘ方向の配列）の各分割画素は、ステレオ用のＲおよびＬの機能が交互に割り当てられている。

図７においては、半導体基板１１部分は図面の簡略化のため省略されて、マルチレンズアレイ３４のみが示されている。

本例においても、マルチレンズアレイ３４の各マルチレンズＭＬの横方向（Ｘ方向）に共有する画素の色が通常の配列と異なり、共有する画素が同色ではなく、異色となるように配置されている。
図７の例でも、２つの第１マルチレンズ系ＭＬ１、第２マルチレンズ系ＭＬ２が示されている。
第１マルチレンズ系ＭＬ１は、第１行において、Ｇ画素ＰＣＧ１１−１のステレオのＬ用分割画素ＤＰＣ−ＢＧ１と、Ｇ画素ＰＣＧ１１−１の隣接Ｂ画素ＰＣＢ１１のステレオのＲ用分割画素ＤＰＣ−ＡＢ１とで共有するように配置されている。
第１マルチレンズ系ＭＬ１は、第２行において、Ｇ画素ＰＣＧ１１−１のステレオのＬ用分割画素ＤＰＣ−ＤＧ１と、Ｇ画素ＰＣＧ１１−１の隣接Ｂ画素ＰＣＢ１１のステレオのＲ用分割画素ＤＰＣ−ＣＢ１とで共有するように配置されている。
第１マルチレンズ系ＭＬ１は、第３行において、Ｒ画素ＰＣＲ１１のステレオのＬ用分割画素ＤＰＣ−ＢＲ１と、Ｒ画素ＰＣＲ１１の隣接Ｇ画素ＰＣＧ１１−２のステレオのＲ用分割画素ＤＰＣ−ＡＧ１とで共有するように配置されている。
第１マルチレンズ系ＭＬ１は、第４行において、Ｒ画素ＰＣＲ１１のステレオのＬ用分割画素ＤＰＣ−ＤＲ１と、Ｒ画素ＰＣＲ１１の隣接Ｇ画素ＰＣＧ１１−２のステレオのＲ用分割画素ＤＰＣ−ＣＧ１とで共有するように配置されている。

第２マルチレンズ系ＭＬ２は、第１行において、Ｂ画素ＰＣＢ１１のステレオのＬ用分割画素ＤＰＣ−ＢＢ１と、Ｂ画素ＰＣＢ１１１の隣接Ｇ画素ＰＣＧ１２−１のステレオのＲ用分割画素ＤＰＣ−ＡＧ１とで共有するように配置されている。
第２マルチレンズ系ＭＬ２は、第２行において、Ｂ画素ＰＣＢ１１のステレオのＬ用分割画素ＤＰＣ−ＤＢ１と、Ｂ画素ＰＣＢ１１の隣接Ｇ画素ＰＣＧ１２−１のステレオのＲ用分割画素ＤＰＣ−ＣＧ１とで共有するように配置されている。
第２マルチレンズ系ＭＬ２は、第３行において、Ｇ画素ＰＣＧ１１−２のステレオのＬ用分割画素ＤＰＣ−ＢＧ１と、Ｇ画素ＰＣＧ１１−２の隣接Ｒ画素ＰＣＲ１２のステレオのＲ用分割画素ＤＰＣ−ＡＢ１とで共有するように配置されている。
第２マルチレンズ系ＭＬ２は、第４行において、Ｇ画素ＰＣＧ１１−２のステレオのＬ用分割画素ＤＰＣ−ＤＧ１と、Ｇ画素ＰＣＧ１１−２の隣接Ｒ画素ＰＣＲ１２のステレオのＲ用分割画素ＤＰＣ−ＣＲ１とで共有するように配置されている。

このように、図７の例では図６の例と同様に、一つのマルチレンズＭＬで共有する色画素を同色ではなく異色とすることでステレオのＬＲの混色（消光比）を、レンズギャップとこの異色分離で改善することが可能となる。

また、縦方向（Ｙ方向）を、ディスクリートレンズＤＳＣＬとするかシリンドリカルレンズＣＹＬＤＬとするかは選択可能である。
オンチップレンズＯＣＬがない場合にはディスクリートレンズＤＳＣＬとすることにより集光率の向上を図ることができる。

なお、図７の例においても、２つの分割画素に跨るレンズ形状は、縦方向（Ｙ方向）に隣接する共有される分割画素のレンズとの影響を避けるために、横方向（Ｘ方向）に長い扁平な形状となる。

そして、図７の例では、ワイドダイナミックレンジを得るために、画素の行配列において行毎に交互に、低感度と高感度となるように構成されている。
ワイドダイナミックレンジを得る、低感度画素と高感度画素の構成は、シャッタ等による露光制御および、色フィルタの透過率を変えるデバイス構造のいずれも採用することが可能である。

このＣＭＯＳイメージセンサ１０Ｂは、携帯電話機等の携帯電子機器のフェース・カメラなどに適用可能である。携帯電子機器のフェース・カメラなどは、空が背景（バックグランド）に入ることと、顔が近距離なので、単眼でＷＤＲが最適である。
携帯電子機器では、深度（Ｄｅｐｔｈ）情報によるユーザインターフェース（ＵＩ）にも利用できる。

＜２−３．第３の特徴的構成例＞
図８は、本実施形態に係る固体撮像素子（ＣＭＯＳイメージセンサ）の第３の特徴的構成例を示す図である。

図８のＣＭＯＳイメージセンサ１０Ｃが図７のＣＭＯＳイメージセンサ１０Ｂと異なる点は、次の通りである。
ＣＭＯＳイメージセンサ１０Ｃでは、低感度と高感度を行毎に交互に、低感度と高感度となるように構成される代わりに、各行でＬ用画素とＲ用画素を低感度と高感度に設定し、かつ１行毎にＬ用画素とＲ用画素の感度を入れ替えている。

第１行では、Ｌ用分割画素が高感度とされ、Ｒ用分割画素が低感度とされている。
第２行では、Ｌ用分割画素が低感度とされ、Ｒ用分割画素が高感度とされている。
第３行では、Ｌ用分割画素が高感度とされ、Ｒ用分割画素が低感度とされている。
第４行では、Ｌ用分割画素が低感度とされ、Ｒ用分割画素が高感度とされている。

図８の例では、各色での低感度ＬＲ画像と、高感度ＬＲ画像の合成時の重心が中央で一致するため、ワイドダイナミックレンズ（ＷＤＲ）時の空間位相の線形性が保たれ、解像度への悪影響が出にくくなる。

＜２−４．第４の特徴的構成例＞
図９は、本実施形態に係る固体撮像素子（ＣＭＯＳイメージセンサ）の第４の特徴的構成例を示す図である。

図９のＣＭＯＳイメージセンサ１０Ｄが図７のＣＭＯＳイメージセンサ１０Ｂと異なる点は、行毎にＬ用画素とＲ用画素を入れ替えていることにある。

Ｇ画素ＰＣＧ１１−１において、分割画素ＤＰＣ−ＡＧ１はステレオのＲ用に割り当てられ、分割画素ＤＰＣ−ＢＧ１がステレオのＬ用に割り当てられている。分割画素ＤＰＣ−ＣＧ１はステレオのＬ用に割り当てられ、分割画素ＤＰＣ−ＤＧ１がステレオのＲ用に割り当てられている。

Ｒ画素ＰＣＲ１１において、分割画素ＤＰＣ−ＡＲ１はステレオのＲ用に割り当てられ、分割画素ＤＰＣ−ＢＲ１がステレオのＬ用に割り当てられている。分割画素ＤＰＣ−ＣＲ１はステレオのＬ用に割り当てられ、分割画素ＤＰＣ−ＤＲ１がステレオのＲ用に割り当てられている。

Ｂ画素ＰＣＢ１１において、分割画素ＤＰＣ−ＡＢ１はステレオのＲ用に割り当てられ、分割画素ＤＰＣ−ＢＢ１がステレオのＬ用に割り当てられている。分割画素ＤＰＣ−ＣＢ１はステレオのＬ用に割り当てられ、分割画素ＤＰＣ−ＤＢ１がステレオのＲ用に割り当てられている。

Ｇ画素ＰＣＧ１１−２において、分割画素ＤＰＣ−ＡＧ１はステレオのＲ用に割り当てられ、分割画素ＤＰＣ−ＢＧ１がステレオのＬ用に割り当てられている。分割画素ＤＰＣ−ＣＧ１はステレオのＬ用に割り当てられ、分割画素分割画素ＤＰＣ−ＤＧ１がステレオのＲ用に割り当てられている。

Ｇ画素ＰＣＧ１２−１において、分割画素ＤＰＣ−ＡＧ１はステレオのＲ用に割り当てられ、分割画素ＤＰＣ−ＢＧ１がステレオのＬ用に割り当てられている。分割画素ＤＰＣ−ＣＧ１はステレオのＬ用に割り当てられ、分割画素ＤＰＣ−ＤＧ１がステレオのＲ用に割り当てられている。

Ｒ画素ＰＣＲ１２において、分割画素ＤＰＣ−ＡＲ１はステレオのＲ用に割り当てられ、分割画素ＤＰＣ−ＢＲ１がステレオのＬ用に割り当てられている。分割画素ＤＰＣ−ＣＲ１はステレオのＬ用に割り当てられ、分割画素ＤＰＣ−ＤＲ１がステレオのＲ用に割り当てられている。

図９の例では、縦方向（Ｙ方向）に隣接する共有分割画素が、ＬとＲが半周期ずれていることから、マルチレンズＭＬの配置可能領域が広がることになり、マルチレンズＭＬの形状を扁平ではなくより円形に近づけることができ、レンズ形成が容易になる。

＜２−５．第５の特徴的構成例＞
図１０（Ａ）〜（Ｃ）は、本実施形態に係る固体撮像素子（ＣＭＯＳイメージセンサ）の第５の特徴的構成例を示す図である。

図１０のＣＭＯＳイメージセンサ１０Ｅの特徴は、基本的にジグザグ配列ではなく正方配列（長方配列）であるが、行毎にＬ用画素とＲ用画素を入れ替えていることにある。
本ＣＭＯＳイメージセンサ１０Ｅでは、行毎にＬ用画素とＲ用画素を入れ替えていることに加えて、第１列、第３列、第５列、第７列がＧ画素のみのＧ画素ストライプになっている。
そして、各Ｇ画素ＰＣＧはＸ方向に隣接するＲ画素ＰＣＲまたはＢ画素ＰＣＢとステレオのＬ側画素またはＲ側画素として機能するように、マルチレンズＭＬが配置されている。
ここでは、簡単化のため、Ｇ画素は符号ＰＣＧで、Ｂ画素は符号ＰＣＢで、Ｒ画素は符号ＰＣＲで示している。

この構成では、マルチレンズアレイ３４の各マルチレンズＭＬの横方向（Ｘ方向）に共有する画素の色が通常の配列と異なり、共有する画素が同色ではなく、異色となるように配置されている。

図１０（Ａ）の例において、偶数行である第２行および第４行のＧ画素ＰＣＧはステレオのＬ用の画素（分割画素）として割り当てられている。
これに対応して、これらＧ画素ＰＣＧとマルチレンズＭＬを共有するＢ画素ＰＣＢまたはＲ画素ＰＣＲはステレオのＲ用の画素（分割画素）として割り当てられる。
図１０（Ａ）の例において、奇数行である第３行および第５行のＧ画素ＰＣＧはステレオのＲ用の画素（分割画素）として割り当てられている。
これに対応して、これらＧ画素ＰＣＧとマルチレンズＭＬを共有するＢ画素ＰＣＢまたはＲ画素ＰＣＲはステレオのＬ用の画素（分割画素）として割り当てられる。

図１０（Ａ）の画素配列を基準にして、たとえば図１０（Ｂ）に示すように、Ｌ視差画素だけで、いわゆるベイヤーハニカム（ジグザグ）配列を実現することが可能である。
また、図１０（Ａ）の画素配列を基準にして、たとえば図１０（Ｃ）に示すように、Ｒ視差画素だけで、ベイヤーハニカム配列を実現することが可能である。
これらの構成においては、Ｙ方向のＬ用画素とＲ用画素の加算で２Ｄ（次元）ジグザグベイヤー配列となる。この場合、同一垂直信号線における加算であることから、加算処理が容易となる。

図１０の例においても、一つのマルチレンズＭＬで共有する色画素を同色ではなく異色とすることでステレオのＬＲの混色（消光比）を、レンズギャップとこの異色分離で改善することが可能となる。

そして、図１０の例では、縦方向（Ｙ方向）に隣接する共有分割画素が、ＬとＲが半周期ずれていることから、マルチレンズＭＬの配置可能領域が広がることになり、マルチレンズＭＬの形状を扁平ではなくより円形に近づけることができレンズ形成が容易になる。

＜２−６．第６の特徴的構成例＞
図１１（Ａ）〜（Ｃ）は、本実施形態に係る固体撮像素子（ＣＭＯＳイメージセンサ）の第６の特徴的構成例を示す図である。

図１１のＣＭＯＳイメージセンサ１０Ｆは、基本的にジグザグ配列ではなく正方配列（長方配列）であるが、行毎にＬ用画素とＲ用画素を入れ替えていることにある。
本ＣＭＯＳイメージセンサ１０Ｆでは、行毎にＬ用画素とＲ用画素を入れ替えていることに加えて、第２行、第４行がＧ画素のみのＧ画素ストライプになっている。
そして、各Ｇ画素ＰＣＧはＸ方向に隣接するＲ画素ＰＣＲまたはＢ画素ＰＣＢとステレオのＬ側画素またはＲ側画素として機能するように、マルチレンズＭＬが配置されている。
ここでは、簡単化のため、Ｇ画素は符号ＰＣＧで、Ｂ画素は符号ＰＣＢで、Ｒ画素は符号ＰＣＲで示している。

この構成では、第１行、第３行、第５行においてマルチレンズアレイ３４の各マルチレンズＭＬの横方向（Ｘ方向）に共有する画素の色が通常の配列と異なり、共有する画素が同色ではなく、異色となるように配置されている。
すなわち、第１行、第３行、第５行においては、Ｘ方向に隣接するＢ画素ＰＣＢとＲ画素がマルチレンズＭＬを共有し、かつ一方がステレオのＬ用も画素（分割画素）として割り当てられ、他方がＲ用も画素（分割画素）として割り当てられている。
そして、第２行および第４行においては、隣接する同色のＧ画素ＰＣＧがマルチレンズＭＬを共有し、かつ一方がステレオのＬ用も画素（分割画素）として割り当てられ、他方がＲ用も画素（分割画素）として割り当てられている。

図１１（Ａ）の画素配列を基準にして、たとえば図１１（Ｂ）に示すように、Ｌ視差画素だけで、いわゆるベイヤーハニカム（ジグザグ）配列を実現することが可能である。
また、図１１（Ａ）の画素配列を基準にして、たとえば図１１（Ｃ）に示すように、Ｒ視差画素だけで、ベイヤーハニカム配列を実現することが可能である。

図１１の例においても、一つのマルチレンズＭＬで共有する色画素を同色ではなく異色とすることでステレオのＬＲの混色（消光比）を、レンズギャップとこの異色分離で改善することが可能となる。

そして、図１１の例では、縦方向（Ｙ方向）に隣接する共有分割画素が、ＬとＲが半周期ずれていることから、マルチレンズＭＬの配置可能領域が広がることになり、マルチレンズＭＬの形状を扁平ではなくより円形に近づけることができレンズ形成が容易になる。

図１１の例においても、縦方向（Ｙ方向）に隣接する共有分割画素が、ＬとＲが半周期ずれていることから、マルチレンズＭＬの配置可能領域が広がることになり、マルチレンズＭＬの形状を扁平ではなくより円形に近づけることができ、レンズ形成が容易になる。

＜２−７．第７の特徴的構成例＞
図１２は、本実施形態に係る固体撮像素子（ＣＭＯＳイメージセンサ）の第７の特徴的構成例を示す図である。

図１２のＣＭＯＳイメージセンサ１０Ｇは、Ｌ用画素とＲ画像の混色（消光比）を改善するために、光軸ＯＸの変化に合わせたオンチップレンズＯＣＬとマルチレンズアレイ（ＭＬＡ）３４の瞳補正を施すこともできることを示している。

＜２−８．第８の特徴的構成例＞
図１３は、本実施形態に係る固体撮像素子（ＣＭＯＳイメージセンサ）の第８の特徴的構成例を示す図である。

図１３のＣＭＯＳイメージセンサ１０Ｈは、ベイヤー配列ではなく、白（Ｗｈｉｔｅ）画素ＰＣＷを用いた画素配列を採用可能であることを示している。
ここで、白画素も色画素に含まれる。

＜３．適用可能な単眼３Ｄステレオカメラの構成例＞
図１４は、本実施形態に係る固体撮像素子（ＣＭＯＳイメージセンサ）の適用される単眼３Ｄステレオカメラの構成例を示す図である。
単眼３Ｄステレオカメラ１００は、基本的に、マルチレンズアレイ３４の被写体側に結像レンズ１１１を含む光学系１１０が配置される。
光学系１１０には、ズームレンズが配置されてもよい。

以上説明したように、本実施形態によれば、以下の効果を得ることができる。
本実施形態によれば、ライトフィールド（Light Field）のステレオ版として、マルチレンズアレイ（Multi Lens Array）３４でＬＲ視差分離を行う。
そして、少なくとも一部において、一つのマルチレンズＭＬで共有する色画素を同色ではなく異色とすることでステレオのＬＲの混色（消光比）を、レンズギャップとこの異色分離で改善することが可能となる。
また、同色４画素で、視差とワイドダイナミックレンジの２条件を配分する。このことにより、１／４に記録情報が減ってもいいことを前提にすると、Ｑｕａｄ型４画素同色配列のセンサに関して、１条件を高感度・低感度のＷＤＲに用い、もう１条件をＬＲ視差に用いることで、単眼でステレオのＷＤＲ画像を得ることができる。
すなわち、本実施形態によれば、複雑な構造と複雑な信号処理を必要とすることなく、単眼でステレオのワイドダイナミックレンジ（ＷＤＲ）画像を得ることができる。
また、安価にワイドダイナミックレンジ（ＷＤＲ）とＬＲ視差を両立できる。

図１５は、本実施形態に係る固体撮像素子（ＣＭＯＳイメージセンサ）を適用した単眼３Ｄステレオカメラにおける像高変化量の被写体距離依存性を示す図である。
図１５において、横軸が被写体距離（ｍｍ）を、縦軸が像高変化量（μｍ）をそれぞれ示している。
この場合、フォーカス点３ｍにおける像高変化量の被写体距離依存性を示す。
このカメラでは、１．１２μｍ微細画素ピッチでも、１．５ｍ以内でないと、視差画像の離性が良くないことを示す。
したがって、本実施形態に係る固体撮像素子を搭載した単眼３Ｄステレオカメラは、ステレオの用途として、近距離撮影に向いていると言える。
したがって、上述したように、携帯電子機器のフェース・カメラには最適である。

図１６（Ａ），（Ｂ），（Ｃ）は、本実施形態に係る固体撮像素子（ＣＭＯＳイメージセンサ）を適用した単眼３Ｄステレオカメラにおける被写体距離に対する結像変化量を示す図である。
図１６（Ａ），（Ｂ），（Ｃ）において、横軸が被写体距離（ｍｍ）を、縦軸が像高変化量（μｍ）をそれぞれ示している。
図１６（Ａ）は画角依存性を、図１６（Ｂ）はＦ値依存性を、図１６（Ｃ）はズーム依存性をそれぞれ示している。
ここでは、消光比は∞であり、焦点距離ｆが２８ｍｍ程度の広角では、３／２inch以下の小判の単眼視差は３ｍ以上で取れない。
図１６の例ではズームが最も効果的であることがわかる。

なお、本実施形態においては、画素配列を正方配列として説明したが、ＲＧＢベイヤー配列等を４５度回転させた市松配列を採用することも可能である。

このような効果を有する固体撮像素子は、デジタルカメラやビデオカメラの撮像デバイスとして適用することができる。

＜４．カメラシステムの構成例＞
図１７は、本実施形態に係る固体撮像素子が適用されるカメラシステムの構成の一例を示す図である。

本カメラシステム２００は、図１７に示すように、本実施形態に係るＣＭＯＳイメージセンサ（固体撮像素子）１０，１０Ａ〜１０Ｈが適用可能な撮像デバイス２１０を有する。
カメラシステム２００は、この撮像デバイス２１０の画素領域に入射光を導く（被写体像を結像する）光学系、たとえば入射光（像光）を撮像面上に結像させるレンズ２２０を有する。
カメラシステム２００は、撮像デバイス２１０を駆動する駆動回路(ＤＲＶ)２３０と、撮像デバイス２１０の出力信号を処理する信号処理回路(ＰＲＣ)２４０と、を有する。

駆動回路２３０は、撮像デバイス２１０内の回路を駆動するスタートパルスやクロックパルスを含む各種のタイミング信号を生成するタイミングジェネレータ(図示せず)を有し、所定のタイミング信号で撮像デバイス２１０を駆動する。

また、信号処理回路２４０は、撮像デバイス２１０の出力信号に対して所定の信号処理を施す。
信号処理回路２４０で処理された画像信号は、たとえばメモリなどの記録媒体に記録される。記録媒体に記録された画像情報は、プリンタなどによってハードコピーされる。また、信号処理回路２４０で処理された画像信号を液晶ディスプレイ等からなるモニターに動画として映し出される。

上述したように、デジタルスチルカメラ等の撮像装置において、撮像デバイス２１０として、先述した固体撮像素子１０，１０Ａ〜１０Ｈを搭載することで、低消費電力で、高精度なカメラが実現できる。

なお、本技術は、以下のような構成もとることができる。
（１）複数の色画素が第１方向および当該第１方向に直交する第２方向に行列状に配列された画素アレイ部と、
複数の上記色画素に跨って光を入射するマルチレンズが配列されたマルチレンズアレイと、を有し、
上記画素アレイ部の各色画素は、
上記第１方向および上記第２方向に少なくとも一方向に隣接する色画素がステレオのＬ用画素とＲ用画素に割り当てられ、
上記マルチレンズアレイは、
上記第１方向において、少なくとも一部が互いに隣接する色の異なる異色画素に跨って光を入射するように配置されている
固体撮像素子。
（２）上記画素アレイ部の隣接する複数の色画素または一つの上記色画素が、
光感度または電荷の蓄積量の異なる領域に分割された複数の分割画素を含んで形成され、
上記各分割画素がステレオのＬ用画素とＲ用画素に割り当てられ、
上記マルチレンズアレイは、
上記第１方向において、少なくとも一部が互いに隣接する色の異なる異色分割画素に跨って光を入射するように配置されている
上記（１）記載の固体撮像素子。
（３）上記色画素は、
少なくとも上記第１方向に複数の分割画素が形成され
隣接する分割画素がステレオのＬ用画素とＲ用画素に割り当てられている
上記（２）記載の固体撮像素子。
（４）上記色画素は、
上記第１方向および上記第２方向に正方配列となるように複数の分割画素を含んで形成され、
色画素の行列配列において行毎に交互に、低感度と高感度となるように形成されている
上記（３）記載の固体撮像素子。
（５）色画素の行列配列において、同一列で分割画素がステレオの同一のＬ用画素またはＲ用画素となるように割り当てられ、当該列の隣接列で分割画素がステレオの同一のＲ用画素またはＬ用画素となるように割り当てられている
上記（３）または（４）記載の固体撮像素子。
（６）上記第１方向および上記第２方向に隣接する分割画素がステレオの異なるＬ用画素とＲ用画素となるように割り当てられている
上記（４）記載の固体撮像素子。
（７）色画素の行列配列において、同一行で分割画素がステレオのＬ用画素が高感度または低感度で、Ｒ用画素が低感度または高感度となるように形成され、当該行の隣接列で分割画素がステレオのＬ用画素が低感度または高感度で、Ｒ用画素が高感度または低感度となるように形成されている
上記（４）記載の固体撮像素子。
（８）上記画素アレイ部は、
受光部上に配置された色フィルタアレイと、
色フィルタアレイ上に各一つの分割画素に対応するように形成されたオンチップレンズアレイと、を有し、
上記マルチレンズアレイは、
上記オンチップレンズアレイの光入射側に配置され、
上記マルチレンズとオンチップレンズは、光軸の変化に合わせて瞳補正が施されている
上記（２）から（７）のいずれか一に記載の固体撮像素子。
（９）固体撮像素子と、
上記固体撮像素子に被写体像を結像する光学系と、を有し、
上記固体撮像素子は、
複数の色画素が第１方向および当該第１方向に直交する第２方向に行列状に配列された画素アレイ部と、
複数の上記色画素に跨って光を入射するマルチレンズが配列されたマルチレンズアレイと、を有し、
上記画素アレイ部の各色画素は、
上記第１方向および上記第２方向に少なくとも一方向に隣接する色画素がステレオのＬ用画素とＲ用画素に割り当てられ、
上記マルチレンズアレイは、
上記第１方向において、少なくとも一部が互いに隣接する色の異なる異色画素に跨って光を入射するように配置されている
カメラシステム。
（１０）上記画素アレイ部の隣接する複数の色画素または一つの上記色画素が、
光感度または電荷の蓄積量の異なる領域に分割された複数の分割画素を含んで形成され、
上記各分割画素がステレオのＬ用画素とＲ用画素に割り当てられ、
上記マルチレンズアレイは、
上記第１方向において、少なくとも一部が互いに隣接する色の異なる異色分割画素に跨って光を入射するように配置されている
上記（９）記載のカメラシステム。
（１１）上記色画素は、
少なくとも上記第１方向に複数の分割画素が形成され
隣接する分割画素がステレオのＬ用画素とＲ用画素に割り当てられている
上記（１０）記載のカメラシステム。
（１２）上記色画素は、
上記第１方向および上記第２方向に正方配列となるように複数の分割画素を含んで形成され、
色画素の行列配列において行毎に交互に、低感度と高感度となるように形成されている
上記（１１）記載のカメラシステム。
（１３）色画素の行列配列において、同一列で分割画素がステレオの同一のＬ用画素またはＲ用画素となるように割り当てられ、当該列の隣接列で分割画素がステレオの同一のＲ用画素またはＬ用画素となるように割り当てられている
上記（１１）または（１２）記載のカメラシステム。
（１４）上記第１方向および上記第２方向に隣接する分割画素がステレオの異なるＬ用画素とＲ用画素となるように割り当てられている
上記（１２）記載のカメラシステム。
（１５）色画素の行列配列において、同一行で分割画素がステレオのＬ用画素が高感度または低感度で、Ｒ用画素が低感度または高感度となるように形成され、当該行の隣接列で分割画素がステレオのＬ用画素が低感度または高感度で、Ｒ用画素が高感度または低感度となるように形成されている
上記（１２）記載のカメラシステム。
（１６）上記画素アレイ部は、
受光部上に配置された色フィルタアレイと、
色フィルタアレイ上に各一つの分割画素に対応するように形成されたオンチップレンズアレイと、を有し、
上記マルチレンズアレイは、
上記オンチップレンズアレイの光入射側に配置され、
上記マルチレンズとオンチップレンズは、光軸の変化に合わせて瞳補正が施されている
上記（１０）から（１５）のいずれか一に記載のカメラシステム。

１０，１０Ａ〜１０Ｈ・・・固体撮像素子（ＣＭＯＳイメージセンサ）、１１・・・半導体基板（センサチップ）、１２・・・画素アレイ部、１３・・・垂直駆動部、１４・・・カラム処理部、１５・・・水平駆動部、１６・・・システム制御部、２０・・・単位画素、２１・・・フォトダイオード、２２・・・転送トランジスタ、２３・・・リセットトランジスタ、２４・・・増幅トランジスタ、２５・・・選択トランジスタ、２６・・・ＦＤ（フローティングディフュージョン）部、３１・・・ＤＳＰ回路、３２・・・画像メモリ、３３…色フィルタアレイ、３４…マルチレンズアレイ、ＯＣＬ・・・オンチップレンズ、ＭＬ，ＭＬ１，ＭＬ２・・・マルチレンズ、ＤＰＣ−Ａ〜ＤＰＣ−Ｄ・・・分割画素、２００・・・カメラシステム、２１０・・・撮像デバイス、２２０・・・レンズ、２３０・・・駆動回路、２４０・・・信号処理回路。

Claims (16)

1. 複数の色画素が第１方向および当該第１方向に直交する第２方向に行列状に配列された画素アレイ部と、
   複数の上記色画素に跨って光を入射するマルチレンズが配列されたマルチレンズアレイと、を有し、
   上記画素アレイ部の各色画素は、
   上記第１方向および上記第２方向に少なくとも一方向に隣接する色画素がステレオのＬ用画素とＲ用画素に割り当てられ、
   上記マルチレンズアレイは、
   上記第１方向において、少なくとも一部が互いに隣接する色の異なる異色画素に跨って光を入射するように配置されている
   固体撮像素子。
2. 上記画素アレイ部の隣接する複数の色画素または一つの上記色画素が、
   光感度または電荷の蓄積量の異なる領域に分割された複数の分割画素を含んで形成され、
   上記各分割画素がステレオのＬ用画素とＲ用画素に割り当てられ、
   上記マルチレンズアレイは、
   上記第１方向において、少なくとも一部が互いに隣接する色の異なる異色分割画素に跨って光を入射するように配置されている
   請求項１記載の固体撮像素子。
3. 上記色画素は、
   少なくとも上記第１方向に複数の分割画素が形成され
   隣接する分割画素がステレオのＬ用画素とＲ用画素に割り当てられている
   請求項２記載の固体撮像素子。
4. 上記色画素は、
   上記第１方向および上記第２方向に正方配列となるように複数の分割画素を含んで形成され、
   色画素の行列配列において行毎に交互に、低感度と高感度となるように形成されている
   請求項３記載の固体撮像素子。
5. 色画素の行列配列において、同一列で分割画素がステレオの同一のＬ用画素またはＲ用画素となるように割り当てられ、当該列の隣接列で分割画素がステレオの同一のＲ用画素またはＬ用画素となるように割り当てられている
   請求項４記載の固体撮像素子。
6. 上記第１方向および上記第２方向に隣接する分割画素がステレオの異なるＬ用画素とＲ用画素となるように割り当てられている
   請求項４記載の固体撮像素子。
7. 色画素の行列配列において、同一行で分割画素がステレオのＬ用画素が高感度または低感度で、Ｒ用画素が低感度または高感度となるように形成され、当該行の隣接列で分割画素がステレオのＬ用画素が低感度または高感度で、Ｒ用画素が高感度または低感度となるように形成されている
   請求項４記載の固体撮像素子。
8. 上記画素アレイ部は、
   受光部上に配置された色フィルタアレイと、
   色フィルタアレイ上に各一つの分割画素に対応するように形成されたオンチップレンズアレイと、を有し、
   上記マルチレンズアレイは、
   上記オンチップレンズアレイの光入射側に配置され、
   上記マルチレンズとオンチップレンズは、光軸の変化に合わせて瞳補正が施されている
   請求項２記載の固体撮像素子。
9. 固体撮像素子と、
   上記固体撮像素子に被写体像を結像する光学系と、を有し、
   上記固体撮像素子は、
   複数の色画素が第１方向および当該第１方向に直交する第２方向に行列状に配列された画素アレイ部と、
   複数の上記色画素に跨って光を入射するマルチレンズが配列されたマルチレンズアレイと、を有し、
   上記画素アレイ部の各色画素は、
   上記第１方向および上記第２方向に少なくとも一方向に隣接する色画素がステレオのＬ用画素とＲ用画素に割り当てられ、
   上記マルチレンズアレイは、
   上記第１方向において、少なくとも一部が互いに隣接する色の異なる異色画素に跨って光を入射するように配置されている
   カメラシステム。
10. 上記画素アレイ部の隣接する複数の色画素または一つの上記色画素が、
    光感度または電荷の蓄積量の異なる領域に分割された複数の分割画素を含んで形成され、
    上記各分割画素がステレオのＬ用画素とＲ用画素に割り当てられ、
    上記マルチレンズアレイは、
    上記第１方向において、少なくとも一部が互いに隣接する色の異なる異色分割画素に跨って光を入射するように配置されている
    請求項９記載のカメラシステム。
11. 上記色画素は、
    少なくとも上記第１方向に複数の分割画素が形成され
    隣接する分割画素がステレオのＬ用画素とＲ用画素に割り当てられている
    請求項１０記載のカメラシステム。
12. 上記色画素は、
    上記第１方向および上記第２方向に正方配列となるように複数の分割画素を含んで形成され、
    色画素の行列配列において行毎に交互に、低感度と高感度となるように形成されている
    請求項１１記載のカメラシステム。
13. 色画素の行列配列において、同一列で分割画素がステレオの同一のＬ用画素またはＲ用画素となるように割り当てられ、当該列の隣接列で分割画素がステレオの同一のＲ用画素またはＬ用画素となるように割り当てられている
    請求項１２記載のカメラシステム。
14. 上記第１方向および上記第２方向に隣接する分割画素がステレオの異なるＬ用画素とＲ用画素となるように割り当てられている
    請求項１２記載のカメラシステム。
15. 色画素の行列配列において、同一行で分割画素がステレオのＬ用画素が高感度または低感度で、Ｒ用画素が低感度または高感度となるように形成され、当該行の隣接列で分割画素がステレオのＬ用画素が低感度または高感度で、Ｒ用画素が高感度または低感度となるように形成されている
    請求項１２記載のカメラシステム。
16. 上記画素アレイ部は、
    受光部上に配置された色フィルタアレイと、
    色フィルタアレイ上に各一つの分割画素に対応するように形成されたオンチップレンズアレイと、を有し、
    上記マルチレンズアレイは、
    上記オンチップレンズアレイの光入射側に配置され、
    上記マルチレンズとオンチップレンズは、光軸の変化に合わせて瞳補正が施されている
    請求項１１記載のカメラシステム。

Images