JP2014086743A - 固体撮像素子、撮像装置、および信号処理方法 - Google Patents

Abstract

【課題】赤外光画像の生成に適した高感度のカラー撮像技術を提供する。
【解決手段】可視光に含まれる色成分の一部を第１の色成分Ｃ１、他の一部を第２の色成分Ｃ２、第２の色成分の補色成分を第３の色成分Ｃ３、第１の色成分の補色成分を第４の色成分Ｃ４とするとき、分光要素アレイ１００は、第１の光感知セル２ａのセル入射光からＣ１光を減少させ、Ｃ２光を増加させた光を前記第１の光感知セル２ａに入射させ、第２の光感知セル２ｂのセル入射光からＣ３光を減少させ、Ｃ１光を増加させた光を第２の光感知セル２ｂに入射させ、第３の光感知セル２ｃのセル入射光からＣ２光を減少させ、Ｃ４光を増加させた光を第３の光感知セル２ｃに入射させ、第４の光感知セル２ｄのセル入射光からＣ４光を減少させ、Ｃ３光を増加させた光を第４の光感知セル２ｄに入射させる。
【選択図】図２

Description

本願は、固体撮像素子の高感度化およびカラー化の技術に関する。

近年、ＣＣＤやＣＭＯＳ等の固体撮像素子（以下、「撮像素子」と称する場合がある。）を用いたデジタルカメラやデジタルムービーの高機能化、高性能化には目を見張るものがある。特に半導体製造技術の急速な進歩により、撮像素子における画素構造の微細化が進んでいる。その結果、撮像素子の画素および駆動回路の高集積化が図られ、撮像素子の高性能化が進んでいる。特に近年では、固体撮像素子の配線層が形成された面（表面）側ではなく裏面側で受光する裏面照射型（ｂａｃｋｓｉｄｅ ｉｌｌｕｍｉｎａｔｉｏｎ）の撮像素子を用いたカメラも開発され、その特性等が注目されている。その一方で撮像素子の多画素化に伴い、１画素の受ける光量が低下するため、カメラ感度が低下するという問題が起きている。

カメラの感度低下は、多画素化以外にも、色分離用の色フィルタが用いられることにも原因がある。通常のカラーカメラでは、撮像素子の各光感知セルに対向して有機顔料を色素とする減色型の色フィルタが配置される。色フィルタは、利用する色成分以外の光を吸収するため、このような色フィルタを用いた場合、カメラの光利用率は低下する。例えば、赤（Ｒ）１画素、緑（Ｇ）２画素、青（Ｂ）１画素を基本構成とするベイヤー型の色フィルタ配列をもつカラーカメラでは、Ｒ、Ｇ、Ｂの各色フィルタは、それぞれＲ、Ｇ、Ｂ光のみを透過させ、残りの光を吸収する。したがって、ベイヤー配列によるカラーカメラにおいて利用される光は、入射光全体の約１／３である。このように、色フィルタを用いることは、光の利用効率の低下を招き、カラーカメラの感度低下の原因となる。

これに対し、色フィルタの代わりに光を波長に応じて分光する分光要素を用いて光利用率を高めるカラー化技術が特許文献１に開示されている。この技術によれば、光感知セルに対応して配置された分光要素によって光が波長域に応じて異なる光感知セルに入射する。個々の光感知セルは、複数の分光要素から異なる波長域の成分が重畳された光を受ける。その結果、各光感知セルから出力される光電変換信号を用いた信号演算によって色信号を生成することができる。

上記の技術は、主として可視光を利用するが、可視光および赤外光を同時に受光する撮像素子を用いて、カラー画像および赤外光画像（以下では、「ＩＲ画像」とも呼ぶ。）を作り出す撮像技術も考案されている。例えば、特許文献２には、Ｒ色素を用いたＲ画素、Ｇ色素を用いたＧ画素、Ｂ色素を用いたＢ画素、および特定の赤外光のみを検出する赤外光受光画素（ＩＲ画素）から成る２行２列の４画素を基本構成とする撮像素子を用いて、カラー画像および赤外光画像を作り出す撮像技術が開示されている。

国際公開第２００９／１５３９３７号 特開２００５−６０６６号公報 国際公開第２００９／０１９８１８号 特開Ｓ５９−１３７９０９号公報

特許文献２に開示された技術では、ＲＧＢの有機色素を用いているため、カラー画像の取得において感度の低下を招くという課題がある。

一方、カラー画像とＩＲ画像とが同時に得られ、カラー画像において高感度化が図られる技術は、特許文献１に開示されているが、この技術では棒状の分光要素を２層に配置する必要があるため、製造プロセスが複雑になる。

本願は、比較的容易な製造プロセスで、ＩＲ画像の生成に適した高感度のカラー撮像技術を提供する。

本開示の一態様による固体撮像素子は、各々が、１行１列目に配置された第１の光感知セル、１行２列目に配置された第２の光感知セル、２行１列目に配置された第３の光感知セル、および２行２列目に配置された第４の光感知セルを含む複数の単位ブロックが２次元状に配列された光感知セルアレイと、前記光感知セルアレイに対向して配置され、複数の分光要素を含む分光要素アレイとを備える。前記分光要素アレイが存在しないと仮定した場合に各光感知セルが受ける光を各光感知セルのセル入射光とし、可視光に含まれる色成分の一部を第１の色成分とし、前記可視光に含まれる色成分の他の一部を第２の色成分とし、前記第２の色成分の補色成分を第３の色成分とし、前記第１の色成分の補色成分を第４の色成分とするとき、前記分光要素アレイは、前記第１の光感知セルのセル入射光から前記第１の色成分の光を減少させ、前記第２の色成分の光を増加させた光を前記第１の光感知セルに入射させ、前記第２の光感知セルのセル入射光から前記第３の色成分の光を減少させ、前記第１の色成分の光を増加させた光を前記第２の光感知セルに入射させ、前記第３の光感知セルのセル入射光から前記第２の色成分の光を減少させ、前記第４の色成分の光を増加させた光を前記第３の光感知セルに入射させ、前記第４の光感知セルのセル入射光から前記第４の色成分の光を減少させ、前記第３の色成分の光を増加させた光を前記第４の光感知セルに入射させるように構成されている。

本開示の実施形態における固体撮像素子および撮像装置によれば、入射光を波長域（色成分）に応じて異なる光感知セルに入射させる分光要素を用いることにより、光利用効率が比較的高いカラー撮像が可能になる。さらに、分光要素アレイを適切に構成すれば、赤外光画像を併せて取得することができる。

例示的な実施形態による固体撮像素子における光感知セル２００および分光要素１００との配置関係を模式的に示す斜視図である。 （ａ）は例示的な実施形態による固体撮像素子の単位ブロックの一例を示す平面図であり、（ｂ）はＡ−Ａ´線断面図であり、（ｃ）はＢ−Ｂ´線断面図である。 Ｇ、Ｃｂ、Ｙｒ、Ｍの各色成分の光についての分光分布の例を示す図である。 実施形態１の撮像装置の概略構成を示すブロック図である。 実施形態１における光学フィルタの分光透過率特性を示す図である。 実施形態１におけるレンズと撮像素子を示す図である。 実施形態１における撮像素子の画素配列の一例を示す図である。 実施形態１における撮像素子の画素配列の他の例を示す図である。 実施形態１における撮像素子の基本構造を示す平面図である。 図６ＡにおけるＡ−Ａ´線断面図である。 図６ＡにおけるＢ−Ｂ´線断面図である。 （ａ）〜（ｃ）は、分光要素アレイ１００の製造方法の一例を示す工程断面図である。 第１低屈折率透明層６ａの上に他の低屈折率透明層６ａ’のパターンが形成された構造の一部を示す斜視図である。 分光要素１ａ、１ｄの入射光に対する分光垂直入射光の強度の割合の一例を示す図である。 分光要素１ｂ、１ｃの入射光に対する分光垂直入射光の強度の割合の一例を示す図である。 実施形態１における色情報生成処理の手順を示すフロー図である。 実施形態２における撮像素子の基本構造を示す平面図である。 図１３ＡにおけるＥ−Ｅ´線断面図である。 図１３ＡにおけるＦ−Ｆ´線断面図である。 図１３ＡにおけるＧ−Ｇ´線断面図である。 図１３ＡにおけるＨ−Ｈ´線断面図である。

まず図１、２を参照しながら、本開示の一態様における固体撮像素子１０の基本構成および動作原理を説明する。以下の説明において、波長域または色成分の異なる光を空間的に分離することを「分光」と称することがある。また、光を検知する空間的な最小単位を「光感知セル」または「画素」と称する。説明には図中に示すｘｙｚ座標を用いる。撮像素子１０の撮像面を「ｘｙ平面」とし、撮像面における水平方向に「ｘ軸」、撮像面における垂直方向に「ｙ軸」、撮像面に垂直な方向に「ｚ軸」をとる。なお、「水平方向」および「垂直方向」とは、生成される画像の横方向および縦方向にそれぞれ対応する撮像面上の方向を意味する。

図１は、例示的な実施形態における撮像素子１０の一部を模式的に示す斜視図である。撮像素子１０は、撮像面に２次元状に配列された複数の光感知セルを含む光感知セルアレイ２００と、複数の分光要素を含む分光要素アレイとを備えている。分光要素アレイ１００は、光感知セルアレイ２００に対向して光が入射する側に配置されている。図１では、分光要素アレイ１００は、簡単のため四角柱で表されているが、実際にはこのような形状を有しているわけではなく、より詳細な構造を有する。

各光感知セル２は、光を受けると光電変換によって受けた光の強度（受光量）に応じた電気信号（以下、「光電変換信号」または「画素信号」と呼ぶことがある。）を出力する。各光感知セル２は、分光要素アレイ１００によって分光された光を受ける。その結果、各光感知セル２は、分光要素が存在しないと仮定した場合に受ける光とは異なる分光分布を有する光を受ける。ここで、「分光分布」とは、その光の波長に対する強度の分布を意味する。

以下、図２を参照しながら、撮像素子１０の基本構造の例を説明する。ここではまず、撮像素子１０に可視光のみが入射する場合を想定する。

図２（ａ）は、光感知セルアレイ２００の基本画素構成（単位ブロック）４０の１つを示す平面図である。光感知セルアレイ２００は、各々が４つの光感知セル２ａ、２ｂ、２ｃ、２ｄを含む複数の単位ブロック４０が撮像面上に２次元状に配列された構造を有している。１つの単位ブロック内には４つの光感知セルが２行２列に配置されている。各単位ブロックにおいて、１行１列目に第１の光感知セル２ａが、１行２列目に第２の光感知セル２ｂが、２行１列目に第３の光感知セル２ｃが、２行２列目に第４の光感知セル２ｄが配置されている。

図２（ｂ）、（ｃ）は、それぞれ、図２（ａ）におけるＡ−Ａ´線断面、Ｂ−Ｂ´線断面を模式的に示す図である。図２（ｂ）、（ｃ）は、撮像素子１０に入射した光が分光要素アレイ１００を透過する際に色成分によって進行方向が変化し、結果として各光感知セルが受ける光の分光分布が互いに異なっている様子を示している。ここで、分光要素アレイ１００が存在しないと仮定した場合に各光感知セルが受ける光をその光感知セルの「セル入射光」と呼ぶこととする。１つの単位ブロックに含まれる光感知セル２ａ〜２ｄが近接している場合、それらの光感知セルのセル入射光に含まれる光の強度および分光分布はほぼ同一であると考えることができる。それらの光感知セルのセル入射光の可視光成分の強度を記号「Ｗ」で表すこととする。本明細書では、セル入射光に含まれる可視光の一部の色成分を第１の色成分とし、他の一部の色成分を第２の色成分とする。また、第２の色成分の補色成分を第３の色成分とし、第１の色成分の補色成分を第４の色成分とする。すなわち、第１から第４の色成分の強度をそれぞれＣ１、Ｃ２、Ｃ３、Ｃ４で表すと、Ｗ＝Ｃ１＋Ｃ４、Ｗ＝Ｃ２＋Ｃ３と表すことができる。なお、第１の色成分と第４の色成分とが補色の関係にあるからといって、第１の色成分の光の波長域と第４の色成分の光の波長域とは、完全に分離している必要は無く、部分的に重複していてもよい。同様に、第２の色成分の光の波長域と第３の色成分の光の波長域が部分的に重複していてもよい。以下の説明では、第１から第４の色成分の光を、それぞれＣ１光、Ｃ２光、Ｃ３光、Ｃ４光と呼ぶことがある。

第１から第４の色成分は、それぞれ、例えば、緑（Ｇ）、緑を半分含んだ青（Ｂ＋１／２Ｇ、以下、「Ｃｂ」と表す場合がある。）、緑を半分含んだ赤（Ｒ＋１／２Ｇ、以下、「Ｙｒ」と表す場合がある。）、マゼンタ（Ｒ＋Ｂ、以下、「Ｍ」と表す場合がある。）であり得る。第１から第４の色成分は、この例に限らず、可視光に含まれる４つの色成分であれば、他の色成分の組み合わせであってもよい。

図３は、第１〜第４の色成分がそれぞれＧ、Ｃｂ、Ｙｒ、Ｍの場合における各色成分の光の分光分布の例を示している。図示されるように、Ｇ光は、緑の波長域（５００ｎｍ〜６００ｎｍ付近）の成分を主に含む色成分であるが、その他の波長域の成分を若干含んでいてもよい。Ｍ光は、青の波長域（４００ｎｍ〜５００ｎｍ付近）および赤の波長域（６００ｎｍ〜７００ｎｍ付近）の成分を主に含む色成分であるが、緑の波長域の成分を若干含んでいてもよい。Ｃｂ光は、青〜短波長側の緑（４００ｎｍ〜５５０ｎｍ付近）の成分を主に含む色成分であるが、その他の波長域の成分を若干含んでいてもよい。Ｙｒ光は、長波長側の緑〜赤（５５０ｎｍ〜７００ｎｍ付近）の成分を主に含む色成分であるが、その他の波長域の成分を若干含んでいてもよい。このように、第１〜第４の色成分の光は、その強度がピークをとる波長域は互いに異なるが、部分的に重複する波長域の光を含んでいてもよい。

分光要素アレイ１００は、典型的には各光感知セルに対向して配置された複数の分光要素を含む。各分光要素は、例えば後に詳しく説明する「高屈折率透明部」およびその周囲に設けられた「低屈折率透明部」によって構成され得る。あるいは、形状および屈折率が適切に設計されたマイクロレンズによっても構成され得る。さらには、特定波長域の光を反射し、他の波長域の光を透過させる多層膜フィルタ（ダイクロイックミラー）を用いて実現することも可能である。多層膜フィルタを含む分光要素は、多層膜フィルタによって反射された光を異なる媒質間の境界で全反射させ、隣接する光感知セルに導くように構成され得る。

図２に示す分光要素アレイ１００は、第１の光感知セル２ａのセル入射光（強度Ｗ）から第１の色成分の光（強度Ｃ１）を減少させ、第２の色成分の光および第３の色成分の光（強度（Ｃ２＋Ｃ３）／２）を増加させた光を第１の光感知セル２ａに入射させる。また、第２の光感知セル２ｂのセル入射光（強度Ｗ）から第２の色成分の光（強度Ｃ２）を減少させ、第１の色成分の光および第４の色成分の光（強度（Ｃ１＋Ｃ４）／２）を増加させた光を第２の光感知セル２ｂに入射させる。また、第３の光感知セル２ｃのセル入射光（強度Ｗ）から第３の色成分の光（強度Ｃ３）を減少させ、第１の色成分の光および第４の色成分（強度（Ｃ１＋Ｃ４）／２）の光を増加させた光を第３の光感知セル２ｃに入射させる。さらに、第４の光感知セル２ｄのセル入射光（強度Ｗ）から第４の色成分の光（強度Ｃ４）を減少させ、第２の色成分の光および第３の色成分の光（強度（Ｃ２＋Ｃ３）／２）を増加させた光を第４の光感知セル２ｄに入射させる。

以上の構成により、光感知セル２ａ〜２ｄは、図２（ｂ）、（ｃ）に示すように、それぞれ、Ｗ−Ｃ１＋Ｃ２、Ｗ−Ｃ３＋Ｃ１、Ｗ−Ｃ２＋Ｃ４、Ｗ−Ｃ４＋Ｃ３で表される強度の光を受ける。各光感知セルは、これらの強度に応じた光電変換信号を出力する。ここで、光感知セル２ａ〜２ｄが出力する光電変換信号をそれぞれＳ２ａ〜Ｓ２ｄとし、強度Ｗに対応する信号をＷｓ、強度Ｃ１に対応する信号をＣ１ｓ、強度Ｃ２に対応する信号をＣ２ｓ、強度Ｃ３に対応する信号をＣ３ｓ、強度Ｃ４に対応する信号をＣ４ｓとする。但し、Ｗｓ＝Ｃ１ｓ＋Ｃ４ｓ、Ｗｓ＝Ｃ２ｓ＋Ｃ３ｓである。すると、Ｓ２ａ〜Ｓ２ｄは、以下の式１〜４で表すことができる。
（式１） Ｓ２ａ＝Ｗｓ−Ｃ１ｓ＋Ｃ２ｓ
（式２） Ｓ２ｂ＝Ｗｓ−Ｃ３ｓ＋Ｃ１ｓ
（式３） Ｓ２ｃ＝Ｗｓ−Ｃ２ｓ＋Ｃ４ｓ
（式４） Ｓ２ｄ＝Ｗｓ−Ｃ４ｓ＋Ｃ３ｓ

ここで、信号Ｓ２ａ、Ｓ２ｄの差分をＤ１とし、信号Ｓ２ｂ、Ｓ２ｃの差分をＤ２とすると、Ｄ１、Ｄ２は、それぞれ以下の式５、６で表される。
（式５） Ｄ１＝Ｓ２ａ−Ｓ２ｄ＝Ｃ４ｓ−Ｃ１ｓ＋Ｃ２ｓ−Ｃ３ｓ
（式６） Ｄ２＝Ｓ２ｃ−Ｓ２ｂ＝Ｃ４ｓ−Ｃ１ｓ−Ｃ２ｓ＋Ｃ３ｓ

式５および式６で示されるＤ１、Ｄ２は、色情報を含む画素信号の差分演算によって生成されるため、色差信号を示すものといえる。ここで、赤、緑、青の光電変換信号をそれぞれＲｓ、Ｇｓ、Ｂｓで表し、上述した典型的な例として、Ｃ１ｓ＝Ｇｓ、Ｃ２ｓ＝Ｂｓ＋１／２Ｇｓ、Ｃ３ｓ＝Ｒｓ＋１／２Ｇｓ、Ｃ４ｓ＝Ｒｓ＋Ｂｓであるものとすると、式５および式６から、Ｄ１＝（２Ｒｓ−Ｇｓ）およびＤ２＝（２Ｂｓ−Ｇｓ）で表される２つの色差信号が得られることがわかる。

一方、Ｓ２ａとＳ２ｄとの加算、Ｓ２ｂとＳ２ｃとの加算、およびＳ２ａ〜Ｓ２ｄの加算のいずれかの演算により、以下の式７〜９に示すように、セル入射光の可視光成分の強度Ｗの２倍または４倍に相当する信号が得られる。
（式７） Ｓ２ａ＋Ｓ２ｄ＝２Ｗｓ−Ｃ１ｓ＋Ｃ２ｓ−Ｃ４ｓ＋Ｃ３ｓ＝２Ｗｓ
（式８） Ｓ２ｂ＋Ｓ２ｃ＝２Ｗｓ−Ｃ３ｓ＋Ｃ１ｓ−Ｃ２ｓ＋Ｃ４ｓ＝２Ｗｓ
（式９） Ｓ２ａ＋Ｓ２ｂ＋Ｓ２ｃ＋Ｓ２ｄ＝４Ｗｓ

これらの信号は、入射光に含まれる可視光の成分の全てが損失なく光電変換された場合に得られる信号に相当する。したがって、これらのいずれかを輝度信号とすれば、撮像感度の面で理想的な特性が得られる。

式７〜９のいずれかの演算によって求められる輝度信号と、式５、６によって求められる２つの色差信号が得られれば、行列演算によりＲＧＢ信号を求めることができる。すなわち、光感知セル２ａ〜２ｄから出力される４つの光電変換信号Ｓ２ａ〜Ｓ２ｄに基づく信号演算によってカラー信号を算出できる。

上記の撮像素子１０によれば、光の一部を吸収する色フィルタを用いることなく、分光要素を用いることにより、信号演算によってカラー情報を得ることができる。そのため、光の損失を抑えることができ、撮像感度を従来よりも高めることが可能となる。さらに、式１〜４の右辺に示すように、各画素信号の生成過程において、Ｃ１ｓ〜Ｃ４ｓのいずれかの信号が加算だけでなく減算もされているため、光強度Ｗの可視光を受けた場合、ある画素だけ信号値が特に大きくなる、あるいは特に小さくなるといったことが起こらない。このことは撮像素子１０の入射光に対するダイナミックレンジ特性を向上させるという点で良好であると言える。

次に、撮像素子１０が特定波長域の赤外光のみを受光する場合について説明する。これは、例えば、夜間において特定波長域の赤外光を出射するＩＲ光源を用いて撮像を行う場合が該当する。撮像素子１０は、分光要素その他の光学素子を含む分光要素アレイ１０の特性により、当該特定の赤外光について、第１の光感知セル２ａおよび第４の光感知セル２ｄにおける受光量が等しく、第２の光感知セル２ｂおよび第３の光感知セル２ｃの受光量が等しく、かつ第１の光感知セル２ａおよび第２の光感知セル２ｂの受光量が異なるように構成されている。すなわち、各光感知セルに当該特定波長域の赤外光のみが入射する場合、Ｓ２ａ＝Ｓ２ｄ≠Ｓ２ｂ＝Ｓ２ｃが成立するように分光要素アレイ１００が構成されている。そのため、式５、式６におけるＤ１、Ｄ２は０になり、その結果、式５、６で表される信号色差信号も０になる。この結果は、式５および式６で表される色差信号には、当該波長域の赤外光の影響は現れないことを示している。これに対し、式７〜９で表される輝度信号には当該特定波長域の赤外光の影響が現れる。すなわち、第１および第４の光感知セル２ａ、２ｄと、第２および第３の光感知セル２ｂ、２ｃとの間で、当該特定波長域の赤外光の受光量が異なるため、式７で表される輝度信号と、式８で表される輝度信号との間に差違が生じる。

ここで、演算｜Ｓ２ａ＋Ｓ２ｄ−Ｓ２ｂ−Ｓ２ｃ｜を考える。式７、式８からわかるように、撮像素子１０が可視光のみを受光する場合、その演算結果は０になるが、特定波長域の赤外光を受光する場合、その演算結果は０にはならない。このことは、当該演算により、当該特定波長域の赤外光の光量を推定できることを表している。当該特定波長域の赤外光の光量を推定できれば、当該特定波長域の赤外光の輝度信号への影響を除去することができる。その上、演算｜Ｓ２ａ＋Ｓ２ｄ−Ｓ２ｂ−Ｓ２ｃ｜の結果を用いて、ＩＲ画像を生成することができる。すなわち、可視光のカラー画像とＩＲ画像とを同時に得ることができる。カラー画像とＩＲ画像とを生成する具体的な処理については後述する。

以上のように、本開示の実施形態における撮像素子１０は、ＩＲ画像の生成に適した構成を有している。分光要素その他の光学素子を適切に構成することにより、カラー撮像とＩＲ画像とを同時に生成することができる。また、従来技術とは異なり、色フィルタは用いられないため、高感度のカラー撮像が可能であるという優れた利点を有する。

なお、分光要素アレイ１００の構成は、上記の例に限定されない。分光要素アレイ１００は、第１の光感知セル２ａのセル入射光からＣ１光を減少させ、Ｃ２光を増加させた光を第１の光感知セル２ａに入射させ、第２の光感知セル２ｂのセル入射光からＣ３光を減少させ、Ｃ１光を増加させた光を第２の光感知セル２ｂに入射させ、第３の光感知セル２ｃのセル入射光からＣ２光を減少させ、Ｃ４光を増加させた光を第３の光感知セル２ｃに入射させ、第４の光感知セル２ｄのセル入射光からＣ４光を減少させ、Ｃ３光を増加させた光を第４の光感知セル２ｄに入射させるように構成されていれば、それらの光の強度は上記の例とは異なっていてもよい。各光電変換信号における各色成分の比率に応じて各信号を適切に補正することにより、上記と同様の演算処理を適用し得る。

また、分光要素アレイ１００による分光は、上記の態様に限定されない。分光要素アレイ１００は、第１から第４の光感知セルに異なる分光分布の光を入射させ、第１および第４の光感知セルに入射する可視光の合計の分光分布が、第２および第３の光感知セルに入射する可視光の合計の分光分布に実質的に等しくなる限り、どのように構成されていてもよい。言い換えれば、第１の光感知セルから出力される光電変換信号の可視光による成分と、前記第４の光感知セルから出力される光電変換信号の可視光による成分との合計が、前記第２の光感知セルから出力される光電変換信号の可視光による成分と、前記第３の光感知セルから出力される光電変換信号の可視光による成分との合計に実質的に等しくなるように構成されていればよい。そのような構成により、演算｜Ｓ２ａ＋Ｓ２ｄ−Ｓ２ｂ−Ｓ２ｃ｜によって可視光の成分をキャンセルできるため、赤外光の情報を容易に生成できるという利点がある。

本開示の実施形態では、撮像素子１０の前面に特定の赤外光のみを透過させる赤外カットフィルタを配置させることが効果的である。また、特定の波長域の赤外光に関して、第１の光感知セル２ａと第４の光感知セル２ｄの受光量を等しくし、第２の光感知セル２ｂと第３の光感知セル２ｃの受光量を等しくすることが効果的である。そのため、当該赤外光および可視光の波長帯域において透過性を有し、その他の波長帯域において透過性を有しない光学フィルタをいずれかの光感知セル上に配置してもよい。

以下、本開示のより具体的な実施形態を説明する。以下の説明において、同一または類似する要素には同一の符号を付している。

（実施形態１）
図４は、第１の実施形態による撮像装置の全体構成を示すブロック図である。本実施形態の撮像装置は、デジタル式の電子カメラであり、撮像部３００と、撮像部３００から送出される信号に基づいて画像を示す信号（画像信号）を生成する信号処理部４００とを備えている。なお、撮像装置は静止画のみを生成してもよいし、動画を生成する機能を備えていてもよい。

撮像部３００は、被写体を結像するための光学レンズ１２と、光学フィルタ１１と、光学レンズ１２および光学フィルタ１１を通して結像した光情報を、光電変換によって電気信号に変換する固体撮像素子１０（イメージセンサ）とを備えている。撮像部３００はさらに、赤外光を出射するＩＲ光源１９と、撮像素子１０を駆動するための基本信号を発生するとともに撮像素子１０からの出力信号を受信して信号処理部４００に送出する信号発生／受信部１３と、信号発生／受信部１３によって発生された基本信号に基づいて撮像素子１０を駆動する素子駆動部１４とを備えている。光学レンズ１２は、公知のレンズであり、複数のレンズを有するレンズユニットであり得る。撮像素子１０は、典型的にはＣＭＯＳまたはＣＣＤであり、公知の半導体製造技術によって製造される。信号発生／受信部１３および素子駆動部１４は、例えばＣＣＤドライバなどのＬＳＩから構成されている。ＩＲ光源１９は、汎用的な赤外線光源であり、例えば夜間のように暗い状況で撮像する際に用いられる。

光学フィルタ１１は、画素配列が原因で発生するモアレパターンを低減するための水晶ローパスフィルタに、赤外光の大部分を除去する赤外カットフィルタを合体させたものである。当該赤外カットフィルタは、可視光および特定の波長域の赤外光のみを透過させ、その他の波長域の赤外光を吸収する特性を有している。図５は、この赤外カットフィルタの分光透過率特性の例を示している。この例では、特定の波長域の赤外光は、波長７００〜８００ｎｍの間に強度のピークを有し、そのピーク波長は、具体的には約７９０ｎｍである。ただし、これは一例であり、強度のピークをとる波長は任意に設定してよい。この分光特性により、撮像素子１０には、可視光に加え、上記の近赤外帯域でピークを有する特定の赤外光のみが入射する。

信号処理部４００は、撮像部３００から送出される信号を処理して画像信号を生成する画像信号生成部１５と、画像信号の生成過程で発生する各種のデータを格納するメモリ３０と、生成した画像信号を外部に送出する画像信号出力部１６とを備えている。画像信号生成部１５は、公知のデジタル信号処理プロセッサ（ＤＳＰ）などのハードウェアと、画像信号生成処理を含む画像処理を実行するソフトウェアとの組合せによって好適に実現され得る。メモリ３０は、ＤＲＡＭなどによって構成される。メモリ３０は、撮像部３００から送出された信号を記録するとともに、画像信号生成部１５によって生成された画像データや、圧縮された画像データを一時的に記録する。これらの画像データは、画像信号出力部１６を介して不図示の記録媒体や表示部などに送出される。

なお、本実施形態の撮像装置は、電子シャッタ、ビューファインダ、電源（電池）、フラッシュライトなどの公知の構成要素を備え得るが、それらの説明は本実施形態の理解に特に必要でないため省略する。また、以上の構成はあくまでも一例であり、本実施形態において、撮像素子１０および画像信号生成部１５を除く構成要素には、公知の要素を適切に組み合わせて用いることができる。

以下、本実施形態における固体撮像素子１０を説明する。

図６は、露光中にレンズ１２を透過した光が撮像素子１０に入射する様子を模式的に示す図である。図６では、簡単のためレンズ１２および撮像素子１０以外の構成要素の記載は省略されている。また、レンズ１２は、一般には光軸方向に並んだ複数のレンズによって構成され得るが、簡単のため、単一のレンズとして描かれている。撮像素子１０の撮像面１０ａには、２次元状に配列された複数の光感知セル（画素）を含む光感知セルアレイが配置されている。各光感知セルは、典型的にはフォトダイオードであり、光電変換によって入射光量に応じた光電変換信号（画素信号）を出力する。撮像面１０ａにはレンズ１２および光学フィルタ１１を透過した光（可視光および特定波長域の赤外光）が入射する。一般に撮像面１０ａに入射する光の強度および波長域ごとの入射光量の分布（分光分布）は、入射位置に応じて異なる。

図７Ａ、７Ｂは、本実施形態における画素配列の例を示す平面図である。光感知セルアレイ２００は、例えば、図７Ａに示すように撮像面１０ａ上に正方格子状に配列された複数の光感知セルを有する。光感知セルアレイ２００は、複数の単位ブロック４０から構成され、各単位ブロック４０は４つの光感知セル２ａ、２ｂ、２ｃ、２ｄを含んでいる。各単位ブロックにおいて、１行１列目に第１の光感知セル２ａが、１行２列目に第２の光感知セル２ｂが、２行１列目に第３の光感知セル２ｃが、２行２列目に第４の光感知セル２ｄが配置されている。なお、光感知セルの配列は、このような正方格子状の配列ではなく、例えば、図７Ｂに示す斜行型の配列であってもよいし、他の配列であってもよい。各単位ブロックに含まれる４つの光感知セル２ａ〜２ｄは、図７Ａ、７Ｂに示すように、互いに近接しているが、これらが離れていても、後述する分光要素アレイを適切に構成することによって色情報を得ることが可能である。

光感知セルアレイ２００に対向して、光が入射する側に複数の分光要素を含む分光要素アレイが配置される。本実施形態では、各単位ブロックに含まれる４つの光感知セルに対して各々１つずつ分光要素が設けられる。

以下、本実施形態における分光要素を説明する。

本実施形態における分光要素は、屈折率が異なる２種類の透光性部材の境界で生じる光の回折を利用して入射光を波長域に応じて異なる方向に向ける光学素子である。このタイプの分光要素は、屈折率が相対的に高い材料で形成された高屈折率透明部（コア部）と、屈折率が相対的に低い材料で形成されコア部の各々の側面と接する低屈折率透明部（クラッド部）とを有している。コア部とクラッド部との間の屈折率差により、両者を透過した光の間で位相差が生じるため、回折が起こる。この位相差は光の波長によって異なるため、光を波長域（色成分）に応じて空間的に分離することが可能となる。例えば、第１の方向および第２の方向に第１色成分の光を半分ずつ向け、第３の方向に第１色成分以外の光を向けることができる。また、３つの方向にそれぞれ異なる波長域（色成分）の光を向けることも可能である。

本願明細書において、「高屈折率」および「低屈折率」の用語は、絶対的な屈折率の高低を意味するものではなく、あくまでも屈折率の相対的な比較の結果を意味する。すなわち、「低屈折率」とは、低屈折率透明部の屈折率が高屈折率透明部の屈折率よりも低いことを意味する。一方、「高屈折率」とは、高屈折率透明部の屈折率が低屈折率透明部の屈折率よりも高いことを意味する。したがって、低屈折率透明部の屈折率が高屈折率透明部の屈折率よりも低ければ、それぞれの屈折率の値は任意である。

本実施形態における低屈折率透明部は、分光要素アレイ１００内において層状に形成されている。このため、低屈折率透明部を「低屈折率透明層」または単に「透明層」とも呼ぶ。低屈折率透明層の内部に埋め込まれた個々の高屈折率透明部は、低屈折率透明部に入射した光の位相速度を局所的に低下させる。その結果、低屈折率透明部の上面に入射した光が下面に向かって伝播するときに波長によって異なる位相シフトが生じ、入射光は分光される。このため、本願明細書では、個々の高屈折率透明部を「分光要素」と称する。この分光要素は、「位相シフタ」と呼んでもよい。

各分光要素における高屈折率透明部の形状は直方体であり、ｘ軸方向およびｙ軸方向の辺が同程度であり、ｚ軸方向の辺が最も長い。高屈折率透明部３の形状は、厳密な直方体である必要は無く、エッジが丸められていてもよいし、側面がテーパまたは逆テーパを有していてもよい。高屈折率透明部３のサイズ、形状、および屈折率などを調整することにより、入射光をどのように分光させるかを制御することができる。高屈折率透明部３のより詳細な構成と機能は、特許文献３に開示されているので、特許文献３の内容の全体をここに援用する。

図８Ａは、撮像素子１０の基本構造を示す平面図である。各単位ブロックにおいて、４つの光感知セル２ａ、２ｂ、２ｃ、２ｄの各々に対向して分光要素１ａ、１ｂ、１ｃ、１ｄがそれぞれ配置されている。このような基本構造を有する複数のパターンが撮像面１０ａ上に繰り返し形成されている。

図８Ｂ、８Ｃは、図８ＡにおけるＡ−Ａ´線断面、Ｂ−Ｂ´線断面をそれぞれ示す図である。これらの図に示されるように、撮像素子１０は、シリコンなどの材料からなる半導体基板７と、半導体基板７の内部に配置された光感知セル２ａ〜２ｄと、半導体基板７の表面側（光が入射する側）に形成された配線層５および低屈折率透明部からなる透明層６と、透明層６の内部に配置された高屈折率透明部からなる分光要素１ａ、１ｂ、１ｃ、１ｄとを備えている。また、各光感知セルへの集光を効率的に行うためのマイクロレンズ４が透明層６を隔てて個々の光感知セルに対応して配置されている。なお、マイクロレンズ４が配置されていなくても本実施形態の効果を得ることは可能である。本実施形態では、第１の光感知セル２ａに対向して、可視光および特定の波長域の赤外光を透過してそれ以外の赤外光を吸収する赤外カットフィルタ８ａがそれぞれ配置されている。この赤外カットフィルタ８ａは、特定の波長域の赤外光について、光感知セル２ａ、２ｄの受光量を等しくするように、その透過率が設計されている。

図８Ａ〜８Ｃに示す構造は、公知の半導体製造技術により作製され得る。図８Ａ〜８Ｃに示される撮像素子１０は、配線層５の側から各光感知セルに光が入射する表面照射型の構造を有しているが、このような構造に限られず、配線層５の反対側から光を受ける裏面照射型の構造を有していてもよい。

分光要素１ａ〜１ｄは、図８Ａ〜８Ｃに示すように、光が透過する方向に長い長方形状の断面を有し、自身と透明層６との間の屈折率差によって分光する。ここでは、まず、可視光のみを受光する場合を想定する。この場合、図８Ｂに示されている赤外カットフィルタ８ａは、存在しないと考えてよい。

分光要素１ａは、対向する光感知セル２ａに赤（Ｒ）光および青（Ｂ）光の合成光、すなわちマゼンタ（Ｍ）光を入射させる。また、光感知セル２ｂ、および隣接する単位ブロックに含まれる光感知セル（不図示）に緑（Ｇ）光を半分ずつ入射させる。すなわち、分光要素１ａは、光感知セル２ｂおよび隣接単位ブロックに含まれる１つの光感知セルにＧ／２で表される光を入射させる。

分光要素１ｂは、対向する光感知セル２ｂにＲ光およびＧ光の１／２からなる合成光（Ｙｒ光）を入射させる。また、光感知セル２ｄ、および隣接する他の単位ブロックに含まれる光感知セル（不図示）にＢ光およびＧ光の１／２からなる合成光（Ｃｂ光）を１／２ずつ入射させる。すなわち、分光要素１ｂは、光感知セル２ｄ、および隣接単位ブロックに含まれる１つの光感知セルにＣｂ／２で表される光を入射させる。

分光要素１ｃは、対向する光感知セル２ｃにＢ光およびＧ光の１／２からなる合成光（Ｃｂ光）を入射させる。また、光感知セル２ａ、および隣接する他の単位ブロックに含まれる光感知セル（不図示）にＲ光およびＧ光の１／２からなる合成光（Ｙｒ光）を１／２ずつ入射させる。すなわち、分光要素１ｃは、光感知セル２ａ、および隣接単位ブロックに含まれる１つの光感知セルにＹｒ／２で表される光を入射させる。

分光要素１ｄは、対向する光感知セル２ｄにＧ光を入射させる。また、光感知セル２ｃ、および隣接する他の単位ブロックに含まれる光感知セル（不図示）にＲ光およびＢ光からなる合成光（Ｍ光）を１／２ずつ入射させる。すなわち、分光要素１ｂは、光感知セル２ｃ、および隣接単位ブロックに含まれる１つの光感知セルにＭ／２で表される光を入射させる。

本実施形態では、分光要素１ａ、１ｂ、１ｃ、１ｄが以上の分光特性をもつように、それらの長さおよび厚さが設計されている。

分光要素１ａ〜１ｄは、例えば窒化ケイ素（ＳｉＮ）から形成され得る。低屈折率透明層６は、例えば二酸化ケイ素（ＳｉＯ₂）から形成され得る。但し、分光要素アレイ１００の材料は、この例に限定されない。また、分光特性を補正するため、分光要素１ａ〜１ｄを構成する高屈折率透明部または低屈折率透明層６の一部に特定波長域の光を吸収する物質が添加されていてもよい。

次に、図９を参照しながら、本実施形態で使用される分光要素アレイ１００を製造する方法の一例を説明する。

まず、図９（ａ）に示すように、光感知セルアレイ２００の上に、低屈折率透明層６の一部を構成する第１低屈折率透明層６ａを堆積する。このような第１低屈折率透明層６ａの堆積は、公知の薄膜堆積技術を用いて行うことができる。例えばＣＶＤ（化学的気相成長法）またはスパッタ法が使用され得る。第１低屈折率透明層６ａの上に、屈折率が低屈折率透明層６よりも高い材料からなる透明層１８を堆積する。この透明層１８の堆積も公知の薄膜堆積技術を用いて行うことができる。次に、リソグラフィ技術により、透明層１８の上にエッチングマスクパターン１７を形成する。リソグラフィ技術で使用するフォトマスクのパターンを設計することにより、任意の平面形状を有するエッチングマスクパターン１７を形成することができる。

次に、図９（ｂ）に示すように、エッチングマスクパターン１７をマスクとして透明層１８をエッチングすることにより、透明層１８から不要部分を除去して高屈折率透明部（図示される例では「分光要素１ａ、１ｂ」）を形成する。このエッチングは、異方性のドライエッチングによって実行され得る。エッチングに際して高屈折率透明部のテーパが形成されてもよい。

更に、図９（ｃ）に示すように、エッチングマスクパターン１７を除去した後、低屈折率透明層６を構成する第２低屈折率透明層６ｂで高屈折率透明部の間の領域を埋め込み、低屈折率透明層６の形成を完了する。第２低屈折率透明層６ｂは、高屈折率透明部の上面を覆うように形成され得る。なお、図９では、分光要素１ａ、１ｂのみが描かれているが、分光要素１ｃ、１ｄも上記の方法によって同時に形成される。

第１低屈折率透明層６ａの厚さを調整することにより、高屈折率透明部の下端と光感知セルアレイ２００との距離を制御することができる。分光特性が異なる分光要素１ａ〜１ｄの間では、高屈折率透明部の下端と光感知セルアレイ２００との距離が異なり得る。このため、本実施形態における分光要素アレイ１００を製造するときは、位置によって第１低屈折率透明層６ａの厚さを変える工程を行ってもよい。このような工程は、透明層１８を堆積する前に、第１低屈折率透明層６ａの一部の領域を表面からエッチングするか、あるいは、第１低屈折率透明層６ａの上に他の低屈折率透明層のパターンを形成すればよい。他の低屈折率透明層のパターンは、例えばリフトオフ法によって形成され得る。

図１０は、第１低屈折率透明層６ａの上に他の低屈折率透明層６ａ’のパターンが形成された構造の一部を示す斜視図である。他の低屈折率透明層６ａ’のパターンは、例えば光感知セル２ａ〜２ｄのうち、いずれに対向する部分であるかによって厚さを変えて形成され得る。

さらに、分光特性が異なる分光要素１ａ〜１ｄの間では、高さ（ｚ軸方向のサイズ）が異なる場合がある。分光要素１ａ〜１ｄの高さを位置によって変えるには、場所によって厚さが異なる透明層１８を堆積すればよい。このような透明層１８は、図１０に示すような凹凸段差が表面に形成された第１低屈折率透明層６ａの上に略一様な厚さを有する透明層１８を堆積した後、透明層１８の上面を平坦化することによって形成され得る。このような平坦化を行うと、分光要素アレイ１００を構成する高屈折率透明部の上面は全て同じレベルになる。高屈折率透明部の上面のレベルを分光要素の種類に応じて変化させる場合、特定の領域に位置する高屈折率透明部の上面をマスクし、マスクされていない高屈折率透明部の上面を選択的にエッチングすればよい。

なお、上記の分光要素アレイの製造方法は一例であり、このような方法に限定されない。

続いて、画像信号生成部１５による信号処理を説明する。上記の分光要素１ａ〜１ｄによる分光の結果、光感知セル２ａ〜２ｄは、それぞれ以下の式１０〜１３で表される光電変換信号Ｓ２ａ〜Ｓ２ｄを出力する。ここで、赤光、緑光、青光の強度に相当する信号をそれぞれＲｓ、Ｇｓ、Ｂｓと表す。また、マゼンタ光の強度に相当する信号をＭｓ（＝Ｒｓ＋Ｂｓ）、Ｙｒ光の強度に相当する信号をＹｒｓ（＝Ｒｓ＋１／２Ｇｓ）、Ｃｂ光の強度に相当する信号をＣｂｓ（＝Ｂｓ＋１／２Ｇｓ）、セル入射光の強度に相当する信号をＷｓ（＝Ｒｓ＋Ｇｓ＋Ｂｓ＝Ｍｓ＋Ｇｓ＝Ｙｒｓ＋Ｃｂｓ）と表す。
（式１０）Ｓ２ａ＝Ｍｓ＋Ｙｒｓ＝２Ｒｓ＋（１／２）Ｇｓ＋Ｂｓ
（式１１）Ｓ２ｂ＝Ｙｒｓ＋Ｇｓ＝Ｒｓ＋（３／２）Ｇｓ
（式１２）Ｓ２ｃ＝Ｃｂｓ＋Ｍｓ＝Ｒｓ＋（１／２）Ｇｓ＋２Ｂｓ
（式１３）Ｓ２ｄ＝Ｇｓ＋Ｃｂｓ＝（３／２）Ｇｓ＋Ｂｓ

式１０〜１３は、それぞれ式１〜４においてＣ１ｓをＧｓに、Ｃ２ｓをＹｒｓに、Ｃ３ｓをＣｂｓに、Ｃ４ｓをＭｓに置換したものに相当する。

次に、撮像素子１０が特定の波長域の赤外光のみを受光する場合について説明する。これは、例えば夜間に、ＩＲ光源１９を使用して被写体に赤外線を照射し、その反射光を検出することによって赤外光画像を取得する場合が該当する。

本実施形態における分光要素１ａ〜１ｄは、入射光を対向する光感知セルにまっすぐ入射する光（以下、「分光垂直入射光」と呼ぶ。）と、隣接する光感知セルに入射する光（以下、「分光斜入射光」と呼ぶ。）に分岐させる。図１１Ａは、分光要素１ａ、１ｄの入射光に対する分光垂直入射光の強度の割合の一例を示している。同様に、図１１Ｂは、分光要素１ｂ、１ｃの入射光に対する分光垂直入射光の強度の割合の一例を示している。これらのグラフが示す値を１から引いた値は、その分光要素の入射光に対する分光斜入射光の強度の割合に概ね等しい。

本実施形態では、特定の赤外光の波長は約７９０ｎｍであるので、当該波長における分光要素１ａ〜１ｄの分光垂直入射光の割合を、それぞれＩｍ、Ｉｇ、Ｉｙ、Ｉｃで表す。但し、Ｉｍ、Ｉｇ、Ｉｙ、Ｉｃは０〜１の実数である。すると、分光斜入射光の分光特性については、分光要素１ａ、１ｄではそれぞれ１−Ｉｍ（＝Ｉｍ＾）、１−Ｉｇ（＝Ｉｇ＾）、分光要素１ｂ、１ｃではそれぞれ１−Ｉｙ（＝Ｉｙ＾）、１−Ｉｃ（＝Ｉｃ＾）で表される。図示される例の場合、Ｉｍ＝０．４、Ｉｇ＝０．２、Ｉｙ＝０．４５、Ｉｃ＝０．２５であり、Ｉｍ＾＝０．６、Ｉｇ＾＝０．８、Ｉｙ＾＝０．５５、Ｉｃ＾＝０．７５である。

本実施形態では、分光要素１ａは、対向する光感知セル２ａにＩｍに比例する強度の当該特定の赤外光を入射させ、光感知セル２ｂにＩｍ＾に比例する強度の当該特定の赤外光を入射させる。また、分光要素１ｂは、対向する光感知セル２ｂにＩｙに比例する強度の当該特定の赤外光を入射させ、光感知セル２ｃにＩｙ＾に比例する強度の当該特定の赤外光を入射させる。分光要素１ｃは、対向する光感知セル２ｃにＩｃに比例する強度の当該特定の赤外光を入射させ、光感知セル２ｄにＩｃ＾に比例する強度の当該特定の赤外光を入射させる。分光要素１ｄは、対向する光感知セル２ｄにＩｇに比例する強度の当該特定の赤外光を入射させ、光感知セル２ｃにＩｇ＾に比例する強度の当該特定の赤外光を入射させる。

以上の構成により、撮像素子１０が当該特定の赤外光のみを受光する場合、光感知セル２ａ〜２ｄの受光量は、それぞれ以下の式１４〜１７で表される。但し、光感知セル２ａ、２ｂ、２ｃ、および２ｄの受光量をそれぞれＩｒ１１、Ｉｒ１２、Ｉｒ２１、およびＩｒ２２とし、ＫＬを比例定数とする。
（式１４） Ｉｒ１１＝ＫＬ（Ｉｍ＋Ｉｃ＾）
（式１５） Ｉｒ１２＝ＫＬ（Ｉｙ＋Ｉｍ＾）
（式１６） Ｉｒ２１＝ＫＬ（Ｉｃ＋Ｉｇ＾）
（式１７） Ｉｒ２２＝ＫＬ（Ｉｇ＋Ｉｙ＾）

ここで、上記の例における分光垂直入射光の割合を式１４〜１７に代入すると、Ｉｒ１１＝１．１５ＫＬ、Ｉｒ１２＝１．０５ＫＬ、Ｉｒ２１＝１．０５ＫＬ、Ｉｒ２２＝０．７５ＫＬとなり、Ｉｒ１２＝Ｉｒ２１であることから、光感知セル２ｂ、２ｃの受光量は同じである。一方、光感知セル２ａ、２ｄの受光量は同じではないが、これは赤外カットフィルタ８ａが無い場合の値であり、本実施形態では、赤外カットフィルタ８ａを光感知セル２ａ上に配置していることにより、当該特定の赤外光を受光する場合の光感知セル２ａ、２ｄの受光量が同程度に調整されている。そのため、この例では、当該特定の赤外光における赤外カットフィルタ８ａの透過率をｋｃとすると、ｋｃ＝０．６５（＝０．７５／１．１５）に調整される。

このように、本実施形態では、分光要素１ａ〜１ｄと赤外カットフィルタ８ａの特性により、当該特定の赤外光について、光感知セル２ａ、２ｄの受光量が等しく、光感知セル２ｂ、２ｃの受光量が等しくなるように調整されている。その結果、当該特定の赤外光のみを撮像素子１０が受光する場合、赤外受光量Ｉｒ１１、Ｉｒ１２、Ｉｒ２１、Ｉｒ２２に対応する光電変換信号をそれぞれＩｒ１１ｓ、Ｉｒ１２ｓ、Ｉｒ２１ｓ、Ｉｒ２２ｓとすると、光感知セル２ａはｋｃ×Ｉｒ１１ｓ、光感知セル２ｂはＩｒ１２ｓ、光感知セル２ｃはＩｒ２１ｓ、光感知セル２ｄはＩｒ２２ｓで表される信号を得ることになる。このため、光感知セル２ａ、２ｄの光電変換信号は等しく、光感知セル２ｂと２ｃの光電変換信号は等しくなる。

ここで、当該特定の赤外光に関して、分光要素１ａ〜１ｄおよび赤外カットフィルタ８ａによる光感知セル２ａ〜２ｄの受光量比率は設計上算出できる。また、赤外カットフィルタ８ａにおける光の透過率も既知であるため、上述の演算｜Ｓ２ａ＋Ｓ２ｄ−Ｓ２ｂ−Ｓ２ｃ｜の算出値と赤外カットフィルタ８ａが存在しないと仮定した場合における４画素の信号の平均値（Ｓ２ａ＋Ｓ２ｄ＋Ｓ２ｂ＋Ｓ２ｃ）／４の比率も光学設計上算出できる。そこで、本実施形態では、ＩＲ画像を生成するために、予めそれらの比率ｋｖ（＝（Ｉｒ１１ｓ＋Ｉｒ１２ｓ＋Ｉｒ２１ｓ＋Ｉｒ２２ｓ）／４｜ｋｃ×Ｉｒ１１ｓ＋Ｉｒ２２ｓ−Ｉｒ１２ｓ−Ｉｒ２１ｓ｜）を算出しておき、メモリ３０等に記録しておく。ｋｃ×Ｉｒ１１ｓ＝Ｉｒ２２ｓ、Ｉｒ１２ｓ＝Ｉｒ２１ｓであるため、この比率ｋｖは（Ｉｒ１１ｓ＋Ｉｒ１２ｓ＋Ｉｒ２１ｓ＋Ｉｒ２２ｓ）／８｜Ｉｒ２２ｓ−Ｉｒ２１ｓ｜でも算出できる。

本実施形態では、特定波長域の赤外光に加えて可視光が撮像素子１０に入射する場合においても、赤外光画像および可視光画像（カラー画像）の両方を生成することができる。この場合にカラー画像を生成するために、予めｋｗ＝（ｋｃ×Ｉｒ１１ｓ＋Ｉｒ１２ｓ＋Ｉｒ２１ｓ＋Ｉｒ２２ｓ）／｜ｋｃ×Ｉｒ１１ｓ＋Ｉｒ２２ｓ−Ｉｒ２１ｓ−Ｉｒ１２ｓ｜も設計段階で求められ、メモリ３０等に記録される。

可視光と特定の赤外光を受光する場合、光感知セル２ａ〜２ｄの光電変換信号は以下の式で表される。
（式１８） Ｓ２ａ＝２Ｒｓ＋（１／２）Ｇｓ＋Ｂｓ＋ｋｃ×Ｉｒ１１ｓ
（式１９） Ｓ２ｂ＝Ｒｓ＋（３／２）Ｇｓ＋Ｉｒ１２ｓ
（式２０） Ｓ２ｃ＝Ｒｓ＋（１／２）Ｇｓ＋２Ｂｓ＋Ｉｒ２１ｓ
（式２１） Ｓ２ｄ＝（３／２）Ｇｓ＋Ｂｓ＋Ｉｒ２２ｓ

この場合、図４に示す画像信号生成部１５は、式１８〜２１で示される光電変換信号を用いた演算によって色情報を生成することができる。

以下、図１２を参照しながら、画像信号生成部１５による色情報生成処理を説明する。図１２は、本実施形態における色情報生成処理の手順を示すフロー図である。

画像信号生成部１５は、設計時に予め求められた上記比率ｋｖ、ｋｗの値を保持している。画像信号生成部１５は、まず、ステップＳ１１において、光電変換信号Ｓ２ａ〜Ｓ２ｄを取得する。続いて、ステップＳ１２において、（Ｓ２ａ−Ｓ２ｄ）の演算によって（２Ｒｓ−Ｇｓ）を生成し、（Ｓ２ｃ−Ｓ２ｂ）の演算によって（２Ｂｓ−Ｇｓ）を生成し、それらを色差信号とする。これらの演算により、信号Ｓ２ａ〜Ｓ２ｄに含まれていた赤外光成分が除去される。

次に、ステップＳ１３において、画素信号Ｓ２ｂ〜Ｓ２ｄを合算することによって以下の式２２で表される信号を生成する。
（式２２） Ｓ２ａ＋Ｓ２ｂ＋Ｓ２ｃ＋Ｓ２ｄ＝４（Ｒｓ＋Ｇｓ＋Ｂｓ）＋（ｋｃ×Ｉｒ１１ｓ＋Ｉｒ１２ｓ＋Ｉｒ２１ｓ＋Ｉｒ２２ｓ）＝４Ｗｓ＋４Ｉｒｓ

ここで、Ｉｒｓ＝（Ｋｃ×Ｉｒ１１ｓ＋Ｉｒ１２ｓ＋Ｉｒ２１ｓ＋Ｉｒ２２ｓ）／４である。

続いて、ステップＳ１４において、画像信号生成部１５は、演算｜Ｓ２ａ＋Ｓ２ｄ−Ｓ２ｂ−Ｓ２ｃ｜の算出値に設計値ｋｖをかけ、その結果を赤外光信号とする。すなわち、以下の式２３の演算を実行する。
（式２３） ｜Ｓ２ａ＋Ｓ２ｄ−Ｓ２ｂ−Ｓ２ｃ｜×ｋｖ＝｜ｋｃ×Ｉｒ１１ｓ＋Ｉｒ２２ｓ−Ｉｒ１２ｓ−Ｉｒ２１ｓ｜×ｋｖ

この赤外光信号は、各光感知セルのセル入射光に含まれる特定波長域の赤外光の強度の平均値を表している。したがって、この信号は、当該赤外光の画像を示す信号として利用することができる。

次に、ステップＳ１５において、ステップＳ１３で生成した信号（４Ｗｓ＋４Ｉｒｓ）から信号４Ｉｒｓを減算し、これを輝度信号とする。信号４Ｉｒｓは、信号｜Ｓ２ａ＋Ｓ２ｄ−Ｓ２ｂ−Ｓ２ｃ｜に設計値ｋｗをかけることによって得られる。したがって、画像信号生成部１５は、信号（４Ｗｓ＋４Ｉｒｓ）から信号｜Ｓ２ａ＋Ｓ２ｄ−Ｓ２ｂ−Ｓ２ｃ｜×ｋｗを減算した結果を輝度信号とする。

続いて、ステップ１６において、画像信号生成部１５は、ステップＳ１２で生成した２つの色差信号とステップＳ１５で生成した１つの輝度信号から行列演算によりＲＧＢカラー信号を生成する。以上の処理により、カラー画像とＩＲ画像を得ることができる。

なお、色差信号（２Ｒｓ−Ｇｓ）、（２Ｂｓ−Ｇｓ）を用いたカラー化の具体的方法については、例えば特許文献４に開示されている。本実施形態においても、特許文献４に開示された方法を利用することができる。２つの色差信号と１つの輝度信号、すなわち３つの情報があれば、行列演算によりＲＧＢ信号を算出できる。

画像信号生成部１５は、以上の信号演算を光感知セルアレイ２の単位ブロック４０ごとに実行することによってＲ、Ｇ、Ｂの各色成分の画像を示す信号（「カラー画像信号」と呼ぶ）と上記の赤外光性分の画像を示す信号（「ＩＲ画像信号」と呼ぶ）を生成する。生成されたカラー画像信号、ＩＲ画像信号は、画像信号出力部１６によって不図示の記録媒体や表示部に出力される。

このように、本実施形態の撮像装置によれば、光電変換信号Ｓ２ａ〜Ｓ２ｄを用いた加減算処理により、カラー画像信号とＩＲ画像信号が得られる。本実施形態における撮像素子１０によれば、可視光については、光を吸収する光学素子を用いないため、色フィルタなどを用いる従来技術と比較して光の損失を大幅に低減することができる。

以上のように、本実施形態の撮像素子１０では、光感知セルアレイに対向して２行２列を基本構成とする分光要素アレイが配置される。１行１列目には光をマゼンタ光とマゼンタ光以外とに分ける分光要素１ａが配置される。１行２列目には光をＣｂ光とＣｂ光以外とに分ける分光要素１ｂが配置され、その直下に特定の赤外光を所定量透過させる赤外カットフィルタが配置される。２行１列目には光をＹｒ光とＹｒ光以外とに分ける分光要素１ｃが配置される。２行２列目には光を緑光と緑光以外とに分ける分光要素１ｄが配置される。このような分光要素の配列パターンが撮像面上に繰り返し形成されているため、光感知セルアレイ２００における単位ブロック４０の選び方を１行または１列ずつ変えても、得られる４つの光電変換信号は、可視光のみ入射する場合は常に式１０〜１３で表される４つの信号の組み合わせとなり、さらに特定の赤外光が入射した場合でも常に式１８〜２１で表される４つの信号の組み合わせとなる。すなわち、演算対象の画素ブロックを１行および１列ずつずらしながら上記の信号演算を行うことにより、ＲＧＢ各色成分の情報と赤外光成分の情報をほぼ画素数分だけ得ることができる。このことは、撮像装置の解像度を画素数の程度まで高めることができることを意味している。したがって、本実施形態の撮像装置は、従来の撮像装置よりも可視光領域において高感度であることに加えて、高解像度のカラー画像を生成することができ、しかもＩＲ画像の生成も可能である。

なお、画像信号生成部１５は、必ずしも３つの色成分の画像信号を全て生成しなくてもよい。用途に応じて１色または２色の画像信号だけを生成するように構成されていてもよい。また、必要に応じて信号の増幅、合成、補正を行ってもよい。

また、各分光要素は上述した分光性能を厳密に有していることが理想であるが、それらの分光性能が多少ずれていてもよい。すなわち、各光感セルから実際に出力される光電変換信号が、式１０〜１３、あるいは式１８〜２１に示す光電変換信号から多少ずれていてもよい。各分光要素の分光性能が理想的な性能からずれている場合であっても、ずれの程度に応じて信号を補正することによって良好な色情報を得ることができる。

さらに、本実施形態における画像信号生成部１５が行う信号演算を、撮像装置自身ではなく他の機器に実行させることも可能である。例えば、撮像素子１０から出力される光電変換信号の入力を受けた外部の機器に本実施形態における信号演算処理を規定するプログラムを実行させることによっても色情報を生成することができる。

なお、撮像素子１０の基本構造は図８Ａ〜８Ｃに示す構成に限られるものではない。例えば、分光要素１ａと分光要素１ｄとが入れ替わり、赤外カットフィルタ８ａも当該配置に入れ替わった構成、あるいは分光要素１ｃと分光要素１ｂとが入れ替わった構成で配置されていても本実施形態の効果に変わりはない。また、図８Ａに示す１行目の配置と２行目の配置とが入れ替わっていてもよいし、基本光２行２列の対角の組み合わせが上記と同様であればどのような配置であってもその有効性に変わりはない。赤外カットフィルタ８ａの配置についても、本実施形態では光感知セル２ａの上部としたが、重要なことは配置自体ではなく、赤外光を受光した場合、当該光による光感知セル２ａ、２ｄの光電変換信号が等しくなればよい。したがって、赤外カットフィルタ８ａを用いず、分光要素１ａ〜１ｄの分光特性を適切に調整することによって同等な特性を実現してもよい。また、本実施形態では、当該光による光感知セル２ｂ、２ｃの受光量を分光要素１ａ〜１ｄの分光特性を適切に調整することによって等しくさせたが、赤外カットフィルタを用いることによって実現してもよい。

また、各分光要素は、分光する色成分の光を、１／２ずつ隣接の２画素に入射させるように構成されていなくてもよい。例えば、第１の分光要素１ａは、入射光に含まれるＧ光の一部を第２の光感知セル２ｂに入射させるように構成されていてもよい。同様に、第２の分光要素１ｂは、入射光に含まれるＣｂ光の一部を第４の光感知セル２ｄに入射させるように構成されていてもよい。また、第３の分光要素１ｃは、入射光に含まれるＹｒ光の一部を第１の光感知セル２ａに入射させるように構成されていてもよい。さらに、第４の分光要素１ｄは、入射光に含まれるＭ光の一部を第３の光感知セル２ｃに入射させるように構成されていてもよい。このように各分光要素が隣接単位ブロックの光感知セルに光を入射させない構成であっても、各画素の受ける光の分光分布に応じて、適切に演算方法を設計することにより、色情報および赤外光情報を得ることができる。

以上の説明では、分光要素として、２つの部材の屈折率差を利用して分光する光学素子を用いているが、本発明における分光要素は、各光感知セルに所望の色成分の光を入射できればどのようなものであってもよい。例えば、分光要素としてマイクロプリズムやダイクロイックミラーを用いてもよい。また、異なる種類の分光要素を組み合わせて用いることも可能である。

（実施形態２）
次に、図１３Ａ〜１３Ｅを参照しながら、第２の実施形態を説明する。本実施形態の撮像装置は、実施形態１の撮像装置と比較して、撮像素子１０の構造のみが異なっており、その他の構成要素は同一である。以下、実施形態１の撮像装置との相違点を中心に説明し、重複する点は説明を省略する。

本実施形態における撮像素子１０は、回折を利用する分光要素ではなく、光を２つの色に分離するダイクロイックミラーを備えている。さらに赤外カットフィルタ８ａは配置されていない。以下、本実施形態における撮像素子１０の基本構造を説明する。

図１３Ａ〜１３Ｅは、本実施形態における撮像素子１０の基本構造を示す図である。本実施形態における撮像素子１０は、裏面照射型の撮像素子である。なお、本実施形態においても撮像素子１０のタイプが裏面照射型であるか表面照射型であるかは重要ではなく、撮像素子１０は表面照射型であってもよい。図１３Ａは、撮像素子１０の受光面側の平面図である。本実施形態における撮像素子１０の光感知セルの配列は実施形態１における配列と同様であり、１つの単位ブロックは、４つの光感知セル２ａ〜２ｄを有している。光感知セル２ａ、２ｂ、２ｃに対向してダイクロイックミラー３ａ、３ｂ、３ｃ、３ｄが、それぞれ２分割され、撮像面に対して、傾斜して配置されている。ここで、ダイクロイックミラーの傾斜角度は、その反射光が撮像素子１０外の空気層との界面で全反射し、対向画素の隣接画素に入射するように設定されている。

図１３Ｂ〜１３Ｅは、図１３ＡにおけるＥ−Ｅ´線断面、Ｆ−Ｆ´線断面、Ｇ−Ｇ´線断面およびＨ−Ｈ´線断面をそれぞれ示す図である。図示されるように、撮像素子１０は、シリコンなどの材料からなる半導体基板７と、半導体基板７内に配置された光感知セル２ａ〜２ｄと、半導体基板７の裏面側（光が入射する側）に形成された透明層６と、透明層６の内部に配置されたダイクロイックミラー３ａ、３ｂ、３ｃ、３ｄとを備えている。半導体基板７の表面側（光が入射する側の反対側）には配線層５が形成されている。また、表面側には半導体基板７や配線層５などを支持する固定基盤９が配置されている。固定基板９は透明層６を介して半導体基板７と接合されている。

図１３Ｂ、１３Ｄに示されるように、ダイクロイックミラー３ａは、Ｍ光を透過させ、Ｇ光を反射する特性を有している。その結果、ダイクロイックミラー３ａを透過したＭ光は、光感知セル２ａに入射する。ダイクロイックミラー３ａで反射されたＧ光は、透明層６と空気との界面で全反射し、水平方向に隣接する２つの光感知セルに１／２ずつ入射する。

また、図１３Ｂ、１３Ｅに示されるように、ダイクロイックミラー３ｂは、Ｙｒ光を透過させ、Ｃｂ光を反射する特性を有している。その結果、ダイクロイックミラー３ｂを透過したＹｒ光は、光感知セル２ｂに入射する。ダイクロイックミラー３ｂで反射されたＣｂ光は、透明層６と空気との界面で全反射し、垂直方向に隣接する２つの光感知セルに１／２ずつ入射する。

また、図１３Ｃ、１３Ｄに示されるように、ダイクロイックミラー３ｃは、Ｃｂ光を透過させ、Ｙｒ光を反射する特性を有している。その結果、ダイクロイックミラー３ｃを透過したＣｂ光は、光感知セル２ｃに入射する。ダイクロイックミラー３ｃで反射されたＹｒ光は、透明層６と空気との界面で全反射し、垂直方向に隣接する光感知セルに１／２ずつ入射する。

また、図１３Ｃ、１３Ｅに示されるように、ダイクロイックミラー３ｄは、Ｇ光を透過させ、Ｍ光を反射する特性を有している。その結果、ダイクロイックミラー３ｄを透過したＧ光は、光感知セル２ｄに入射する。ダイクロイックミラー３ｄで反射されたＭ光は、透明層６と空気との界面で全反射し、水平方向に隣接する２つの光感知セルに１／２ずつ入射する。

波長７９０ｎｍ付近の赤外光に関して、ダイクロイックミラー３ａ、３ｄの透過率は等しく、ダイクロイックミラー３ｂ、３ｃの透過率は等しく、ダイクロイックミラー３ａ、３ｂの透過率は異なるようにダイクロイックミラー３ａ〜３ｄは設計されている。ダイクロイックミラー３ａ、３ｄの透過率が等しいため、それらの反射率も等しい。同様に、ダイクロイックミラー３ｂ、３ｃの透過率が等しいため、それらの反射率も等しい。その結果、Ｉｍ＝Ｉｇ、Ｉｍ＾＝Ｉｇ＾、Ｉｙ＝Ｉｃ、Ｉｙ＾＝Ｉｃ＾となり、式１４〜１７からＩｒ１１＝Ｉｒ２２およびＩｒ１２＝Ｉｒ２１が成立する。これにより、波長７９０ｎｍ付近の赤外光のみを撮像素子１０が受光する場合、光感知セル２ａ、２ｂ、および光感知セル２ｂ、２ｃの受光量は等しい。すなわち、Ｉｒ１１ｓ＝Ｉｒ２２ｓ、Ｉｒ１２ｓ＝Ｉｒ２１ｓが成立する。なお、可視光を受光する場合、光感知セル２ａ〜２ｄの信号特性は実施形態１とほぼ同じである。

このようなダイクロイックミラー３ａ〜３ｄを用いることにより、各光感知セル２ａ〜２ｄは、可視光のみを受光する場合、実施形態１における構成を採用した場合と全く同様の色成分の光を受ける。すなわち、光感知セル２ａは、ダイクロイックミラー３ａを透過したＭ光と、垂直方向に隣接する２つのダイクロイックミラーで反射された強度（Ｙｒ／２＋Ｙｒ／２）の光を受ける。光感知セル２ｂは、ダイクロイックミラー３ｂを透過したＹｒ光と、水平方向に隣接する２つのダイクロイックミラーで反射された強度（Ｇ／２＋Ｇ／２）の光を受ける。光感知セル２ｃは、ダイクロイックミラー３ｃを透過したＣｂ光と、水平方向に隣接する２つのダイクロイックミラーで反射された強度（Ｍ／２＋Ｍ／２）の光を受ける。光感知セル２ｄは、ダイクロイックミラー３ｄを透過したＧ光と、垂直方向に隣接する２つのダイクロイックミラーで反射された強度（Ｃｂ／２＋Ｃｂ／２）の光を受ける。その結果、光感知セル２ａ〜２ｄからそれぞれ出力される光電変換信号Ｓ２ａ〜Ｓ２ｄは、実施形態１における構成を採用した場合と同様、それぞれ式１０〜１３で表すことができる。また、さらに７９０ｎｍを中心とする赤外光を受光する場合も、式１８が以下の式２４に変わるだけでその他の式は同じである。
（式２４）Ｓ２ａ＝２Ｒｓ＋（１／２）Ｇｓ＋Ｂｓ＋Ｉｒ１１ｓ

本実施形態では、Ｉｒ１１ｓ＝Ｉｒ２２ｓ、Ｉｒ１２ｓ＝Ｉｒ２１ｓが成立するので、実施形態１における処理と同様の処理によって色情報および赤外光情報を得ることができる。

以上のように、本実施形態の撮像装置によれば、実施形態１の撮像装置と同様、光電変換信号Ｓ２ａ〜Ｓ２ｄを用いた信号演算処理により、カラー画像信号およびＩＲ画像信号が得られる。本実施形態における撮像素子１０によっても、光を吸収する光学素子を用いないため、色フィルタなどを用いる従来技術と比較して光の損失を大幅に低減することができる。また、４つの光電変換信号を用いた演算によって３つの色信号が得られるため、画素数に対して得られる色情報の量が従来の撮像素子による場合よりも多いという効果を有する。

以上のように、本実施形態の撮像素子１０では、１行１列目には光をマゼンタ光とマゼンタ光以外とに分けるダイクロイックミラー３ａが配置される。１行２列目には光をＹｒ光とＹｒ光以外とに分けるダイクロイックミラー３ｂが配置される。２行１列目には光をＣｂ光とＣｂ光以外とに分けるダイクロイックミラー３ｃが配置される。２行２列目には光を緑光と緑光以外とに分けるダイクロイックミラー３ｄが配置される。このような分光要素の配列パターンが撮像面上に繰り返し形成されているため、光感知セルアレイ２００における単位ブロックの選び方を１行または１列ずつ変えても、得られる４つの光電変換信号は、常に式１０〜１３、さらに式１８〜２１で表される４つの信号の組み合わせとなる。すなわち、演算対象の画素ブロックを１行および１列ずつずらしながら上記の信号演算を行うことによって、ＲＧＢ各色成分の情報をほぼ画素数分だけ得ることができ、また赤外光成分の情報も同様に得ることができる。したがって、本実施形態の撮像装置は、従来の撮像装置よりも高感度であることに加えて、高解像度のカラー画像およびＩＲ画像を生成することが可能である。

なお、撮像素子１０の基本構造は図１３Ａ〜１３Ｅに示す構成に限られるものではない。例えば、ダイクロイックミラー３ａとダイクロイックミラー３ｄとが入れ替わり、ダイクロイックミラー３ｃとダイクロイックミラー３ｂが入れ替わった構成で配置されていても本実施形態の効果に変わりはない。また、図１３Ａに示す１行目の配置と２行目の配置とが入れ替わっていてもその有効性に変わりはない。

本実施形態では、分光要素として、ダイクロイックミラーを用いているが、本発明における分光要素は、原色光とその補色の光とに分離するものであればどのようなものでもよい。例えば、分光要素として、マイクロプリズムや、実施形態１で用いられる回折を利用する光学素子を用いてもよい。また、異なる種類の分光要素を組み合わせて用いることも可能である。

また、各分光要素について、分岐した光全てを隣接する光感知セルに入射させる必要はなく、分岐した光の一部を隣接する光感知セルに入射させてもよい。その場合、分岐した光のうち、隣接する光感知セルに入射させる光の割合に基づいて信号処理を補正するように画像信号生成部１５が構成され得る。

また、上記の実施形態では、７９０ｎｍの中間の波長で強度のピークをもつ赤外光を利用したが、これに限定するものではなく、その他の波長帯域のものを利用してもよい。

本開示の固体撮像素子および撮像装置は、固体撮像素子を用いるすべてのカメラに有効である。例えば、デジタルスチルカメラやデジタルビデオカメラなどの民生用カメラや、産業用の固体監視カメラなどに利用可能である。

１ａ、１ｂ、１ｃ、１ｄ 分光要素
２，２ａ，２ｂ，２ｃ，２ｄ 撮像素子の光感知セル
３ａ、３ｂ、３ｃ、３ｄ 分光要素（ダイクロイックミラー）
４ マイクロレンズ
５ 撮像素子の配線層
６ 透明層
８ａ 赤外カットフィルタ
７ シリコン基板
９ 固定基板
１０ 撮像素子
１１ 光学フィルタ
１２ 光学レンズ
１３ 信号発生／受信部
１４ 素子駆動部
１５ 画像信号生成部
１６ 画像信号出力部
１９ ＩＲ光源
３０ メモリ
４０ 光感知セルの単位ブロック
１００ 分光要素アレイ
２００ 光感知セルアレイ
３００ 撮像部
４００ 信号処理部

Claims (15)

1. 各々が、１行１列目に配置された第１の光感知セル、１行２列目に配置された第２の光感知セル、２行１列目に配置された第３の光感知セル、および２行２列目に配置された第４の光感知セルを含む複数の単位ブロックが２次元状に配列された光感知セルアレイと、
   前記光感知セルアレイに対向して配置され、複数の分光要素を含む分光要素アレイと、
   を備え、
   前記分光要素アレイが存在しないと仮定した場合に各光感知セルが受ける光を各光感知セルのセル入射光とし、
   可視光に含まれる色成分の一部を第１の色成分とし、前記可視光に含まれる色成分の他の一部を第２の色成分とし、前記第２の色成分の補色成分を第３の色成分とし、前記第１の色成分の補色成分を第４の色成分とするとき、
   前記分光要素アレイは、
   前記第１の光感知セルのセル入射光から前記第１の色成分の光を減少させ、前記第２の色成分の光を増加させた光を前記第１の光感知セルに入射させ、
   前記第２の光感知セルのセル入射光から前記第３の色成分の光を減少させ、前記第１の色成分の光を増加させた光を前記第２の光感知セルに入射させ、
   前記第３の光感知セルのセル入射光から前記第２の色成分の光を減少させ、前記第４の色成分の光を増加させた光を前記第３の光感知セルに入射させ、
   前記第４の光感知セルのセル入射光から前記第４の色成分の光を減少させ、前記第３の色成分の光を増加させた光を前記第４の光感知セルに入射させるように構成されている、
   固体撮像素子。
2. 前記分光要素アレイは、前記第１から第４の光感知セルに特定の波長域の赤外光を入射させ、前記第１および第４の光感知セルに入射する前記特定の波長域の赤外光の強度が互いに等しく、前記第２および第３の光感知セルに入射する前記特定の波長域の赤外光の強度が互いに等しく、前記第１および第４の光感知セルに入射する前記特定の波長域の赤外光の強度と、前記第２および第３の光感知セルに入射する前記特定の波長域の赤外光の強度とが互いに異なるように構成されている、請求項１に記載の固体撮像素子。
3. 前記分光要素アレイは、各単位ブロックにおいて、前記第１の光感知セルに対向して配置された第１の分光要素、前記第２の光感知セルに対向して配置された第２の分光要素、前記第３の光感知セルに対向して配置された第３の分光要素、および前記第４の光感知セルに対向して配置された第４の分光要素を含み、
   前記第１の分光要素は、入射光に含まれる前記第１の色成分の光の少なくとも一部を前記第２の光感知セルに入射させ、前記入射光に含まれる前記第４の色成分の光を前記第１の光感知セルに入射させ、
   前記第２の分光要素は、入射光に含まれる前記第３の色成分の光の少なくとも一部を前記第４の光感知セルに入射させ、前記入射光に含まれる前記第２の色成分の光を前記第２の光感知セルに入射させ、
   前記第３の分光要素は、入射光に含まれる前記第２の色成分の光の少なくとも一部を前記第１の光感知セルに入射させ、前記入射光に含まれる前記第３の色成分の光を前記第３の光感知セルに入射させ、
   前記第４の分光要素は、入射光に含まれる前記第４の色成分の光の少なくとも一部を前記第３の光感知セルに入射させ、前記入射光に含まれる前記第１の色成分の光を前記第４の光感知セルに入射させる、請求項１または２に記載の固体撮像素子。
4. 前記第１の分光要素は、入射光に含まれる前記第１の色成分の光の半分を前記第２の光感知セルに入射させ、前記第１の色成分の光の残りの半分を隣接単位ブロックに含まれる１つの光感知セルに入射させ、
   前記第２の分光要素は、入射光に含まれる前記第３の色成分の光の半分を前記第４の光感知セルに入射させ、前記第３の色成分の光の残りの半分を隣接単位ブロックに含まれる１つの光感知セルに入射させ、
   前記第３の分光要素は、入射光に含まれる前記第２の色成分の光の半分を前記第１の光感知セルに入射させ、前記第２の色成分の光の残りの半分を隣接単位ブロックに含まれる１つの光感知セルに入射させ、
   前記第４の分光要素は、入射光に含まれる前記第４の色成分の光の半分を前記第３の光感知セルに入射させ、前記第４の色成分の光の残りの半分を隣接単位ブロックに含まれる１つの光感知セルに入射させる、
   請求項３に記載の固体撮像素子。
5. 前記第１の分光要素は、入射光に含まれる前記第１の色成分の光のほぼ全てを前記第２の光感知セルに入射させ、
   前記第２の分光要素は、入射光に含まれる前記第３の色成分の光のほぼ全てを前記第４の光感知セルに入射させ、
   前記第３の分光要素は、入射光に含まれる前記第２の色成分の光のほぼ全てを前記第１の光感知セルに入射させ、
   前記第４の分光要素は、入射光に含まれる前記第４の色成分の光のほぼ全てを前記第３の光感知セルに入射させる、
   請求項３に記載の固体撮像素子。
6. 前記第１および第４の色成分の一方はマゼンタの色成分であり、前記第１および第４の色成分の他方は緑の色成分であり、前記第２および第３の色成分の一方は緑の一部を含む赤の色成分であり、前記第２および第３の色成分の他方は緑の他の一部を含む青の色成分である、請求項１から５のいずれかに記載の固体撮像素子。
7. 前記第１から第４の分光要素の各々は、高屈折率透明部と、前記高屈折率透明部の屈折率よりも低い屈折率を有し前記高屈折率透明部の周囲に設けられた低屈折率透明部とを有し、
   前記第１から第４の分光要素の前記高屈折率透明部の形状およびサイズの少なくとも一方は、互いに異なっている、
   請求項１から６のいずれかに記載の固体撮像素子。
8. 前記第１から第４の分光要素の各々は、ダイクロイックミラーを含み、前記ダイクロイックミラーによって分光する、請求項１から６のいずれかに記載の固体撮像素子。
9. 請求項１から８のいずれかに記載の固体撮像素子と、
   前記固体撮像素子に像を形成する光学系と、
   可視光および特定の波長域の赤外光のみを透過させる光学フィルタと、
   前記固体撮像素子から出力される信号を処理する信号処理部であって、前記第１の光感知セルから出力される第１の光電変換信号、前記第２の光感知セルから出力される第２の光電変換信号、前記第３の光感知セルから出力される第３の光電変換信号、および前記第４の光感知セルから出力される第４の光電変換信号を用いた演算によってカラー画像情報および赤外光画像情報を生成する信号処理部と、
   を備える撮像装置。
10. 前記特定の波長域の赤外光を出射する赤外光源をさらに備える請求項９に記載の撮像装置。
11. 前記信号処理部は、前記第１の光電変換信号と前記第４の光電変換信号との差分を表す第１の差信号と、前記第２の光電変換信号と前記第３の光電変換信号との差分を表す第２の差信号により、第１の色差信号および第２の色差信号を生成し、前記第１の光電変換信号と前記第４の光電変換信号との加算結果と、前記第２の光電変換信号と前記第３の光電変換信号との加算結果との差分信号を生成する、請求項９または１０に記載の撮像装置。
12. 前記信号処理部は、前記第１および第４の光電変換信号の加算、前記第２および第３の光電変換信号の加算、および前記第１から第４の光電変換信号の加算のいずれかを含む演算により、輝度信号を生成する、請求項９または１０に記載の撮像装置。
13. 請求項１から８のいずれかの固体撮像素子から出力される信号を処理する方法であって、
    前記第１の光感知セルから出力される第１の光電変換信号、前記第２の光感知セルから出力される第２の光電変換信号、前記第３の光感知セルから出力される第３の光電変換信号、および前記第４の光感知セルから出力される第４の光電変換信号を取得するステップＡと、
    前記第１から第４の光電変換信号を用いて色情報を生成するステップＢと、
    を含む方法。
14. 前記ステップＢは、
    前記第１の光電変換信号と前記第４の光電変換信号との差分を示す第１の差分信号を生成するステップと、
    前記第２の光電変換信号と前記第３の光電変換信号との差分を示す第２の差分信号を生成するステップと、
    前記第１の差分信号と前記第２の差分信号により、第１の色差信号および第２の色差信号を生成するステップと、
    前記第１の光電変換信号と前記第４の光電変換信号の加算結果と前記第２の光電変換信号と前記第３の光電変換信号の加算結果との差分信号を生成するステップと、
    を含む、請求項１３に記載の方法。
15. 前記ステップＢは、
    前記第１および第４の光電変換信号の加算、前記第２および第３の光電変換信号の加算、および前記第１から第４の光電変換信号の加算のいずれかを含む演算によって輝度信号を生成するステップと、
    前記輝度信号、前記第１の色差信号、および前記第２の色差信号と前記差分信号を用いて前記セル入射光に含まれる赤、緑、および青の色信号と特定の波長域の赤外光の信号とを生成するステップと、
    をさらに含む請求項１４に記載の方法。

Images