以下、図面を参照して本発明の実施形態について詳細に説明する。
<<基本概念>>
図1および図2は、本実施形態で採用する色分離フィルタの色配置例を示す図である。ここで、図1は、色分離フィルタの色配置例の基本構造を示す図であり、図2は、具体例の一例を示す図である。
色分離フィルタの色配置としては、基本的には、可視光カラー画像と赤外光画像をそれぞれ独立に求めることを常時可能にする配置になっている。たとえば、図1に示すように、可視光カラー画像用に色フィルタC1,C2,C3(何れも選択的な特定波長領域である第1の波長領域成分を透過)の3つの波長領域(色成分)用のものと、色フィルタC1,C2,C3とは異なる色フィルタC4といった別個のフィルタ特性を有する4種類の色フィルタを規則的(本例では正方格子状)に配設している。なお、本例の場合、第1の波長領域成分は可視光領域成分となる。C1,C2,C3、C4を纏めて色フィルタ14と称し、それに対応する検知部を画素12と称する。
色フィルタC1,C2,C3,C4を通して対応するフォトダイオードなどの検知部で検知することで、それぞれの成分を独立して検知することができる。色フィルタC1,C2,C3が配される検知部が第1の検知部であり、色フィルタC4が配される検知部が第2の検知部である。また、色フィルタC1,C2,C3が配される検知部は、カラー画像取得のために第1の波長領域(可視光領域)を、さらに色分離に対応するように、波長分離して検知するためのものである。
ここで、色フィルタC1,C2,C3は、理想的には、たとえば、可視光帯内のある色成分で透過率が略1、その他で略ゼロとする原色フィルタとする。もしくは、色フィルタC1,C2,C3は、可視光帯内のある色成分で透過率が略ゼロ、その他で略1の透過率を持つ補色系の色フィルタとする。
補色系の色フィルタは原色系の色フィルタよりも感度が高いので、可視領域の透過光が3原色の各々の補色である補色系の色フィルタを使用することで撮像装置の感度を高めることができる。逆に、原色系の色フィルタを用いることで、差分処理を行なわなくても原色の色信号を取得でき、可視光カラー画像の信号処理が簡易になる利点がある。
なお、透過率が“略1”であるとは、理想的な状態をいったものであり、実際には、光の透過率が減衰する減色フィルタとならざるを得ず、相対的に透過率は低減することになる。この場合でも、その波長領域での透過率がその他の波長領域での透過率よりも遙かに大きいものであればよい。一部に“1”でない透過率”があってもよい。また、透過率が“略ゼロ”であるについても、同様に理想的な状態をいったものであり、その波長領域での透過率がその他の波長領域での透過率よりも遙かに小さいものであればよい。一部に“ゼロ”でない透過率”があってもよい。
また、原色系および補色系の何れも、可視光領域の内の所定色(原色もしくは補色)の波長領域成分を通過させるものであればよく、紫外光領域や赤外光領域を通過させるか否かすなわち赤外光や紫外光に対する透過率は不問である。もちろん、好ましくは、赤外光や紫外光に対する透過率は略ゼロであることが、色再現性の点では有利である。
たとえば、現状一般的に用いられる各色フィルタは、可視光帯内では、たとえばR,G,Bの各々に対して透過率が高くその他の色(たとえばRであればGやB)の透過率が低いが、可視光帯外の透過率に関しては規定外であり、通常、その他の色(たとえばRであればGやB)の透過率よりも高く、たとえば各フィルタともに赤外領域に感度を持ち、赤外領域において光の透過がある。しかしながら、本実施形態では、このような可視光帯外で透過率が高い特性であっても、色再現性の問題はあるが、基本思想としては、影響を受けない。もちろん、第1の波長領域に関しては、好ましくは、赤外光成分を排除する仕組みを採っておくのが好ましい。
一方、色フィルタC4は、この色フィルタC4が配された画素12が、可視光以外の成分(不可視光成分)の内のより長波長側の成分(典型例は赤外光成分)を検知する画素(典型例は赤外光検知画素12IR)として機能するようにする特性を持っていればよい。つまり、少なくとも第1の波長領域(本例では可視光)に対して長波長側の第2の波長領域(本例では赤外光)の成分を透過するものであればよく、第1の手法として、色フィルタC1,C2,C3を通過する主要成分(つまり可視光成分)を通過させずに第2の波長領域(本例では赤外光)のみを通過させるもの(いわゆる可視光カットフィルタ)であってもよいし、第2の手法として、第1の波長領域(本例では可視光)から第2の波長領域(本例では赤外光)までの全域の成分を通過させるものであってもよい。
第2の手法を採る場合、色フィルタC4は、少なくとも、第2の検知部を色フィルタC1,C2,C3の検知部よりも光の利用効率の高い画素とするような所定波長領域用のものであればよく、典型的には、第1の波長領域(本例では可視光)から赤外光領域までの全域の成分を通過させるものであるのがよい。本実施形態では、このような、色フィルタC4を全域通過フィルタと称する。
たとえば、第2の検知部が、可視光帯である青色から赤色までに加えて赤外光までの光に対しても感度を持つようにする白色フィルタを色フィルタC4として用いるのがよい。第2の手法の場合、可視光から赤外光(特に近赤外光)までの全波長の成分を通過させるという点においては、色フィルタC4としては、事実上、カラーフィルタを設けない構成を採ることができる。本実施形態では、このように、事実上、カラーフィルタを設けない構成をも含めて、「フィルタC4を通して」第2の検知部で検知すると称する。
なお、色フィルタC1,C2,C3が配される画素の第1の検知部(たとえばフォトダイオードなどの検知部)は、少なくとも可視光に感度を有していればよく、近赤外光に感度を有する必要はなく、むしろ、色再現性の観点では、可視光成分以外についてはできるだけ感度が低いことが望ましい。
一方、色フィルタC4が配されるフォトダイオードなどで構成される第2の検知部は、本例の場合、少なくとも赤外光(近赤外光を含む)に感度を有することが必要である。なお、前提として、第2の検知部では、不可視光領域成分の一例である赤外光を検知する必要があるので、第2の検知部に赤外光が入射するようにする必要があり、従来よく使われている赤外光カットフィルタを取り除いて撮像する。
また、第2の検知部は、色フィルタC4が赤外光のみを通過させる可視光カットフィルタである場合には可視光に感度を有する必要はないが、色フィルタC4が全域通過フィルタである場合には可視光にも感度を有する必要がある。
また、色フィルタC4が配される第2の検知部は、色フィルタC4が配される第2の検知部により得られる第2の波長領域の成分に関わる物理情報(本例では赤外光画像や広波長領域画像)再現用として使用されるだけでなく、色フィルタC1,C2,C3が配される第1の検知部により得られる可視光カラー画像再現用の色信号に対して色補正画素や感度補正画素としても使用することができる。色フィルタC4は、色フィルタC1,C2,C3に対しての補正フィルタとして機能することになるのである。
たとえば、可視光カラー画像の再現に当たっては、先ず、色フィルタC1,C2,C3が配される第1の検知部から第1の波長領域の信号成分SC1,SC2,SC3を、この第1の波長領域の成分とは異なる第2の波長領域(赤外)の成分から事実上分離して検知する。また、少なくとも第2の波長領域(赤外)の成分を含む所定波長領域(赤外のみまたは全域)の信号成分SC4をさらに別の第2の検知部で検知する。
また、さらに好ましくは、各信号成分SC1,SC2,SC3を、信号成分SC4を使ってより色再現の良好な補正演算(特に色再現補正演算と称する)を実行する、あるいはより高感度な信号となるように補正演算(特に高感度化補正演算と称する)を実行する。
たとえば、色フィルタC1,C2,C3を通過する可視光成分に赤外光成分が漏れ込む場合に、赤外光の影響の殆どない可視光カラー画像を取得するには、たとえば、色フィルタC4を通して得られる赤外光成分の強度を参照して、可視光成分を受光する3つの色画素R,G,Bで検知される青、赤、緑の成分から赤外光成分を減じる色補正演算処理を実行する必要がある。
また、色フィルタC4として可視光から赤外光(特に近赤外光)までの全波長の成分を通過させる全域通過フィルタを使用する場合には、第2の検知部で検知される可視光成分を利用して、色フィルタC1,C2,C3を通して第1の波長領域の成分を検知した各第1の検知部から出力される各検知信号との間で所定の補正演算処理(ここでは高感度化補正演算処理を意味する)を実行することで、可視光カラー画像を高感度に取得することができる。
また、全域通過フィルタを色フィルタC4として使用する場合、色フィルタC4を通して得られる第2の波長領域の成分は、第2の検知部を、カラー画像取得用の色フィルタC1,C2,C3の検知部よりも光の利用効率が高い画素とし、この第2の波長領域の成分を検知した第2の検知部から出力される高光利用効率の検知信号(広波長領域信号SAと称する)を用いて、光の利用効率が高い画像信号を取得することができる高感度画素12HSにすることもできる。
ここで、光の利用効率が高い画素とするに当たっては、先ず第1の手法として、第2の波長領域の成分は、第1の波長領域の成分(可視光領域成分)のほぼ全体を含むとともに、この可視光領域成分以外の成分である不可視光領域成分(たとえば短波長側の紫外光成分や長波長側の赤外光成分)を含むものとするのが基本である。第1の波長領域の成分以外の成分をも利用することで、光(電磁波)の利用効率を高める思想である。
また、詳細については説明を割愛するが、光の利用効率が高い画素とするに当たっては、さらに好ましくは、第2の手法として、第2の波長領域の成分は、前述の第1の手法を適用しつつ、第1の波長領域の成分(可視光領域成分)に関しては、色フィルタC1,C2,C3を通して第1の波長領域の成分を検知する各第1の検知部よりも、さらに感度の高い画素となるような成分とすることができる。第2の検知部において、第1の波長領域の成分に関して、第1の検知部よりも高感度で検知することで、光(電磁波)の利用効率を一層高める思想である。
こうすることで、第2の検知部から出力される高光利用効率の検知信号は、可視光部分のいわゆる輝度信号成分と不可視光信号成分の双方を含む広波長領域信号となり、その結果として、感度が向上するだけでなく、解像度の高い広波長領域画像を得ることができるようにもなる。
なお、この場合、第2の検知部で検知した高感度信号(検知信号の一例)と、色フィルタC1,C2,C3を通して第1の波長領域の成分を検知した各第1の検知部から出力される各検知信号との間で補正演算処理(ここでは高感度化補正演算処理を意味する)を実行することで、可視光カラー画像を高感度に取得することができるようにすることもできる。
また、第2の検知部で検知した広波長領域信号(検知信号の一例)と、色フィルタC1,C2,C3を通して第1の波長領域の成分を検知した各第1の検知部から出力される各検知信号との間で補正演算処理(ここでは色補正演算処理を意味する)を実行すれば、可視光カラー画像を色再現性の高い画像を取得することができるようにもなる。
なお、第2の波長領域の成分に関わる画像(ここでは赤外光に関わる赤外光画像)は、信号成分SC4から取得できる。このとき、色フィルタC4が色フィルタC1,C2,C3を通過する主要成分(つまり可視光成分)を通過させずに第2の波長領域(本例では赤外光)のみを通過させる黒色フィルタを可視光カットフィルタとして使用する場合には、可視光をこの黒色フィルタで吸収させることでき、赤外光用の第2の検知部からは赤外光のみの成分が得られ、信号成分SC4そのものが赤外光画像を表わす。つまり、色フィルタC1〜C3を通しての検知部で得られる可視光成分との間での差分処理を行なわなくても可視光の影響をほぼ全く受けない赤外光のみの赤外光画像が得られることになる。
一方、色フィルタC4が第1の波長領域(本例では可視光)から第2の波長領域(本例では赤外光)までの全域の成分を通過させる全域通過フィルタである場合には、信号成分SC4から信号成分SC1,SC2,SC3により得られる可視光像の成分を減算することで、赤外光像のみを抽出するようにすればよい。
つまり、赤外光を受光する検知領域の受光面側に可視光カットフィルタを入れない場合、赤外光の検知領域側に可視光成分が漏れ込み、この漏込み成分の可視光像と本来の赤外光画像とが混在して第2の検知部で取得される。この混在した可視光像を排除して、可視光の影響の殆どない赤外光画像を取得するには、たとえば、可視光成分を受光する3つの色画素R,G,Bで検知される青、赤、緑の強度を参照して全体としての可視光成分を見積もり、色フィルタC4を通して得られる赤外光成分から可視光成分を減じる演算処理を実行する必要がある。
なお、色フィルタC4が第1の波長領域(本例では可視光)から赤外光までの全域の成分を通過させる全域通過フィルタである場合には、色フィルタC4が配された高光利用効率対応の第2の検知部で得られる信号成分SC4を、従前の輝度信号に代えて使用することもできる。可視光と不可視光との混在による像をそのまま取得するようにしてもよいのである。この場合、可視光成分の少ない低照度環境下での撮影時に、可視光領域以外の成分も使うことが可能となるので、可視光成分のみの場合よりも検知される信号レベルが大きくなり、効果的なノイズ低減を実現することができるようになる。
ただしこの場合、輝度信号レベルが大きくなることでカラー画像の色再現性が低下する懸念がある。輝度成分(広波長領域信号SA)に赤外光成分を含むため、可視光データのみに基づく色解析処理を行なう構成に比較して色再現性が劣るのである。これは、色差信号レベルが同じであっても、輝度信号レベルが異なると、目に感じる色合いが異なって認識されることに起因するものである。これを避けるには、輝度信号を表わす赤外光成分を使って、色フィルタC1〜C3を通して得られる可視光帯の色成分に補正を加えるようにするのがよい。
このように、色フィルタC4として赤外光成分のみを通過させるのか可視光帯も通過させるのかによって、様々な情報が得られるようになるし、補正演算を実行することで、不要な成分を低減することもできる。
なお、各種の補正演算に当たっては、一例として、4種類の波長領域(ここでは4種類の色フィルタを配設した各画素)で得られる信号出力をマトリクス演算することで、可視光カラー画像および近赤外光画像をそれぞれ独立に求めるようにするのがよい。フォトダイオードなどの撮像素子の各画素に、別個のフィルタ特性を有する4種類の色フィルタを配設し、4種類の色フィルタを配設した各画素の出力をマトリクス演算することで、近赤外光の影響をほぼ全く受けない可視光カラー画像を形成するための3原色出力と、可視光の影響をほぼ全く受けない近赤外光画像を形成するための出力を、それぞれ独立かつ同時に取得することができる。
特に、可視光カラー画像に関しては、赤外光の漏れによる色再現の悪さを演算処理にて補正することで、暗所で感度の高く、かつ色再現の良好な撮像が可能になる。赤外光に近い赤色の信号成分が大きくなる現象や映像の赤い部分で輝度が高くなる現象を緩和することもでき、特別な撮像素子や機構を用いなくても、低コストで色再現性の向上と低照度時の感度アップのバランスを取ることができる。
なお、色補正演算処理や感度高感度化補正演算処理の具体的な手法については、本願明細書では説明を割愛するが、一例として、本願出願人による特願2006−114081号、特願2006−133412号、特願2006−160718号、特願2005−211002号などを参照するとよい。
また、減色フィルタの一例として厚みや重さのある高価なガラス製の光学部材(いわゆる赤外光カットフィルタ)を結像光学系の光路上のセンサの前に入れる必要がなくなる。高価な赤外光カットフィルタを不要にすることで、光学系を軽量かつコンパクトにできるし、コストを大幅に低減できる。もちろん、赤外光カットフィルタの挿入/抜出機構が不要であり、装置が大がかりになることもない。
また赤外光カットフィルタが不用になることによって、赤外光カットフィルタによる光透過率低減を排除できるので、その分だけ高感度化も達成される。また、赤外光カットフィルタなしでカラー撮像を行なうことで、現行の信号処理回路と組み合わせつつ、近赤外線領域の光を有効に利用し高感度化を図ることもでき、低照度時であっても、色再現性が良好になるし、さらにその際に、色補正を加えることで、一層の色再現性の改善を図ることもできる。
可視光成分に漏れ込む赤外光成分による可視光カラー画像の色再現の悪さについては、演算処理により簡単に補正することができる。また、その補正演算に際しては、特開2003−70009号公報に記載の仕組みのような単なる見積もりで補正するのではなく、赤外光成分を実測し、その情報を使って補正するので、実際の撮像環境下での赤外光の強度に応じた適正量で補正を加えることができ、補正精度が極めて良好である。また、ユーザが撮像環境に合わせて補正量を調整する必要がなく使い勝手がよい。
<色フィルタ配列の具体例>
なお、図1では、色分離フィルタの繰返単位が2画素×2画素の場合で示したが、これは一例に過ぎず、実際には、たとえば可視光画像の解像度と赤外光画像の解像度の何れを優先させるかに応じて、色分離フィルタの繰返単位やC1〜C4の配置態様を決めればよい。
この際には、たとえば、従来のRGB原色フィルタやCy,Mg,Ye補色フィルタ(あるいは原色フィルタG)の可視光の画素に広波長領域対応用の画素(広波長領域画素12A)を追加することになるが、実際には、既存のフィルタ配置をベースにして、何れかの可視光の画素を広波長領域画素12Aに置き換えることになる。このとき、広波長領域画素12Aと可視光画像の解像度に大きく寄与する波長成分の画素(たとえば緑色画素12G)の配置態様を工夫することで、可視光画像の解像度低下を抑えることや、あるいは、広波長領域画素12Aで得られる広波長領域画像(つまり輝度画像)の解像度低下を抑えることができる。
たとえば、従来と同様に、各色の色フィルタ14をモザイク状に配した色分離フィルタ構造を採用する場合、赤外光と可視光の混在の広波長領域画素12Aがある一定の格子間隔を持ってモザイク模様になるようにするとともに、可視光の原色系RGBまたは補色系Cy,Mg,Ye画素の内の1つの画素がある一定の格子間隔を持ってモザイク模様になるように配置する。
ここで、「モザイク模様になるようにする」とは、ある色画素に着目したとき、それらがある一定の格子間隔を持って格子状に配列されるようにすることを意味する。必ずしも、その色画素が隣接することを必須とはしない。なお、色画素が隣接する配置態様を採った場合の典型例としては、広波長領域画素12Aとその他の色画素の正方形を互い違い並べた碁盤目模様(市松模様)となるようにする配置態様がある。あるいは、可視光の原色系RGBまたは補色系Cy,Mg,Ye画素の内の1つの画素とその他の色画素の正方形を互い違い並べた碁盤目模様(市松模様)となるようにする配置態様がある。
たとえば、RGB原色フィルタを用いつつ可視光カラー画像の解像度低下を抑えるには、可視光領域のGの画素の配置密度を維持し、可視光領域の残りのRもしくはBの画素を、広波長領域画素12Aに置き換えるとよい。たとえば図2(A)に示す配列態様のように、2行2列の単位画素マトリクス内において先ず、奇数行奇数列および偶数行偶数列に可視光領域の緑色成分を感知するための色フィルタ14Gを設けた緑色画素12Gを配し、偶数行奇数列には白色フィルタ14Wを設けたもしくは色フィルタ14を設けない広波長領域画素12Aを配する。広波長領域画素12Aは、可視光および赤外光などの不可視光成分を含む光信号を取得する広波長領域信号取得素子の一例である。
また、単位画素マトリクスの列方向の奇数番目においては、行方向の奇数番目の単位画素マトリクスにおける奇数行偶数列に可視光領域の青色成分を感知するための色フィルタ14Bを設けた青色画素12Bを配し、行方向の偶数番目の単位画素マトリクスにおける奇数行偶数列に可視光領域の赤色成分を感知するための色フィルタ14Rを設けた赤色画素12Rを配する。単位画素マトリクスの列方向の偶数番目においては、青色画素12Bと赤色画素12Rの配置を逆にする。
なお、赤色画素12R、緑色画素12G、および青色画素12Bを纏めて可視光検知画素12VLと称する。可視光検知画素12VLは、RGB信号などの可視光信号を波長分離して取得する特定波長領域信号取得素子の一例である。
この図2(A)に示すような配置形態の場合、可視光の原色系RGB画素の内の1つの緑色画素12Gとその他の色画素の正方形を互い違い並べた市松模様の配置態様を採用しており、可視光カラー画像における解像度に大きく寄与する緑色画素12Gの配置密度をベイヤ配列と同じにできるので、合成輝度信号を用いて得られる可視光カラー画像の解像度の低下はなくなる。
ただし、赤色画素12Rと青色画素12Bの配置密度はベイヤ配列に対して1/2になるのでカラー分解能が低下する。しかしながら、色に関する人間の視感度は、緑Gに比べて赤Rや青Bは劣るので、大きな問題にはならないと考えてよい。
一方、輝度信号に寄与する広波長領域画素12Aで得られる広波長領域画像(つまり輝度画像)に関しては、広波長領域画素12Aの配置密度が、可視光領域の緑色成分を感知するための緑色画素12Gに対して1/2になるので、輝度画像の分解能は、原色画素12R,12G,12Bで得られる各画素信号に基づいて合成される合成輝度信号を利用した場合の可視光カラー画像よりも劣る。
また、広波長領域画素12Aで得られる広波長領域画像(つまり輝度画像)の解像度低下を抑えるには、たとえば図2(B)に示す配列態様のように、図2(A)に示す可視光領域の緑色成分を感知するための緑色画素12Gと、広波長領域画素12Aの配置を入れ替えるとよい。この場合、広波長領域画素12Aとその他の色画素の正方形を互い違い並べた市松模様の配置態様を採用しており、広波長領域画素12Aの配置密度をベイヤ配列の場合と同じにできるので、出力される輝度画像の解像度の低下はなくなる。ただし、可視光カラー画像における解像度に大きく寄与する緑色画素12Gの配置密度は、広波長領域画素12Aに対して1/2になるので、可視光カラー画像は、広波長領域画素12Aから得られる輝度画像の分解能よりも劣る。カラー分解能に関しては、同様である。
また、色フィルタC4として黒色フィルタ14BKを使用した図2(C)や図2(D)に示す配列態様を採ることもできる。ここで、図2(C)は図2(A)の広波長領域画素12A(白色フィルタ14Wもしくはフィルタなしの画素)を赤外光検知画素12IR(黒色フィルタ14BKの画素)に置き換えたものであり、図2(D)は図2(B)の広波長領域画素12A(白色フィルタ14Wもしくはフィルタなしの画素)を赤外光検知画素12IR(黒色フィルタ14BKの画素)に置き換えたものである。
<<フィルタの分光特性>>
図3および図4は、波長分離の具体例を説明する図である。ここで、図3は、色フィルタ群をなす各色フィルタの光透過特性(分光特性)の基本を示した図である。また、図4は、色フィルタ群をなす各色フィルタの特性例を示す図である。
まず本例では、色フィルタ14として、赤色近傍の波長を透過する赤(R)、緑色近傍の波長を透過する緑(G)、青色近傍の波長を透過する青(B)、これらに加え、赤外線(IR)とRGBの全てを透過する白(W)(もしくは色フィルタを使用しないA)の各種類の分光特性を持つ色フィルタR,G,B,W(A)によって色フィルタ群を構成した事例で示す。
これら色フィルタ14の分光は、Rチャネル、Gチャネル、Bチャネル,そして赤外線(IR)とRGBを全て透過するA(=Y+IR)チャネルからなり、対応する赤色画素12R、緑色画素12G、青色画素12B、赤外線(IR)とRGBを全て検知する広波長領域画素12Aによって、4種類の分光からなるモザイク画像を得ることができる。
広波長領域画素12Aを設けることで、撮像素子に入射してくる赤外光IRと可視光の合成成分を示す、つまり可視光部分の輝度信号(Y)と赤外光信号(IR)の双方を含む広波長領域信号SAとして広波長領域画素12Aにより測定できる。
なお、図3では、白色フィルタ14Wの透過特性を可視光帯と赤外光帯とで等しいものとして示しているが、このことは必須ではなく、可視光帯の透過強度よりも赤外光帯の透過強度が低下していてもよい。可視光帯の全波長成分を十分な強度で透過させることができるとともに、赤外光帯では、R,G,Bの原色フィルタの透過強度に比べて十分な強さで透過させる特性を持っていればよいのである。
ただし、広波長領域画素12Aから得られる広波長領域信号SAには、赤外光成分IRだけでなく可視光成分VLも含まれるので、これをそのまま使うことで、可視光成分VLのみで輝度信号を生成するよりも、赤外光成分IRを輝度成分に利用することができ、感度アップを図ることができる。特に、低照度の下で撮影時に、ノイズの少ない輝度信号を得ることができる利点がある。
具体的には先ず、可視光カラー画像撮像用の色フィルタ14として、可視光VL(波長λ=380〜780nm)の3原色である青色成分B(たとえば波長λ=400〜500nmで透過率が略1、その他で略ゼロ)、緑色成分G(たとえば波長λ=500〜600nmで透過率が略1、その他で略ゼロ)、赤色成分R(たとえば波長λ=600〜700nmで透過率が略1、その他で略ゼロ)を中心とする原色フィルタ14を用いる。
なお、透過率が“略1”であるとは、理想的な状態をいったものであり、その波長領域での透過率がその他の波長領域での透過率よりも遙かに大きいものであればよい。一部に“1”でない透過率”があってもよい。また、透過率が“略ゼロ”であるについても、同様に理想的な状態をいったものであり、その波長領域での透過率がその他の波長領域での透過率よりも遙かに小さいものであればよい。一部に“ゼロ”でない透過率”があってもよい。
また、通過波長領域成分である可視光VL領域の内の所定色(原色もしくは補色)の波長領域成分を通過させるものであればよく、反射波長領域成分である赤外光IR領域を通過させるか否かすなわち赤外光IRに対する透過率は不問である。誘電体積層膜1によって赤外光IR成分をカットするからである。
一例として、図4(A)に示すような分光感度特性のものを用いることができる。たとえば、Bチャネルに対応する青色フィルタ14Bは、青色に相当する380nm〜480nm程度の波長の光信号の透過率が高いフィルタであり、Gチャネルに対応する緑色フィルタ14Gは、緑色に相当する約450〜550nmの波長の光信号の透過率が高いフィルタであり、Rチャネルに対応する赤色フィルタ14Rは、赤色に相当する約550〜650nmの波長の光信号の透過率が高いフィルタである。なお、これらのRGB対応の色フィルタ14R,14G,14Bは、約700nm以上の波長を持つ赤外光成分は殆ど透過しない性質を持っている。
一方、Aチャネル対応の白色フィルタ14Wは、ピークは約500nm付近であるが、RGB成分の全ての信号を透過するとともに、700nm以上の赤外光成分も透過する性質を持っている。対応する広波長領域画素12Aにて、可視光成分だけでなく、赤外光成分も検知可能にすることで、広波長領域画素12Aが、可視光領域内を複数に波長分離して各成分を検知する他の色画素(本例では赤色画素12R、緑色画素12G、青色画素12B)よりも高感度に検知できるようにしている。
なお、本例では、白色フィルタ14Wの可視光領域の透過率は、青色フィルタ14B、緑色フィルタ14G、赤色フィルタ14Rの各可視光領域の透過率の比と概ね同じにすることで広波長領域画素12Aにおける可視光帯のホワイトバランスを考慮しつつ、全体としてそれらの透過率よりも高く、広波長領域画素12Aでの可視光領域の感度自体も、青色画素12B、赤色画素12R、緑色画素12Gの感度よりも高くなるようにしてある。 不可視光成分の一例である赤外光成分も検知可能にすることで高感度化を図るだけでなく、可視光領域自体でも、可視光領域内を複数に波長分離して各成分を検知する他の色画素(本例では赤色画素12R、緑色画素12G、青色画素12B)よりも高感度に検知できるようにし、一層の高感度化を図るようにしているのである。
詳細な説明は割愛するが、このような高感度で得られる広波長領域画素12Aからの可視光領域のR,G,Bの成分を使って、青色画素12B、赤色画素12R、青色画素12Bのそれぞれから得られる色信号に対して補正を加えると、より高感度の色信号が得られるようになる。
ところで、一般的な撮像素子では、半導体層のいわゆるフォトダイオード部分などの検知部は、可視光領域成分に対する感度については十分に考慮されており、相応の感度が得られるようになっているが、赤外光成分に対する感度は十分なものとなっていない。
たとえば、図4から明らかなように、Aチャネル対応の全域通過型の白色フィルタ14Wが配された広波長領域画素12Aでは、可視光領域での感度は十分にあり、R,G,B画素の分光感度曲線より上回って大きくなっているのが分かる一方で、長波長側、特に赤外光領域での感度低下が大きいことも分かる。たとえば、広波長領域画素12Aの感度は、波長500nm程度にピークがあり、さらにそれより長波長側では感度が低下して、波長700nm以上の赤外光領域では感度が半分以下になることが分かる。このことは、固体撮像素子のデバイス構造が、可視光帯に対しては最適構造になっているかもしれないが、赤外光までの長波長まで感度がとれるような構造になっておらず、長波長側に対しては最適構造になっていないことを意味する。
そこで、本実施形態で使用する固体撮像素子のデバイス構造としては、この点を解消するべく、長波長領域でも十分な感度がとれるように、デバイスの側面から、次のような工夫を採る。具体的には、フォトダイオードなどの検知部の有効領域(表面からの厚み)を半導体層の深い所までとして、長波長領域でも十分な感度がとれるように感度向上化手法を適用する。以下、この点について詳細に説明する。
<長波長領域の感度向上化手法>
図5〜図7は、長波長領域での感度を向上させる手法を説明する図である。ここで、図5は、シリコンなど各半導体の吸収係数の波長依存性を説明する図である。図6は、フォトダイオードなどの検知部の有効厚みに対する光吸収率の特性を示す図である。また、図7は、半導体層の深さ方向におけるドーピング特性を説明する図である。ここで、図7(A)はN型基板を用いた場合であり、図7(B)はP型基板を用いた場合である。
図5(A)に示すように、たとえば、Si(シリコン)半導体の光の吸収係数は、青,緑,赤,赤外光の順に小さくなる、すなわち入射光に含まれる青色光、緑色光、赤色光、および赤外光に関しては、長波長になるにつれて吸収係数が減少する特性を持つことが分かる。この点に鑑みれば、長波長成分ほど半導体層の深い所まで入射することになり、その深い所でも信号電荷を検知するようにすれば感度向上を図ることができると考えられる。
そこで、図5(A)を元にして、シリコンSiを例に、フォトダイオードなどの検知部を形成するための第1導電型のドーパントが注入されている有効領域(表面からの厚み)と波長との関係について、図5(B)を参照して、考察してみる。
吸収係数をA、半導体表面の光強度をIo、表面からの深さ(有効領域)xにおける光強度をI(x)、表面からの深さ(有効領域)xにおける吸収率をB(x)とすると、光強度I(x)は式(1−1)で、吸収率Bは式(1−2)で、それぞれ表わすことができる。
式(1−1)は、吸収によって光強度がどのように変化するかを示すものである。つまり、光が図5(B)のように吸収係数Aの物体中を通過するときに光がどのように吸収によって減衰するかを見積もる。この場合、光強度Ioの光が距離xを進む場合、そのときの光強度は式(1−1)で表わされるのである。
したがって、吸収で減衰した光強度分ΔIは“Io−I(x)”となり、この吸収分が光電変換されて信号強度となる。したがって、光吸収率ΔI/Io=B(x)は、式(1−2)で表わされるのである。
ここで、吸収係Aが光の波長に依存するので、結局の所は、半導体表面からの距離xにおける位置での光吸収率B(x)も、光の波長に依存することになるのである。
そこで、図5に示した半導体の吸収係数の波長依存性を表すグラフをベースにして、シリコンSiの吸収係数の波長分散特性から、式(1−1)および式(1−2)に従って、計算によって光吸収率を求めると、図6が得られる。
ここで、図6では、1〜15μmの各有効厚みについて計算しているが、現在一般的に用いられているN型基板を用いた通常のセンサ構造では、表面から3μm程度までの薄い有効厚みになることが多い。たとえば、3μmの場合、波長800nmでの光吸収率は0.375まで低下し、そのために、この波長での感度が低いということになる。これに対して、半導体層の深い所までを有効領域にすると感度向上を図ることができる。たとえば、有効領域を5μmにすると0.543まで光吸収率が高くなり、その分が感度向上になる。
また、赤外光検知画素12IRの高感度化を図るだけでなく、アルゴリズムによる高感度化補正演算と組み合わせることで、画像として、本実施形態を実施しない場合に対して、たとえば数倍以上の高感度化を達成することが期待できる。
なお、半導体層の深い所までを有効領域にする、つまり検知部の有効領域を厚くするに当たっては、イオン注入領域を深くする手法を採ることが考えられる。ここで言うイオン注入とは、たとえばN型ドーパントである砒素Asを第1導電型の不純物(ドーパント)の一例として、照射エネルギを高くする方法によって表面から深くドーピングする手法を採るということである。
たとえば、イオンビームの注入深さと密度分布との関係(たとえば参考文献1を参照)を考慮して、ドーズ量と注入深さを調整する。
*参考文献1:石川順三、“荷電粒子ビーム工学”、コロナ社、2001年発行(初版)、p161
たとえば、参考文献1に示されているように、イオンビームリングラフィは、注入イオンの投影飛程からビーム強度とエッチング時間による構造深さを予測することができる。投影飛程Rp(nm)は、注入イオンの原子番号をZ1、基板の原子番号をZ2、標的の原子密度をN、注入イオンの質量数M1、標的の質量数をM2、イオンの持つ運動エネルギをE[kev]とすると、式(2)で求めることができる。
また、注入密度分布N(z)は、飛程Rpを中心をする標準偏差a(Rp)で近似できる。また、注入イオンの標準偏差a(Rp)は式(3)で求めることができる。
このとき、標的の原子密度N(Z)は、ドーズ量をNdとすると、式(4)で求めることができる。
イオンビームの注入深さは投影飛程Rpで考えることができるので、注入イオンの運動エネルギEを大きくする、つまり照射エネルギを高くする方法によって、表面から深い位置までドーパントをドーピングすることができ、有効領域を厚くすることができる。
なお、検知部の有効領域を厚くするに当たっては、結果物として、検知部の有効領域が厚くなっていればよく、イオン注入領域を深くする手法を採ることに限らず、たとえば、有効領域の一部または全部をエピタキシャル成長で作製することで実現してもよい。エピタキシャル成長ではイオンビーム注入に比べて濃度の深さ方向の制御がし易い。それに対して、イオンビーム注入では量産性に優れる。
ところが、このように、単純に有効領域を厚くすると、フォトダイオード内の深いところで発生した信号電荷(キャリア、たとえば電子)が表面側まで移動するのに時間が掛かり、信号読取りに問題が発生する。
そこで、N型基板を用いる場合には、図7(A)に示すように、半導体表面から深くなるにつれて、N型(第1導電型)ドーパントの一例である砒素Asのドーピング濃度が低くなるように変調ドーピングをするのが好ましい。
ここで、式(4)から分かるように、投影飛程Rpを大きくすると注入密度分布N(z)は小さくなるし、式(2)から分かるように、照射エネルギが高いほど投影飛程Rpは大きくなるので、イオン注入時に、照射エネルギを漸次(連続的もしくは段階的に)変更すれば、このような変調ドーピングを実現することができると考えられる。
こうすることで、図7(A)に示すように、奥側から表面に向けて信号電荷の読出しをし易くするようなバンドの傾斜による勾配を持った内部電界が発生する。その結果、フォトダイオード内部で光電変換によって発生した信号電荷を、勾配を持った電界を利用して半導体基板の表面側に高速に移動させることができ、半導体層内の奥側で発生した信号電荷を有効に電気信号に変換できる構造となる。
また、たとえばP型(第2導電型)ドーパントの一例である硼素BをN型(第1導電型)ドーパントの一例である砒素Asよりさらに深くドーピングするとよい。なお、ここで言うP型ドーパントをN型ドーパントより深くドーピングするという意味は、P型ドーパントの濃度のピーク位置をN型ドーパントの濃度のピーク位置より深くするということである。こうすることで、N型半導体基板20内の奥側でのバンドの傾斜をさらに大きくすることができ、変調ドーピングの効果をより高めることができるようになる。その結果、一層効率よく信号電荷を表面側に移動させて有効に信号に変換できる構造となる。
なお、これらイオン注入を深くするなどの手法により検知部の有効領域を厚くしたり変調ドーピングしたりすることで長波長領域の感度向上化手法を実施する必要があるのは、長波長領域の一例である赤外光に対する受光感度を高めようとすることに鑑みれば、赤外光を受光する画素については、必ず、実施するのが好ましいこととになる。
一方、可視光を受光する画素について考えた場合、長波長領域の感度向上化手法を実施すると、カラー画像撮像時には、カラー可視光像の再現に本来不要な赤外光成分の受光感度が向上してしまい問題が生じ得る。すなわち、可視光の画素にとっては赤外光に感度を持つ必要がなく、むしろ赤外光に感度を持つことで、混色の原因になり、色再現が悪くなる。赤外光が遮断されずに可視光の画素に混ざることで色が本来から異なってくるのである。
この点に鑑みれば、カラー画像撮像との組合せを考えた場合には、可視光画素の検知部は深く有効領域をとらない方がよく、赤外光を受光する画素についてのみ選択的に長波長領域の感度向上化手法を実施するのが好ましいこととになる。たとえば、図3の配列における広波長領域画素12Aのみにこの感度向上化手法を適用して、各色画素12R,12G、12Bのカラー可視光像用の画素には、この感度向上化手法を適用しないようにするのが好ましい。
これに対して、モノクロ画像撮像時には、赤外光成分をも利用することで感度向上を図ることができる。この点に鑑みれば、モノクロ画像撮像との組合せを考えた場合には、全ての画素について長波長領域の感度向上化手法を実施するのが好ましいことになる。
なお、上述した説明はN型基板を用いた場合であるが、実際には、P型基板を用いてもよい。ただしP型基板を用いる場合には、図7(B)に示すように、P型基板そのものが持つポテンシャル効果を利用できるので、P型ドーパントを深くドーピングする必要はなく、N型ドーパントについての変調ドーピングを実施するだけでもよい。
また、前述の説明は、光電変換で発生した信号電荷を電子として信号を取り出す場合について説明したが、これとは逆に、光電変換で発生した信号電荷を正孔として信号を取り出すようにしてもよく、この場合、前述の全てのP型とN型を逆にして考えればよく、P型とN型のドーピング状態を逆転すればよい。
<長波長領域の感度向上化の製造方法>
図8は、長波長領域の感度向上化を図ることのできる固体撮像素子の製造方法の一例を説明する図である。先ず、図8(A)に示すように、N型半導体基板20を用意する。次に、図8(B)に示すように、色フィルタC1〜C3(たとえばR,B,Gの各色フィルタ)を配置する可視光検知画素12VLと色フィルタC4を配置する赤外光検知画素12IR(広波長領域画素12A)について、画素種ごとにイオン注入の深さを変えるために、N型半導体基板20における可視光検知画素12VLの上に、予め、イオン注入深さを制限する制御膜(以下、干渉膜22と称する)を形成する。
第1導電型のドーパントの注入に対して注入深さを制限するための干渉膜22は、半導体基板20の可視光検知画素12VLに対応する位置のN型半導体基板20の表面にのみ存在し、赤外光検知画素12IRに対応する位置のN型半導体基板20の表面には開口部24を形成しておく、つまり干渉膜22を形成しない。
干渉膜22としては、第1導電型のドーパントの注入に対して注入深さを制限する機能を有していればよく、たとえば、酸化膜でもよいし、窒化膜でもよいし、レジスト膜など高分子膜でもよい。
次に、図8(C)に示すように、干渉膜22が形成されているN型半導体基板20の表面側から一様に、N型ドーパントの一例である砒素Asをイオン注入法を適用してドーピングする。この際、イオンビームが干渉膜22を通過するとき、そのエネルギが減衰されるようにすることで、イオンが深く注入されないようにする一方で、干渉膜22のない部分をイオンビームが通過するときには減衰がないようにすることで、全面に一様にN型ドーパントをイオン注入した場合でも、干渉膜22が配される可視光検知画素12VLと干渉膜22が配されない赤外光検知画素12IRのイオン注入の深さを選択的に変えることができる。
このとき、干渉膜22の厚みを制御することで、広波長領域画素12Aと可視光検知画素12VLのそれぞれについて、望みの位置までにイオン注入がなされることになる。たとえば、広波長領域画素12Aについては表面から5μmと深いところまでドーピングしつつ、可視光検知画素12VLについては表面から3μm程度のところまでドーピングすることができる。
なお、この際の照射エネルギ量は、先ず、赤外光検知画素12IRについて、希望の深さ位置までを有効領域に設定できるものとする。この照射エネルギ量のときに、可視光検知画素12VL側について希望の深さ位置までを有効領域に設定できるように、干渉膜22の材質や厚みを決めておくのがよい。
マスクを用意し、広波長領域画素12A用のイオン注入工程と赤外光検知画素12IR用のイオン注入工程とを分けて、イオンビームの照射強度を別にして実施することもできるが、この場合、工程数が増える難点がある。これに対して、本例の製造方法では、1つのイオンビーム照射工程で済むので、製造時間やコストを低減できる。
また、Asイオン注入を、たとえば3段階に照射エネルギを変えて、段階的に注入することで、変調ドーピングを実行する。こうすることで、たとえば赤外光検知画素12IRの部分については、表面から5μmと深いところで濃度を低く(〜1×10^15cm^3)、さらに浅いところで濃度を高く(〜1×10^17cm^−3)することができる。
照射エネルギを段階的に変える際の順序は、高エネルギ側から低エネルギ側に段階的に変更するようにしてもよいし、逆に、低エネルギ側から高エネルギ側に段階的に変更するようにしてもよい。
なお、この際に必要となる3段階の照射エネルギなどの条件は、前述の式(2)〜式(4)に従って設定すればよい。
この後さらに、図8(D)に示すように、N型半導体基板20の表面側から一様に、P型ドーパントの一例である硼素Bをイオン注入法を適用してドーピングする。この際にも、イオンビームが干渉膜22を通過するとき、そのエネルギが減衰されるようにすることで、イオンが深く注入されないようにする一方で、干渉膜22のない部分をイオンビームが通過するときには減衰がないようにすることで、全面に一様にP型ドーパントをイオン注入した場合でも、干渉膜22が配される可視光検知画素12VLと干渉膜22が配されない赤外光検知画素12IRのイオン注入の深さを選択的に変えることができる。
たとえば、広波長領域画素12Aについて表面から5〜5.5μmの所にドーピングするようにすれば、可視光検知画素12VLについては、概ね表面から3〜3.5μm程度の所にドーピングすることができる。
この後、不要な干渉膜22を排除した後に、電極や色フィルタ14を配置していく。
このような本例の製造方法では、N型半導体基板20の全面を一度にイオンドーピングするので、赤外光検知画素12IR側だけでなく、可視光検知画素12VL側についても、第1導電型のドーパントが注入されている有効領域内において、ドーパントの濃度が、半導体基板の表面から深くなるほど低濃度となる変調ドーピングが施されることになる。
このように、可視光検知画素にも変調ドーピングしても何ら不都合は生じない。すなわち、有効領域内(つまり光電変換部内部)の光電変換によって発生した信号電荷(たとえば電子)を表面側に電界で移動させて有効に信号に変換できる効果が、可視光検知画素にもあると考えられるからである。
<<撮像装置>>
図9は、物理情報取得装置の一例である撮像装置の概略構成を示す図である。この撮像装置300は、可視光カラー画像および赤外光画像を独立に得る撮像装置になっている。
具体的には、撮像装置300は、被写体Zの像を担持する光Lを撮像部側に導光して結像させる撮影レンズ302と、光学ローパスフィルタ304と、色フィルタ群312および固体撮像素子(イメージセンサ)314を有する撮像部(固体撮像装置)310と、固体撮像素子314を駆動する駆動部320と、固体撮像素子314から出力された各撮像信号SIR(赤外光成分),SV(可視光成分)を処理する撮像信号処理部330とを備えている。
光学ローパスフィルタ304は、折返し歪みを防ぐために、ナイキスト周波数以上の高周波成分を遮断するためのものである。また、図中に点線で示しように、光学ローパスフィルタ304と合わせて、赤外光成分を低減させる赤外光カットフィルタ305を設けることもできる。この点は、一般的な撮像装置と同様である。ただし、本構成例では、後述する信号処理との組合せとの観点から、赤外光カットフィルタ305を備えない構成を基本とする。
また、可視光カラー画像および近赤外光画像を独立に得る構成とする場合、撮影レンズ302を通して入射された光L1を不可視光の一例である赤外光IRと可視光VLとに分離する波長分離用の光学部材(波長分離光学系という)を備える仕組みが採られることもあるが、本構成では、そのような入射系において波長分離を行なう波長分離光学系を備えていない。
固体撮像素子314は、2次元マトリックス状に形成された光電変換画素群からなる撮像素子である。なお、本実施形態で用いる固体撮像素子314の具体的な構成においては、少なくとも、フォトダイオードなどの検知部が形成される半導体層については、前述の長波長領域に対する高感度化手法が適用されたものを使用する。一方、第1波長領域成分の一例である可視光領域と第2波長領域成分の一例である赤外光領域についての波長分離の仕組みについては、特に限定しない。
固体撮像素子314の撮像面では、被写体Zの像を担持する赤外光IRに応じた電荷や可視光VLに応じた電荷が発生する。電荷の蓄積動作や電荷の読出動作などの動作は、図示しないシステムコントロール回路から駆動部320へ出力されるセンサ駆動用のパルス信号によって制御される。
固体撮像素子314から読み出された電荷信号、すなわち赤外光画像を担持する赤外光撮像信号SIRと可視光像を担持する可視光撮像信号SVLは撮像信号処理部330に送られ、所定の信号処理が加えられる。
ここで、本実施形態の構成においては、色フィルタC4としては、色フィルタC1,C2,C3を通して得られる信号よりも光の利用効率が高い高感度信号が得られるようにしており、赤外光撮像信号SIRは、高感度撮像信号SHS(HS:High Sensitivity)としても機能するようになっている。
たとえば、撮像信号処理部330は、固体撮像素子314から出力されたセンサ出力信号(可視光撮像信号SVLおよび赤外光撮像信号SIR)に対して黒レベル調整やゲイン調整やガンマ補正などの前処理を行なう前処理部332と、前処理部332から出力されたアナログ信号をデジタイル信号に変換するAD変換部334と、撮影レンズ302で生じるシェーディングや固体撮像素子314の画素欠陥などを補正する画素信号補正処理部336と、画像信号処理部340とを備えている。
画像信号処理部340は、被写体Zを色フィルタC1〜C4の配列パターン(モザイクパターン)に従って画素ごとに異なる色と感度で撮像し、色と感度がモザイク状になった色・感度モザイク画像から、各画素が全ての色成分を有し、かつ、均一の感度を有する画像に変換する高感度化補正処理部341を備えている。
高感度化補正処理部341は、色フィルタC1〜C3を通して信号を検知する第1の検知部で検知された各波長の単位信号に基づいて測光量(測定量)を示す信号を取得し、この測光量を示す信号と色フィルタC4を通して信号を検知する第2の検知部で検知される高感度の第1の波長領域(本例では可視光領域)の各色成分の信号とを使って、第1の検知部で検知された各波長の単位信号(色信号)に対して感度補正演算を実行する。この感度補正演算としては、具体的には、第1の検知部で検知された各波長の色信号に対して、測光量を示す信号と第2の検知部で検知される高感度の色信号との比を掛けることで実現する。
このため、高感度化補正処理部341は、図示を割愛するが、撮像動作によって得られた色・感度モザイク画像から測光量を示す信号として輝度画像を生成する輝度画像生成処理部、および、色・感度モザイク画像と輝度画像を用いて単色画像R,G,Bを生成する単色画像処理部とを有する。なお、一般に、波長成分(色成分)や感度が異なるモザイク状の撮像情報としてのモザイク画像から、全ての画素位置について色や感度が均一な情報としての輝度画像や単色画像を生成する処理をデモザイク処理と称する。
また、高感度化補正処理部341は、単色画像処理部で得られる単色画像に対して、輝度画像生成処理部で得られる輝度画像(測光量を示す)と色フィルタC4を通して得られる高感度撮像信号SHSを用いて補正を加えることで、高感度補正がなされた単色画像R,G,Bを生成する高感度化補正部を備えている。
単色画像信号生成部は、注目する色成分について、色フィルタR,G,Bを通して得られる各色・感度モザイク画像、色フィルタR,G,Bの配列パターンを示す色モザイクパターン情報、および感度モザイクパターン情報に基づいて、近傍の同一色の画素信号SR,SG,SBを用いて色・感度モザイク画像に補間処理を施すことで、得られる全ての画素が各色成分の画素値を有する単色画像を生成する。
輝度画像生成部も、同様に、色フィルタC4を通して得られる色・感度モザイク画像、色フィルタC4の配列パターンを示す色モザイクパターン情報、および感度モザイクパターン情報に基づいて、近傍の同一色の画素信号SAを用いて色・感度モザイク画像に補間処理を施すことで、得られる全ての画素が高波長領域信号成分の画素値を有する広波長領域画像を生成し、これを、事実上、輝度画像として使用するようにする。
色フィルタC4を設けない、R,G,Bの3原色フィルタを配したベイヤ配列の場合、色フィルタR,G,Bを通して得られる各色・感度モザイク画像、色フィルタR,G,Bの配列パターンを示す色モザイクパターン情報、および感度モザイクパターン情報に基づいて、3原色成分R,G,Bの各推定値を求め、求めた推定値に色バランス係数を乗算し、各色についての乗算値を加算し、その和を画素値とする輝度画像を生成する必要があるが、本実施形態では、このような演算が不要になる。
なお、輝度画像生成部は、R,G,Bの合成演算手法を適用することもできる。たとえば、色・感度モザイク画像、色フィルタC1〜C4の配列パターンを示す色モザイクパターン情報、および感度モザイクパターン情報に基づいて、3原色成分R,G,Bの各推定値を求め、求めた推定値に色バランス係数を乗算する。そして、各色についての乗算値を加算し、その和を画素値とする輝度画像を生成する。ここで、色バランス係数kR,kG,kBは、予め設定されている値である。
また、画像信号処理部340は、可視光撮像信号SVLに対して赤外光撮像信号SIR(高感度撮像信号SHS)を使って補正を加えることで補正可視光撮像信号SVL*(SR*,SG*,SB*)を生成する赤外光抑制補正処理部342を備えている。
また、画像信号処理部340は、赤外光抑制補正処理部342から出力された補正可視光撮像信号SVL*に基づいて輝度信号を生成する輝度信号処理部344と、赤外光抑制補正処理部342から出力された補正可視光撮像信号SVL*に基づいて色信号(原色信号や色差信号)を生成する色信号処理部346と、赤外光撮像信号SIRに基づいて赤外光画像を表わす赤外光信号を生成する赤外信号処理部348とを備えている。
なお、本実施形態の構成例では、高感度化補正処理部341の後段に、赤外光対応の赤外光抑制補正処理部342を設けているが、赤外光抑制補正処理部342の後段に、高感度化補正処理部341を設ける構成とすることもできる。この場合、高感度化補正処理部341に設けられる輝度画像生成部を輝度信号処理部344と兼用し、また単色画像処理部を色信号処理部346と兼用することができる。
固体撮像素子314から出力された撮像信号は、撮像信号処理部330の前処理部332により所定レベルに増幅され、AD変換部334によりアナログ信号からデジタル信号に変換される。また、可視光成分のデジタルの画像信号は、赤外光抑制補正処理部342で赤外光成分が抑制され、さらに輝度信号処理部344や色信号処理部346にて、必要に応じて(特に色フィルタC1,C2,C3として補色フィルタを使用した場合)R,G,Bの色分離信号に分離された後、輝度信号や色信号もしくはこれを合成した映像信号などに変換され出力される。また、赤外信号処理部348にて、赤外光撮像信号SIRに対して可視光撮像信号SVLを使って補正が加えられる。
なお、赤外光抑制補正処理部342は、可視光撮像信号SVLに対して赤外光撮像信号SIRを使って補正を加えることができればよく、その配設位置は、このような構成に限定されない。たとえば、AD変換部334とシェーディング補正や画素欠陥補正を行なう画素信号補正処理部336との間に設け、シェーディング補正や画素欠陥補正の前に赤外光の影響を抑制する補正を行なうようにしてもよい。
あるいは、前処理部332とAD変換部334との間に設け、黒レベル調整やゲイン調整やガンマ補正などの前処理の後に赤外光抑制処理を行なうようにしてもよいし、固体撮像素子314と前処理部332との間に設け、黒レベル調整やゲイン調整やガンマ補正などの前処理の前に赤外光抑制処理を行なうようにしてもよい。
このような構成によって、撮像装置300は、撮影レンズ302により赤外光IRを含む被写体Zを表わす光学画像を取り込み、赤外光画像(近赤外光光学画像)と可視光像(可視光光学画像)とを分離することなく撮像部310に取り込み、撮像信号処理部330によってこれら赤外光画像と可視光像とをそれぞれ映像信号に変換した後に所定の信号処理(たとえばR,G,B成分への色信号分離など)を行なって、カラー画像信号や赤外光画像信号、あるいは両者を合成した混在画像信号として出力する。
たとえば、撮影レンズ302は、波長380nm程度から2200nm程度までの光を透過することができる石英またはサファイアなどの光学材料によって構成されるレンズであり、赤外光IRを含む光学画像を取り込んで、これを集光しながら固体撮像素子314上に結像させる。
また、本実施形態の撮像装置300においては、撮像部310に、本来の検知目的の波長成分の検知に最適化された検知部(イメージセンサ)を設けるようにする点に特徴を有している。特に、本実施形態においては、可視光VLと赤外光IRの内の短波長側を検知するべく、可視光VLの検知に最適化された固体撮像素子314が設けられている。
ここで“最適化されたイメージセンサ”とは、先ず、第1の波長領域の一例である可視光領域に関しては、本来の検知目的の波長成分の撮像信号に、本来の検知目的の波長成分以外(典型例としては赤外光成分)が可能な限り含まれないようにするような波長分離対応の領域を、いわゆるフォトダイオードなどの検知部が形成される半導体層上に備えた構造を持つことを意味する。
なお、このような波長分離対応の仕組みについては、たとえば、本出願人が特願2004−358139号にて提案しているように、誘電体積層膜を利用して電磁波を所定波長ごとに分光する波長分離の概念を採り入れた構造を採用するとよい。すなわち、固体撮像素子312の電磁波が入射する入射面側に、隣接する層間で屈折率が異なり所定の厚みを持つ層を複数積層した構造を有し、入射される光(電磁波)の内の本来の検知目的外である波長成分(本例では赤外光IR成分)を反射させ残り(本例では可視光VL成分)を通過させる特性を持った積層部材としての誘電体積層膜を利用した波長分離対応の構造を持つ分光イメージセンサ(分光検知部)とするのがよい。
あるいは、本出願人が特願2004−250049号にて提案したような回折格子を利用して波長分離を実現する構成のものや、その他の仕組みを利用して波長分離を実現する構成のものなど、様々なものを使用することもできる。
ただし、回折格子を利用して波長分離を行なう構造のものでは、広波長領域信号取得素子の部分については大きな開口部を設け、特定波長領域信号取得素子の部分には回折格子用の微小開口部を設けることになるが、特定波長領域信号取得素子の部分については、波長順に分離するので、特定波長領域信号取得素子の配置態様の自由度が少ない。
また、不可視光領域成分(たとえば赤外光成分)をも検知する形態の広波長領域画素12Aと可視光成分をさらに波長分離して検知する特定波長領域信号取得素子(赤色画素12R、緑色画素12G、青色画素12Bの組合せなど)とを2次元マトリクス状に配置した構造とする場合、特定波長領域信号取得素子側については、不可視光領域成分(たとえば赤外光成分)と可視光成分の分離性能が、色再現上、問題となり得る。
この点においては、本願出願人が特願2004−358139号にて提案しているように、第1の検知部の電磁波が入射する入射面側に、隣接する層間で屈折率が異なり所定の厚みを持つ層を複数積層した構造を有し、電磁波の内の所定の波長領域成分を反射させ残りを通過させる特性を持った積層部材が配されている構造の本来的に赤外光成分の抑制能力の高い素子とするのが好ましい。
また、第2の波長領域の一例である赤外光領域に関しては、いわゆるフォトダイオードなどの検知部が形成される半導体層において、本来の検知目的の波長成分(赤外光成分)の受光感度が、従来構造よりも高まるようなデバイスの側面からの工夫が採られているものを使用する。このようなデバイスの側面からの工夫については、前述のように、長波長領域に対する高感度化手法を適用する。
本実施形態の撮像装置300では、信号処理をどのようにするか次第ではあるが、可視光VLと可視光以外(本例では赤外光IR)とを混在させた画像の撮像を行なうことができるし、場合によっては、可視光VLのみの画像と赤外光IRのみの画像とを分離して出力することもできる。
また、昼間におけるモノクロ画像あるいはカラー画像の撮像時に赤外光IRの影響を受けず、また、夜間などにおいて、赤外光IRによる撮像が可能となる。必要に応じて、他方の像も同時に出力することもできる。その場合でも、昼間において、可視光VLの影響を受けない赤外光IRのみの画像を得ることができる。
たとえば赤外光IRの影響をほぼ全く受けない可視光VLのみのモノクロ画像が得られる。特開2002−142228号公報記載の仕組みとは異なり、赤外光IRの影響をほぼ全く受けない可視光VLのモノクロ画像を得るに際して、赤外光IRの成分との間での演算処理が不要である。
さらに、固体撮像素子312上に、可視光VL内を所定の波長領域成分に分離する光学部材の一例として、可視光領域において所定の波長透過特性を持つ色フィルタを画素(単位画素マトリクス)に対応させて設けることで、赤外光IRの影響をほぼ全く受けない可視光領域中の特定波長領域のみの像が得られる。
また、単位画素マトリクスを構成する複数のフォトダイオード上に一体的に、可視光領域においてそれぞれ異なる波長透過特性を持つ色フィルタを、各波長対応(色別)のフォトダイオードに位置整合させ、規則的に配列することで、可視光領域を波長別(色別)に分離することができ、これらの色別の画素から得られる各画素信号に基づいて、赤外光IRの影響をほぼ全く受けない可視光VLのみのカラー画像(可視光カラー画像)が得られる。
もちろん、波長別(色別)の信号を合成することで可視光のみのモノクロ画像を得ることもできる。広波長領域画素12A側で得られる赤外光成分を含むモノクロ画像と可視光のみのモノクロ画像とを使ったアプリケーションも可能となるし、両者の差分から、赤外光成分のみの画像を抽出することもできる。
このように、可視光VLのモノクロ画像あるいはカラー画像と、“赤外光IRに関わる像”をそれぞれ独立に求めることが常時可能となる。“赤外光IRに関わる像”とは、可視光VLの影響をほぼ全く受けない赤外光IRのみの像や赤外光IRと可視光VLとを混在させた像を意味する。
特開2002−142228号公報記載の仕組みのような単純なマトリクス演算とは異なり、赤外光IRの影響をほぼ全く受けない可視光VLのカラー画像を得るに際して、可視光領域の信号成分SVから少なくも赤外光領域の成分を含む信号成分SIRに所定の係数αを掛けた信号成分を減算する補正演算を行なうと、可視光領域の画素信号に含まれる赤外光成分を精度よく抑制することができる。
また、特開2003−70009号公報記載の仕組みのような単なる見積もりで補正するのではなく、赤外光成分を実測し、その情報を使って可視光成分に補正を加えると、実情に即してかつ精度よく補正を行なうことができる。
このように、可視光VLのモノクロ画像あるいはカラー画像と、“赤外光IRに関わる像”をそれぞれ独立に求めることが常時可能となる。“赤外光IRに関わる像”とは、可視光VLの影響をほぼ全く受けない赤外光IRのみの像や赤外光IRと可視光VLとを混在させた像を意味する。
また、赤外光IRの影響をほぼ全く受けない可視光VLのみの撮像(モノクロ撮像もしくはカラー撮像)と、赤外光IRと可視光VLとを混在させた撮像を、同時に行なうようにすることもできる。また、可視光VLのみの成分(モノクロ像成分もしくはカラー像成分)と、赤外光IRと可視光VLとを混在させた成分との合成処理(詳しくは差分処理)により、可視光VLの影響をほぼ全く受けない赤外光IRのみの撮像を行なうようにすることもできる。
なお、上記において、“影響をほぼ全く受けない”とは、最終的に人間の視覚によることを考慮し、一般的に人間の視覚によって明確な差が関知できない程度であれば、“影響を若干受ける”ことがあってもよい。すなわち、赤外光IR側については通過波長領域(可視光VL)の影響を無視可能な赤外画像(物理情報の一例)を取得できればよく、可視光VL側については反射波長領域成分(赤外光IR)の影響を無視可能な通常画像(物理情報の一例)を取得できればよい。
なお、色フィルタC4として、白色フィルタを使用する場合には、色フィルタC4が配される補正画素は、可視光から赤外光まで広い波長域において感度を持つことになるので、色フィルタC1,C2,C3が配される可視光撮像用の他の画素に比べて、画素信号が飽和し易い。
この問題を避けるには、色フィルタC4が配される第2の検知部の検知時間を駆動部320により制御するとよい。たとえば、明るい所での撮像においては、電子シャッタ機能を利用するなどして、通常よりも短い周期で補正画素の検知部から画素信号を読み出して、それを前処理部332に送るようにするのがよい。この場合、60フレーム/秒より高いレートで信号を送ることで飽和に対して効果が得られる。
あるいは単に0.01667秒より短い時間(蓄積時間)で補正画素の検知部から電荷を読み出せればよい。この場合、オーバーフローを用いて基板側に電荷信号を排出することで実効的に短い時間での電荷の蓄積を読み出してもよい。さらに望ましくは、240フレーム/秒より高いレートで信号を送ることで飽和に対して効果がよりある。あるいは、単に4.16ミリ秒より短い時間(蓄積時間)で検知部から電荷を読み出せればよい。何れにしても、補正画素の検知部から出力される画素信号が飽和し難いようにできればよい。なお、このように飽和しないように短い時間(蓄積時間)で電荷を読み出すのは補正画素だけ行なってもよいし、全画素をそのようにしてもよい。
さらに短い時間で読み取った信号を2回以上積算することで、弱い信号を強い信号に変換し、S/N比を高めてもよい。たとえば、このようにすることで暗いところで撮像しても、また明るいところで撮像しても適切な感度と高いS/N比が得られ、ダイナミックレンジが広がることになる。
このように、本実施形態の撮像装置300では、3原色成分に基づく可視光カラー画像と、赤外光IRのみの像または赤外光IRと可視光VLの混合の像を同時に撮像できる。また、色フィルタC4として、白色フィルタを使用する場合には、高感度画素12HSで得られる高感度信号を利用して3原色成分の信号に補正を加えることで高感度対応の3原色信号を取得できるし、高感度画素12HSで得られる高感度信号そのものを輝度信号として使用することもできる。
ただし、たとえば、誘電体積層膜を利用したセンサ構造とする場合、デバイスの厚さや受光感度や色再現性などの全てを最適にすることは難しく、全体のバランスを取った構造にせざるを得ず、結果として、可視光カラー画像については、赤外光成分の漏れによる色再現性が問題として残る。
また、回折格子501を利用した分光イメージセンサ511の場合、幅方向における波長による場所依存性を利用することで可視光と赤外光とを分離できるが、可視光と赤外光の境界付近では可視光(青色光、緑色光、および赤色光)と赤外光の分離が不完全であり、結果として、赤外光成分の漏れによる色再現性が問題として残る。逆に、赤外光画像に関しては、可視光成分の漏れによる影響が存在する。
このような問題を解決するべく、本実施形態の撮像装置300は、画像信号処理部340に赤外光抑制補正処理部342を備えることで、可視光を受光する検知領域における赤外光混入による色再現問題の解決を図るようにしている。加えて、赤外光成分の受光感度が向上するように半導体層の側面(デバイスの側面)から改善を図っておくことで、その赤外光成分を使った補正結果が十分な性能になるようにしている。
こうすることで、光学的な波長分離手段(典型例は赤外光カットフィルタ)をイメージセンサの前に設けなくても信号処理によって可視光領域に対しての不要成分である赤外光を抑制・除去できる。赤外光の漏れが可視光検知部の検知結果に存在しても、その不要な赤外光の成分を信号処理により抑制・除去できるので、十分な色再現性の可視光カラー画像を取得できる撮像装置の実現に際し、イメージセンサの使用範囲が広くなる。
<撮像装置;CCD対応>
図10は、図1に示す色分離フィルタ配置を、インターライン転送方式のCCD固体撮像素子(IT_CCDイメージセンサ)に適用した場合の撮像装置の回路図である。
ここで、図10は、可視光帯内をR,G,Bの各色成分に分けつつ赤外光IRを検知するようにした構造を示し、可視光VLの内の青色光B、緑色光G、および赤色光Rと、赤外光IRとを、それぞれ独立に検知する構造であり、実質的には画素マトリクス12MTX 内において波長別に画素(光電変換素子)12B,12G,12Rを形成しつつ、波長分離構造を有していない赤外光検知画素12IRを有し、赤外光検知画素12IRを他の画素に対して補正画素として利用する構造である。
色フィルタ14の具体的な配列としては、たとえば、広波長領域画素12Aで得られる広波長領域画像(つまり輝度画像)の解像度低下を抑えるべく図2(B)に示したものを採用する。
CCD固体撮像素子101は、図10(A)に示すように、画素マトリクス12MTX の他に、垂直転送方向に、垂直転送CCD122が複数本並べられて設けられている。さらに、垂直転送CCD122と各画素12との間には読出ゲート124をなすMOSトランジスタが介在し、また各ユニットセル(単位構成要素)の境界部分には図示しないチャネルストップが設けられる。
センサ部112の垂直列ごとに設けられ、各センサ部から読出ゲート124によって読み出された信号電荷を垂直転送する複数本の垂直転送CCD122とセンサ部112とによって撮像エリア110が構成される。
センサ部112の画素12に蓄積された信号電荷は、読出ゲート124に読出パルスROGに対応するドライブパルスφROGが印加されることで、同一垂直列の垂直転送CCD122に読み出される。垂直転送CCD122は、たとえば3相〜8相などの垂直転送クロックVxに基づくドライブパルスφVxよって転送駆動され、読み出された信号電荷を水平ブランキング期間の一部にて1走査線(1ライン)に相当する部分ずつ順に垂直方向に転送(ラインシフトと称する)する。
赤外光検知画素12IRは、本実施形態の構成においては、高感度対応の色フィルタC4が設けられることで、特に高感度画素12HSとしての機能を持つ。また本例では、高感度画素12HSは、広波長領域画素12Aでもある。
また、CCD固体撮像素子101には、複数本の垂直転送CCD122の各転送先側端部すなわち、最後の行の垂直転送CCD122に隣接して、所定(たとえば左右)方向に延在する水平転送CCD126(Hレジスタ部、水平転送部)が1ライン分設けられる。
この水平転送CCD126は、たとえば2相の水平転送クロックH1,H2に基づくドライブパルスφH1,φH2によって転送駆動され、複数本の垂直転送CCD122から転送された1ライン分の信号電荷を、水平ブランキング期間後の水平走査期間において順次水平方向に転送する。このため2相駆動に対応する複数本(2本)の水平転送電極が設けられる。
水平転送CCD126の転送先の端部には、たとえばフローティング・ディフュージョン・アンプ(FDA)構成の電荷電圧変換部を有する出力アンプ128が設けられる。出力アンプ128は、物理情報取得部の一例であって、電荷電圧変換部において、水平転送CCD126によって水平転送されてきた信号電荷を順次電圧信号に変換し所定レベルに増幅して出力する。この電圧信号は、被写体からの光の入射量に応じたCCD出力(Vout )として画素信号が導出される。以上により、インターライン転送方式のCCD固体撮像素子101が構成される。
CCD出力(Vout )として出力アンプ128から導出された画素信号は、図10(B)に示すように、撮像信号処理部330に入力される。撮像信号処理部330には、信号切替制御部の一例である画像切替制御部360からの画像切替制御信号が入力されるようになっている。
画像切替制御部360は、撮像信号処理部330の出力を赤外光IRの影響をほぼ全く受けない可視光VLのモノクロ画像やカラー画像と、可視光VLの影響をほぼ全く受けない赤外光IRの画像の何れか一方のみ、もしくはこれらの双方、あるいは可視光VLと赤外光IRの混在画像すなわち赤外光IRの輝度を加算した擬似モノクロ画像あるいは擬似カラー画像にするかの切替えを指令する。つまり、可視光VLの画像と赤外光IRに関わる画像との同時撮像出力や切替撮像出力を制御する。
この指令は、撮像装置を操作する外部入力によってもよく、また、撮像信号処理部330の赤外光IRのない可視光輝度により画像切替制御部360が自動処理により切替えを指令してもよい。
ここで、撮像信号処理部330は、たとえば、各画素の撮像データR,G,B,IRを同時化する同時化処理、スミア現象やブルーミング現象によって生じる縦縞のノイズ成分を補正する縦縞ノイズ補正処理、ホワイトバランス(WB;White Balance )調整を制御するWB制御処理、階調度合いを調整するガンマ補正処理、電荷蓄積時間の異なる2画面の画素情報を利用してダイナミックレンジを拡大するダイナミックレンジ拡大処理、あるいは輝度データ(Y)や色データ(C)を生成するYC信号生成処理などを行なう。これにより、赤(R),緑(G),青(B)の原色の撮像データ(R,G,B,IRの各画素データ)に基づく可視光帯の画像(いわゆる通常画像)が得られる。
また、撮像信号処理部330は、赤外光IRの画素データを用いて、赤外光IRに関わる画像を生成する。たとえば、可視光像取得用の画素12R,12G,12Bに対して補正画素として機能する赤外光検知画素12IRにおいて、赤外光IRだけでなく可視光VLも同時に信号に寄与するように色フィルタC4を入れない場合には、赤外光検知画素12IRからの画素データを用いることで、高感度の画像が得られる。また、画素12R,12G,12Bから得られる各色成分との差分を取ることで、赤外光IRのみの像が得られる。
このようにして生成された各画像は、図示しない表示部に送られ、操作者に可視画像として提示されたり、あるいはそのままハードディスク装置などの記憶装置に記憶・保存されたり、またはその他の機能部に処理済みデータとして送られる。
<センサ構造の具体例;CCD対応>
図11は、図10に示したインターライン転送方式のCCD固体撮像素子の基板表面付近の断面構造を示す模式図である。ここでは、可視光VLのみを受光する可視光検知画素12VL(色画素12R,12G,12B)と赤外光検知画素12IR(=画素12HS,広波長領域画素12A)とを示している。
赤外光IRと可視光VLの混合を受光する赤外光検知画素12IRは、誘電体積層膜および色フィルタ14がない構造である。すなわち、誘電体積層膜をCVD法でSiN層とSiO2層を順次積層した後、リソグラフィ技術とRIE法によって赤外光IRを受光する画素のみにおいて除去する。その後、再びSiO2層を積層して平坦化した。
一方、可視光帯内を色別に検知する可視光検知画素12VLでは、図示を割愛した色フィルタが配されるとともに、赤外光を排除するための誘電体積層膜1が半導体層上に形成される。
ここで、赤外光検知画素12IRでは、PN接合でなる検知部のN型層の厚みを、半導体表面から5μmとして、N型ドーパントの一例である砒素Asがイオン注入されている。さらに、P−Well層としてP型ドーパントの一例である硼素Bが、半導体表面から5〜5.5μmにイオン注入されている。
これに対して、可視光検知画素12VLでは、PN接合でなる検知部のN型層の厚みを、半導体表面から3μmとして、N型ドーパントの一例である砒素Asがイオン注入されている。さらに、P−Well層としてP型ドーパントの一例である硼素Bが、半導体表面から3〜3.5μmにイオン注入されている。
このような構造で作製されたCCD撮像素子を用いることで、3原色の可視光VLの像と、赤外光IRのみの像または赤外光IRと可視光VLの混合の像を同時に撮像できることが分かった。また、赤外光検知画素12IRを高感度にすることができた。
たとえば、図2(B)に示したフィルタ配列を採用すると、赤外光検知画素12IRは、赤外光IRと可視光VLの混合成分を受光する広波長領域画素12Aとして使用でき、この広波長領域画素12Aからの画素データをそのまま用いることで、赤外光IRと可視光VLの混合成分の像を得ることができ、これを輝度信号として使用することで、感度を高くすることができる。また、赤外光成分の感度が従前のものよりも高いので、赤外光成分を輝度成分に利用することによる感度アップの効果をより高めることができる。画像として高感度化を飛躍的に高めることができる。
<撮像装置;CMOS対応>
図12は、図1に示す色分離フィルタ配置を、CMOS固体撮像素子(CMOSイメージセンサ)に適用した場合の撮像装置の回路図である。
ここで、図12は、可視光帯内をR,G,Bの各色成分に分けつつ赤外光IRを検知するようにした構造を示し、可視光VLの内の青色光B、緑色光G、および赤色光Rと、赤外光IRとを、それぞれ独立に検知する構造であり、実質的には1つの単位画素マトリクス内において波長別に画素(光電変換素子)12B,12G,12Rを形成しつつ、波長分離構造を有していない赤外光検知画素12IRを有し、赤外光検知画素12IRを他の画素に対して補正画素として利用する構造である。
色フィルタ14の具体的な配列としては、CCDの場合と同様に、たとえば、広波長領域画素12Aで得られる広波長領域画像(つまり輝度画像)の解像度低下を抑えるべく図2(B)に示したものを採用する。この場合、赤外光検知画素12IRは、高感度対応の色フィルタC4が設けられることで、特に高感度対応の画素12HS(広波長領域画素12A)としての機能を持つ。
COMSに応用した場合、単位画素マトリクス内の1つ1つの画素(光電変換素子)12B,12G,12R,12IRに対してセルアンプを1つ持つ構造となる。よってこの場合、図12(A)のような構造となる。画素信号はセルアンプで増幅された後にノイズキャンセル回路などを通して出力される。
たとえばCMOS固体撮像素子201は、入射光量に応じた信号を出力する受光素子(電荷生成部の一例)を含む複数個の画素が行および列に配列された(すなわち2次元マトリクス状の)画素部を有し、各画素からの信号出力が電圧信号であって、CDS(Correlated Double Sampling ;相関2重サンプリング)処理機能部やデジタル変換部(ADC;Analog Digital Converter)などが列並列に設けられている、いわゆる典型的なカラム型となっている。
具体的には、図12に示すように、CMOS固体撮像素子201は、複数の画素12が行および列に配列された画素部(撮像部)210と、画素部210の外側に設けられた駆動制御部207と、カラム処理部226と、出力回路228とを備えている。
駆動制御部207は、画素部210の信号を順次読み出すための制御回路機能を備えている。たとえば、駆動制御部207としては、列アドレスや列走査を制御する水平走査回路(列走査回路)212と、行アドレスや行走査を制御する垂直走査回路(行走査回路)214とを備えている。
水平走査回路212は、カラム処理部226からカウント値を読み出す読出走査部の機能を持つ。これらの駆動制御部207の各要素は、画素部210とともに、半導体集積回路製造技術と同様の技術を用いて単結晶シリコンなどの半導体領域に一体的に形成され、半導体システムの一例である固体撮像素子(撮像デバイス)として構成される。
画素12は、典型的には、受光素子(電荷生成部)としての単位画素マトリクスと、増幅用の半導体素子(たとえばトランジスタ)を有する画素内アンプ(セルアンプ;画素信号生成部)205(波長別には205B,205G,205R,205IR)とから構成される。画素信号生成部205IRは、本実施形態の構成においては、高感度対応の画素信号生成部としての機能を持つ。
また、図12から分かるように、1つの単位画素マトリクスが、青色光B、緑色光G、赤色光R、および赤外光IRを独立に検知する構造であり、実質的には1つの単位画素マトリクス12MTX 内において波長(色)別に画素12B,12G,12R,12IRを形成した構造である。
画素12は、行選択のための行制御線215を介して垂直走査回路214と、また垂直信号線219を介してカラム処理部226と、それぞれ接続されている。ここで、行制御線215は垂直走査回路214から画素に入る配線全般を示す。
水平走査回路212や垂直走査回路214は、たとえばシフトレジスタやデコーダを含んで構成され、図示を割愛した通信・タイミング制御部から与えられる制御信号に応答してアドレス選択動作(走査)を開始するようになっている。このため、行制御線215には、画素12を駆動するための種々のパルス信号(たとえば、リセットパルス、転送パルス、ドレイン制御パルスなど)が含まれる。
水平走査回路212は、図示を割愛した通信・タイミング制御部から与えられるクロックに同期してカラム処理部226内の図示しないカラム回路を順番に選択し、その信号を水平信号線(水平出力線)218に導くものである。
垂直走査回路214は、画素部210の行を選択し、その行に必要なパルスを供給するものである。たとえば、垂直方向の読出行を規定する(画素部210の行を選択する)垂直デコーダと、垂直デコーダにて規定された読出アドレス上(行方向)の画素12に対する行制御線215にパルスを供給して駆動する垂直駆動回路とを有する。なお、垂直デコーダは、信号を読み出す行の他に、電子シャッタ用の行なども選択する。
このような構成のCMOS固体撮像素子201において、画素12から出力された画素信号は、垂直列ごとに、垂直信号線219を介して、カラム処理部226のカラム回路に供給される。ここで、単位画素マトリクス(各画素12B,12G,12R,12IR)に蓄積された信号電荷は、同一垂直列の垂直信号線219を介して読み出される。
カラム処理部226の各カラム回路は、1列分の画素の信号を受けて、その信号を処理する。たとえば、各カラム回路は、アナログ信号を、図示を割愛した通信・タイミング制御部から与えられるクロックを用いて、たとえば10ビットのデジタルデータに変換するADC(Analog Digital Converter)回路を持つ。
また、回路構成を工夫することで、垂直信号線219を介して入力された電圧モードの画素信号に対して、画素リセット直後の信号レベル(ノイズレベル)と真の(受光光量に応じた)信号レベルVsig との差分をとる処理を行なうことができる。これにより、固定パターンノイズ(FPN;Fixed Pattern Noise )やリセットノイズといわれるノイズ信号成分を取り除くことができる。
このカラム回路で処理されたアナログの画素信号(あるいはデジタルの画素データ)は、水平走査回路212からの水平選択信号により駆動される水平選択スイッチ217を介して水平信号線218に伝達され、さらに出力回路228に入力される。
このような構成によって、電荷生成部としての単位画素マトリクス(画素12B,12G,12R,12IR)が行列状に配された画素部210からは、行ごとに各垂直列について画素信号が順次出力される。そして、受光素子が行列状に配された画素部210に対応する1枚分の画像すなわちフレーム画像が、画素部210全体の画素信号の集合で示されることとなる。
出力回路228は、CCD固体撮像素子101における出力アンプ128に対応するものであって、その後段には、CCD固体撮像素子101と同様に、図12(B)に示すように、撮像信号処理部330が設けられる。撮像信号処理部330には、CCD固体撮像素子101の場合と同様に、画像切替制御部360からの画像切替制御信号が入力されるようになっている。
これにより、赤(R),緑(G),青(B)の原色の撮像データ(R,G,B,IRの各画素データ)もしくは可視光VL用の画素データに基づく可視光帯の画像(いわゆる通常画像)が得られるとともに、赤外光IRの画素データを用いることで、赤外光IRに関わる画像を得ることができる。
<センサ構造の具体例;CMOS対応>
図13は、図12に示したCMOS固体撮像素子の基板表面付近の断面構造を示す模式図である。また、図14は、その画素内アンプ205の一例を示す図である。ここでは、可視光VLのみを受光する可視光検知画素12VL(色画素12R,12G,12B)と高感度対応の赤外光検知画素12IR(=画素12HS,広波長領域画素12A)とを示す。
本例の画素内アンプ205としては、図14に示すように、画素12で検知される信号電荷を電圧信号に変換して画素信号として出力するアンプトランジスタと、リセット線を介して供給されるリセットパルスに従って画素をリセットするリセットトランジスタと、垂直選択線を介して供給される垂直選択パルスに従ってアンプトランジスタから出力される画素信号を信号線に選択的に出力するスイッチ(SW)トランジスタとを備えた3トランジスタ構成のものとしている。
なお、ここで示す構図では、可視光検知画素12VL部分について誘電体積層膜1を赤外光除去用に使用するが、この際、画素配線としてのメタル配線を考慮して、シリコン基板1_ωよりある程度距離の離れた上側において、誘電体積層膜1をシリコン基板1_ω上に、フォトダイオードなどの検知部と一体的に形成する。
CMOS構造を考えると、フォトダイオードなどの検知部が形成された半導体素子層上に配線層を3つ有し、それらの総厚みが3.2μm程度ある場合において、フォトダイオードなどが形成されるシリコン基板1_ωよりも略3.2μm上に多層膜構造を一体的に形成する場合、最上である第3層目の配線層のプロセスの後に誘電体積層膜1を形成すればよいことになる。こうすることで、厚みdk=3.2μmを持つ第k層内に配線層を設けることができる。
ここで、“略3.2μm”と記載したのは、図示のように、本例では、シリコン基板1_ω上に厚みが10nm程度のSiO2層(δ層)を設け、その上に、厚みが65nm程度のSiN層(γ層)を設けており、“3.2μm”は、これらγ,δ層を除くk層の厚さを意味するからである。
色フィルタ14やマイクロレンズなどは、この誘電体積層膜1を形成した後に形成すればよい。
ここで、CMOSの場合においても、CCDの場合と同様に、赤外光検知画素12IRでは、PN接合でなる検知部のN型層の厚みを、半導体表面から5μmとして、N型ドーパントの一例である砒素Asがイオン注入されている。さらに、P−Well層としてP型ドーパントの一例である硼素Bが、半導体表面から5〜5.5μmにイオン注入されている。
これに対して、可視光検知画素12VLでは、PN接合でなる検知部のN型層の厚みを、半導体表面から3μmとして、N型ドーパントの一例である砒素Asがイオン注入されている。さらに、P−Well層としてP型ドーパントの一例である硼素Bが、半導体表面から3〜3.5μmにイオン注入されている。
このような構造で作製されたCMOS撮像素子を用いることで、CCD撮像素子の場合と同様に、3原色の可視光VLの像と赤外光IRのみの像または赤外光IRと可視光VLの混合の像を同時にかつ高感度で撮像できることが分かった。
以上説明したように、本実施形態の仕組みでは、可視光帯用の波長分離フィルタ(色フィルタC1〜C3)の他に、可視光帯以外のより長波長側の成分(たとえば赤外光成分)に対応した色フィルタC4を配した画素(赤外光検知画素12IR)を用意する際に、その赤外光検知画素12IRの検知感度をデバイスの側面から向上させるようにした。
これにより、不可視光成分として赤外光成分を適用したときに、眼で見ることのできない赤外光の像情報を同時に取得することができるし、従前よりも高感度で取得できるようになるので、たとえば、低照度環境下での撮像にも十分に耐え得るようになる。可視光のみならず赤外光成分まで充分な感度がとれ、かつ信号として有効に読み取りが可能となる。よって、可視光のない、たとえば夜間においても、赤外光を照射して撮像することで、より鮮明な像を得ることができるので、防犯用のイメージセンサとしての応用も可能である。
加えて、長波長成分についてのデバイスの側面からの高感度化対応と相俟って、後段の信号処理における赤外光成分を使った補正演算のアルゴリズムを適用することで、さらなる感度向上や色再現の向上を図ることもでき、今まで撮像ができなかった暗いところでも良好なカラー画像を容易に撮像できる。また、赤外光成分の感度がよいことによって、その際に使用する赤外光成分のS/Nが良好であり、補正演算によるS/N低下を引き起こすこともない。また、高感度化により高速シャッタが可能となり、手ブレや被写体ブレが少なくなる。
また、必ずしも可視光に限らず、赤外光も同時に検出してイメージ化できる。これによって眼で見ることができる可視光のイメージ像と対応して、眼で見ることのできない赤外光の像情報を同時に受けることができる。これによって新しい情報システムへのキーデバイスとして応用が広がる。