以下、図面を参照して本発明の実施形態について詳細に説明する。
<<基本概念>>
図1は、本実施形態で採用する色分離フィルタの色配置例の基本構造を示す図である。ここでは、可視光カラー画像用に色フィルタC1,C2,C3(何れも選択的な特定波長領域である第1の波長領域成分を透過)の3つの波長領域(色成分)用のものと、色フィルタC1,C2,C3とは異なる色フィルタC4といった別個のフィルタ特性を有する4種類の色フィルタを規則的(本例では正方格子状)に配設している。なお、本例の場合、第1の波長領域成分は可視光領域成分となる。
色フィルタC1,C2,C3,C4を通して対応する検知部で検知することで、それぞれの成分を独立して検知することができる。色フィルタC1,C2,C3が配される検知部が第1の検知部であり、色フィルタC4が配される検知部が第2の検知部である。また、色フィルタC1,C2,C3が配される検知部(検知要素)は、カラー画像取得のために第1の波長領域(可視光領域)を、さらに色分離に対応するように、波長分離して検知するためのものである。
本実施形態において、色フィルタC4を通して得られる第2の波長領域の成分は、第2の検知部を、カラー画像取得用の色フィルタC1,C2,C3の検知部よりも光の利用効率が高い画素とし、この第2の波長領域の成分を検知した第2の検知部から出力される高
光利用効率の検知信号を用いて、光の利用効率が高い画像信号を取得することができるようにするものである。
ここで、光の利用効率が高い画素とするに当たっては、本実施形態では、先ず第1の手法として、第2の波長領域の成分は、第1の波長領域の成分(可視光領域成分)のほぼ全体を含むとともに、この可視光領域成分以外の成分である不可視光領域成分(たとえば短波長側の紫外光成分や長波長側の赤外光成分)を含むものとする。第1の波長領域の成分以外の成分をも利用することで、光(電磁波)の利用効率を高める思想である。
こうすることで、第2の検知部から出力される高光利用効率の検知信号は、可視光部分のいわゆる輝度信号成分と不可視光信号成分の双方を含む広波長領域信号となり、その結果として、解像度の高い広波長領域画像を得ることができる。
また、第2の検知部で検知した広波長領域信号(検知信号の一例)と、色フィルタC1,C2,C3を通して第1の波長領域の成分を検知した各第1の検知部から出力される各検知信号との間で所定の補正演算処理(ここでは色補正演算処理を意味する)を実行すれば、可視光カラー画像を色再現性の高い画像を取得することができるようになる(詳細は後述する)。
また、不可視光成分として赤外光成分を適用したときには、眼で見ることのできない赤外光の像情報を同時に取得することができるので、たとえば、低照度環境下での撮像にも耐え得るようになる。可視光のない、たとえば夜間においても、赤外光を照射して撮像することで、鮮明な像を得ることができるので、防犯用のイメージセンサとしての応用も可能である。このように、眼で見ることができる可視光のイメージ像と対応して、眼で見ることのできない赤外光の像情報を可視光成分と同時に受けることができる。これによって新しい情報システムへのキーデバイスとして応用が広がる。
また、不可視光成分として紫外光成分を適用したときには、眼で見ることのできない紫外光の像情報を同時に取得することができるので、たとえば、植物観察用の撮像にも使えるようになる。
なお、第1の手法を適用するに当たっては、第2の検知部では、不可視光領域成分を検知する必要があるので、第2の検知部に赤外光などの不可視光が入射するようにする必要があるので、従来よく使われている赤外光カットフィルタを取り除いて撮像する。
なお、詳細については説明を割愛するが、光の利用効率が高い画素とするに当たっては、さらに好ましくは、第2の手法として、第2の波長領域の成分は、前述の第1の手法を適用しつつ、第1の波長領域の成分(可視光領域成分)に関しては、色フィルタC1,C2,C3を通して第1の波長領域の成分を検知する各第1の検知部よりも、さらに感度の高い画素となるような成分とすることができる。第1の波長領域の成分に関して、第2の検知部で、第1の検知部よりも高感度で検知することで、光(電磁波)の利用効率を高める思想である。
なお、この場合、第2の検知部で検知した高感度信号(検知信号の一例)と、色フィルタC1,C2,C3を通して第1の波長領域の成分を検知した各第1の検知部から出力される各検知信号との間で所定の補正演算処理(ここでは高感度化補正演算処理を意味する)を実行することで、可視光カラー画像を高感度に取得することができるようにする。
ここで、色フィルタC1,C2,C3は、理想的には、たとえば、可視光帯内のある色成分で透過率が略1、その他で略ゼロとする原色フィルタとする。たとえば、可視光VL(
波長λ=380〜780nm)の3原色である青色成分B(たとえば波長λ=400〜500nmで透過率が略1、その他で略ゼロ)、緑色成分G(たとえば波長λ=500〜600nmで透過率が略1、その他で略ゼロ)、赤色成分R(たとえば波長λ=600〜700nmで透過率が略1、その他で略ゼロ)を中心とする原色フィルタであってもよい。
もしくは、色フィルタC1,C2,C3は、可視光帯内のある色成分で透過率が略ゼロ、その他で略1の透過率を持つ補色系の色フィルタとする。たとえば、黄Ye(たとえば波長λ=400〜500nmで透過率が略ゼロ、その他で略1)、マゼンダMg(たとえば波長λ=500〜600nmで透過率が略ゼロ、その他で略1)、シアンCy(たとえば波長λ=600〜700nmで透過率が略ゼロ、その他で略1)など、可視光の3原色成分に対して略ゼロの透過率を持つ補色系の色フィルタであってもよい。
補色系の色フィルタは原色系の色フィルタよりも感度が高いので、可視領域の透過光が3原色の各々の補色である補色系の色フィルタを使用することで撮像装置の感度を高めることができる。逆に、原色系の色フィルタを用いることで、差分処理を行なわなくても原色の色信号を取得でき、可視光カラー画像の信号処理が簡易になる利点がある。
なお、透過率が“略1”であるとは、理想的な状態をいったものであり、実際には、光の透過率が減衰する減色フィルタとならざるを得ず、相対的に透過率は低減することになる。この場合でも、その波長領域での透過率がその他の波長領域での透過率よりも遙かに大きいものであればよい。一部に“1”でない透過率”があってもよい。また、透過率が“略ゼロ”であるについても、同様に理想的な状態をいったものであり、その波長領域での透過率がその他の波長領域での透過率よりも遙かに小さいものであればよい。一部に“ゼロ”でない透過率”があってもよい。
また、原色系および補色系の何れも、可視光領域の内の所定色(原色もしくは補色)の波長領域成分を通過させるものであればよく、紫外光領域や赤外光領域を通過させるか否かすなわち赤外光や紫外光に対する透過率は不問である。もちろん、好ましくは、赤外光や紫外光に対する透過率は略ゼロであることが、色再現性の点では有利である。
たとえば、現状一般的に用いられる各色フィルタは、可視光帯内では、たとえばR,G,Bの各々に対して透過率が高くその他の色(たとえばRであればGやB)の透過率が低いが、可視光帯外の透過率に関しては規定外であり、通常、その他の色(たとえばRであればGやB)の透過率よりも高く、たとえば各フィルタともに赤外領域に感度を持ち、赤外領域において光の透過がある。しかしながら、本実施形態では、このような可視光帯外で透過率が高い特性であっても、色再現性の問題はあるが、基本思想としては、影響を受けない。
一方、色フィルタC4は、少なくとも、第2の検知部を色フィルタC1,C2,C3の検知部よりも光の利用効率の高い画素とするような所定波長領域用のものであればよく、典型的には、第1の波長領域(本例では可視光)から赤外光領域までの全域の成分、あるいは、紫外光領域から第1の波長領域(本例では可視光)までの全域の成分、あるいは紫外光領域〜第1の波長領域(本例では可視光)〜赤外光領域の全域の成分を通過させるものであるのがよい。本実施形態では、このような、色フィルタC4を全域通過フィルタと称する。
たとえば、第2の検知部が、青色から赤色までの光(波長450〜660nm)に対して感度を持つようにする白色フィルタを用いるのがよい。可視光から赤外光(特に近赤外光)までの全波長の成分を通過させるという点においては、色フィルタC4としては、事実上、カラーフィルタを設けない構成を採ることができる。本実施形態では、このように、事実上、カラーフィルタを設けない構成をも含めて、「フィルタC4を通して」第2の検知部で検知すると称する。
なお、色フィルタC1,C2,C3が配される画素の検知部(たとえばフォトダイオードなどの撮像素子)は、可視光に感度を有していればよく、近赤外光に感度を有する必要はない。一方、色フィルタC4が配される画素のフォトダイオードなどで構成される検知部は、色フィルタC4が全域通過フィルタでかつ赤外光対応とする場合には、可視光と赤外光に感度を有することが必要である。
また、色フィルタC4が配される色画素は、この色フィルタC4が配される色画素に基づいて得られる第2の波長領域の成分に関わる物理情報(本例では広波長領域画像)再現用として使用されるだけでなく、色フィルタC1,C2,C3が配される色画素に基づいて得られる可視光カラー画像再現用の色信号に対して色補正画素や感度補正画素としても使用することができる。色フィルタC4は、色フィルタC1,C2,C3に対しての補正フィルタとして機能することになるのである。
たとえば、可視光カラー画像の再現に当たっては、先ず、色フィルタC1,C2,C3が配される色画素から第1の波長領域の信号成分SC1,SC2,SC3を、この第1の波長領域の成分とは異なる第2の波長領域(赤外)の成分から事実上分離して、それぞれ独立の検知領域で検知する。
また、色フィルタC4が配される高光利用効率対応の検知部で得られる信号成分SC4を使うことで、可視光成分の少ない低照度環境下での撮影時に、可視光領域以外の成分も使うことが可能となるので、可視光成分のみの場合よりも検知される信号レベルが大きくなり、効果的なノイズ低減を実現することができるようになる。
そして、さらに好ましくは、各信号成分SC1,SC2,SC3を、信号成分SC4を使ってより色再現の良好な補正演算(特に色再現補正演算と称する)を実行する、あるいはより高感度な信号となるように補正演算(特に高感度化補正演算と称する)を実行する。
なお、色フィルタC4を通して得られる広波長領域画像に関しては、可視光と不可視光との混在による像を取得するようにしてもよいが、たとえば、色フィルタC4が第1の波長領域(本例では可視光)から赤外光までの全域の成分を通過させる全域通過フィルタである場合には、信号成分SC4から信号成分SC1,SC2,SC3により得られる可視光像の成分を減算することで、赤外光像のみを抽出するようにしてもよい。
このようにして、フォトダイオードなどの撮像素子の各画素に、別個のフィルタ特性を有する4種類の色フィルタを配設し、4種類の色フィルタを配設した4種類の波長領域(ここでは4種類の色フィルタを配設した各画素)で得られる信号出力をマトリクス演算すると、主に色フィルタC1,C2,C3を通した可視光カラー画像および色フィルタC4を通した広波長領域画像をそれぞれ独立かつ同時に取得することができるし、広波長領域画像に関しては、可視光カラー画像に対しての補正にも使えるようになる。
ここで、考え方としては、従前の撮像信号処理と同様にして、色フィルタC1,C2,C3を通した画素から得られる各画素信号に基づいて輝度信号(本実施形態では合成輝度信号と称する)を取得して出力用の輝度信号とすることができるが、本実施形態では、このようなことを行なわずに、色フィルタC4を通して得られる広波長領域信号SAから出力用の輝度信号を取得する。なお、合成輝度信号に関しては、出力用の色信号の一例である色差信号の生成には使用する。
また、減色フィルタの一例として厚みや重さのある高価なガラス製の光学部材(いわゆる赤外光カットフィルタ)を結像光学系の光路上のセンサの前に入れる必要がなくなる。高価な赤外光カットフィルタ(IRカットフィルタ)を不要にすることで、光学系を軽量かつコンパクトにできるし、コストを大幅に低減できる。もちろん、赤外光カットフィルタの挿入/抜出機構が不要であり、装置が大がかりになることもない。
また赤外光カットフィルタが不用になることによって、赤外光カットフィルタによる光透過率低減を排除できるので、その分だけ高感度化も達成される。また、赤外光カットフィルタなしでカラー撮像を行なうことで、現行の信号処理回路と組み合わせつつ、近赤外線領域の光を有効に利用し高感度化を図ることもでき、低照度時であっても、色再現性が良好になるし、さらにその際に、色補正を加えることで、一層の色再現性の改善を図ることもできる。
<<色分離フィルタ配列>>
図2〜図6は、色分離フィルタ配列の具体例を示す図である。
<第1例>
図2に示す色フィルタ群(色フィルタアレイ)314の第1例の配列態様では、たとえば図2(A)に示す第1例の配列態様(その1)のように、いわゆるベイヤ(Bayer)配列の基本形のカラーフィルタを利用しており、先ず、正方格子状に配された単位画素が赤(R),緑(G),青(B)の3色カラーフィルタに対応するように、色分離フィルタの繰返単位が2画素×2画素で配されて画素部を構成するように色フィルタ14を配置する。
また、赤外光とともに可視光の全波長成分を受光・検知する検知部(検知領域)を設けるべく、2つの緑(G)のうちの一方を白色フィルタWに置き換える。つまり、可視光カラー画像用に原色フィルタ14R(Red ),14G(Green ),14B(Blue)の3つの波長領域(色成分)用のものと、原色フィルタ14R,14G,14Bの成分とは異なる赤外光用の白色フィルタ14W(White )といった別個のフィルタ特性を有する4種類の色フィルタ14を規則的に配設している。白色フィルタ14Wは、可視光帯の全成分(R,G,B成分)を透過する特性のものであるとともに、特に本実施形態では、赤外光成分をも透過する特性のものとする。
なお、白色フィルタ14Wが配される白色画素は、可視光から赤外光(特に近赤外光)までの全波長の成分を通過させるものであり、この点においては、事実上、色フィルタ14を設けない広波長領域画素12A(All )とする構成を採ることができる。
ただし、実際に撮像素子を形成する際には、色フィルタ層の上層にさらにマイクロレンズをオンチップで形成することがある。この場合、C4の部分のみに色フィルタが設けられていないと、その部分を埋めるなどの対処が必要になるが、C4に白色フィルタ14Wを設けるとそれが不要になる。また、C4に白色フィルタ14Wを設けると、可視光領域の検知感度を、C1,C2,C3についての検知感度に応じて調整できる利点もある。
たとえば、偶数行奇数列には第1のカラー(赤;R)を感知するための第1のカラー画素を配し、奇数行奇数列には第2のカラー(緑;G)を感知するための第2のカラー画素を配し、奇数行偶数列には第3のカラー(青;B)を感知するための第3のカラー画素を配し、偶数行偶数列には赤外光IRを感知するための第4のカラー画素(ここでは白画素もしくは広波長領域画素)を配しており、行ごとに異なったG/B、またはR/W(R/A)の画素が市松模様状に配置されている。このようなベイヤ配列の基本形のカラーフィルタの色配列は、行方向および列方向の何れについても、G/BまたはR/W(R/A)の
2色が2つごとに繰り返される。
原色フィルタ14R,14G,14Bを通して対応する検知部(画素12R,12G,12B)で検知することで可視光カラー画像を撮像できるとともに、白色フィルタ14Wを通して(もしくはフィルタなしで)対応する検知部(広波長領域画素12A)で検知することで赤外光画像、もしくは赤外光と可視光の混在画像を可視光カラー画像とは独立かつ同時に撮像することができる。
たとえば、赤外光IRと可視光VLの混合成分を受光する広波長領域画素12Aからの画素データをそのまま用いることで、赤外光IRと可視光VLの混合成分の像を得ることができ、広波長領域の画素信号を取得することができる。
また、広波長領域画素12Aで得られる赤外光IRと可視光VLの混合成分の像とともに画素12R,12G,12Bで可視光VLの色画像が得られるが、両者の差分を取ることで、赤外光IRのみの像が得られる。また、この広波長領域画素12Aから得られる混在画像信号(広波長領域画像信号)は、原色フィルタ14R,14G,14Bを配した画素12R,12G,12Bから得られる可視光カラー画像に対しての補正信号としても利用することができる。
なお、上記例では、可視光カラー画像撮像用の色フィルタ群314として、原色フィルタ14R,14G,14Bを用いていたが、補色フィルタ14Cy,14Mg,14Yeを用いることもできる。
この場合、たとえば、図2(B)に示す第1例の配列態様(その2)のように、原色フィルタ14Rをイエローフィルタ14Yeに、原色フィルタ14Gをマゼンタフィルタ14Mgに、原色フィルタ14Bをシアンフィルタ14Cyに、それぞれ置き換えた配置とするとよい。そして、対角に2つ存在することになるマゼンタフィルタ14Mgの一方に、白色フィルタ14Wを配するか、もしくは色フィルタ14を配しない。
また、Cy,Mg,Yeの補色フィルタのみの組合せに限らず、原色フィルタの1つである緑色フィルタ14Gを補色フィルタと組み合せたものに対しても、広波長領域画素12Aを設けることもできる。たとえば、図2(C)に示す第1例の配列態様(その3)のように、Cy,Mgの2つの補色フィルタとGの原色フィルタとを組み合わせたフィールド蓄積周波数インターリーブ方式用のものにおいて、4画素内に2つ存在する原色フィルタ14Gの内の一方を白色フィルタ14Wに置き換えるか、もしくは色フィルタ14を配しないとよい。
<第2例〜第5例>
図3〜図6に示す色フィルタ群314の第2例〜第5例の配列態様は、解像度低下を考慮した画素配列である。
画素配列に関して言えば、図2のような配列構造を適用した場合、単純に従来のRGB原色フィルタやCy,Mg,Ye補色フィルタ(あるいは原色フィルタG)の可視光の画素に広波長領域対応用の画素(広波長領域画素12A)を追加することになる。
たとえば、本来、可視光カラー画像撮像用の緑色画素Gやマゼンタ色画素Mgが、広波長領域画素12Aに置き換わることになり、可視光カラー画像および赤外光画像の何れについても、解像度低下を招く可能性がある。たとえば、従来のRGBベイヤ配列のGの1つの画素を広波長領域画素12Aに置き換えると、解像度が低下する。しかしながら、広波長領域画素12Aと解像度に大きく寄与する波長成分の画素(たとえば緑色画素12G)の配置態様を工夫することで、この解像度低下の問題を解消することができる。
この際に重要なことは、従来と同様に、各色の色フィルタ14をモザイク状に配した色分離フィルタ構造を採用する場合、赤外光と可視光の混在の広波長領域画素12Aがある一定の格子間隔を持ってモザイク模様になるようにするとともに、可視光の原色系RGBまたは補色系Cy,Mg,Ye画素の内の1つの画素がある一定の格子間隔を持ってモザイク模様になるように配置することである。
ここで、「モザイク模様になるようにする」とは、ある色画素に着目したとき、それらがある一定の格子間隔を持って格子状に配列されるようにすることを意味する。必ずしも、その色画素が隣接することを必須とはしない。なお、色画素が隣接する配置態様を採った場合の典型例としては、広波長領域画素12Aとその他の色画素の正方形を互い違い並べた碁盤目模様(市松模様)となるようにする配置態様がある。あるいは、可視光の原色系RGBまたは補色系Cy,Mg,Ye画素の内の1つの画素とその他の色画素の正方形を互い違い並べた碁盤目模様(市松模様)となるようにする配置態様がある。
<第2例:原色フィルタへの適用例>
たとえば、RGB原色フィルタを用いつつ可視光カラー画像の解像度低下を抑えるには、可視光領域のGの画素の配置密度を維持し、可視光領域の残りのRもしくはBの画素を、広波長領域画素12Aに置き換えるとよい。たとえば図3(A)に示す第2例の配列態様(その1)のように、2行2列の単位画素マトリクス12内において先ず、奇数行奇数列および偶数行偶数列に可視光領域の緑色成分を感知するための色フィルタ14Gを設けた緑色画素12Gを配し、偶数行奇数列には白色フィルタ14Wを設けたもしくは色フィルタ14を設けない広波長領域画素12Aを配する。広波長領域画素12Aは、可視光および赤外光などの不可視光成分を含む光信号を取得する広波長領域信号取得素子の一例である。
また、単位画素マトリクス12の列方向の奇数番目においては、行方向の奇数番目の単位画素マトリクス12における奇数行偶数列に可視光領域の青色成分を感知するための色フィルタ14Bを設けた青色画素12Bを配し、行方向の偶数番目の単位画素マトリクス12における奇数行偶数列に可視光領域の赤色成分を感知するための色フィルタ14Rを設けた赤色画素12Rを配する。単位画素マトリクス12の列方向の偶数番目においては、青色画素12Bと赤色画素12Rの配置を逆にする。全体としては、色フィルタ群314の繰返しサイクルは、2×2の単位画素マトリクス12で完結することになる。
なお、赤色画素12R、緑色画素12G、および青色画素12Bを纏めて可視光検知画素12VLと称する。可視光検知画素12VLは、RGB信号などの可視光信号を波長分離して取得する特定波長領域信号取得素子の一例である。
この図3(A)に示すような配置形態の場合、可視光の原色系RGB画素の内の1つの緑色画素12Gとその他の色画素の正方形を互い違い並べた市松模様の配置態様を採用しており、可視光カラー画像における解像度に大きく寄与する緑色画素12Gの配置密度をベイヤ配列と同じにできるので、合成輝度信号を用いて得られる可視光カラー画像の解像度の低下はなくなる。
ただし、赤色画素12Rと青色画素12Bの配置密度はベイヤ配列に対して1/2になるのでカラー分解能が低下する。しかしながら、色に関する人間の視感度は、緑Gに比べて赤Bや青Bは劣るので、大きな問題にはならないと考えてよい。
一方、輝度信号に寄与する広波長領域画素12Aで得られる広波長領域画像(つまり輝度画像)に関しては、広波長領域画素12Aの配置密度が、可視光領域の緑色成分を感知するための緑色画素12Gに対して1/2になるので、輝度画像の分解能は、原色画素12R,12G,12Bで得られる各画素信号に基づいて合成される合成輝度信号を利用した場合の可視光カラー画像よりも劣る。
また、広波長領域画素12Aで得られる広波長領域画像(つまり輝度画像)の解像度低下を抑えるには、たとえば図3(B)に示す第2例の配列態様(その2)のように、図3(A)に示す可視光領域の緑色成分を感知するための緑色画素12Gと、広波長領域画素12Aの配置を入れ替えるとよい。この場合、広波長領域画素12Aとその他の色画素の正方形を互い違い並べた市松模様の配置態様を採用しており、広波長領域画素12Aの配置密度をベイヤ配列の場合と同じにできるので、出力される輝度画像の解像度の低下はなくなる。ただし、可視光カラー画像における解像度に大きく寄与する緑色画素12Gの配置密度は、広波長領域画素12Aに対して1/2になるので、可視光カラー画像は、広波長領域画素12Aから得られる輝度画像の分解能よりも劣る。カラー分解能に関しては、図3の場合と同様である。
<第3例:補色フィルタへの適用例>
また、Cy,Mg,Ye補色フィルタを用いつつ可視光カラー画像の解像度低下を抑えるには、可視光領域のMgの画素の配置密度を維持し、可視光領域の残りのRもしくはBの画素を、広波長領域画素12Aに置き換えるとよい。たとえば図4(A)に示す第3例の配列態様(その1)のように、2行2列の単位画素マトリクス12内において、先ず、奇数行奇数列および偶数行偶数列に可視光領域のマゼンタ色成分を感知するための色フィルタ14Mgを設けたマゼンタ画素12Mgを配し、偶数行奇数列には白色フィルタ14Wを設けたもしくは色フィルタ14を設けない広波長領域画素12Aを配する。なお、マゼンタ色Mgの内の一方を緑色Gに置き換えることもできる。
この場合、可視光の補色系Cy,Mg,Ye画素の内の1つのマゼンタ画素12Mgとその他の色画素の正方形を互い違い並べた市松模様の配置態様を採用しており、可視光カラー画像における解像度に大きく寄与するマゼンタ画素12Mgの配置密度をベイヤ配列と同じにできるので、合成輝度信号を用いて得られる可視光カラー画像の解像度の低下はなくなる。
なお、カラー画素Cyとカラー画素Yeの配置密度はマゼンタ画素12Mgの配列に対して1/2になるのでカラー分解能が低下するが、色に関する人間の視感度は低く大きな問題にはならないと考えてよい。
また、輝度信号に寄与する広波長領域画素12Aで得られる広波長領域画像(つまり輝度画像)に関しては、広波長領域画素12Aの配置密度が、可視光領域のマゼンタ色成分を感知するためのマゼンタ画素12Mgに対して1/2になるので、輝度画像の分解能は、原色画素12R,12G,12Bで得られる各画素信号に基づいて合成される合成輝度信号を利用した場合の可視光カラー画像よりも劣る。
また、赤外光画像の解像度低下を抑えるには、たとえば図4(B)に示す第3例の配列態様(その2)のように、図4(A)に示す可視光領域のマゼンタ色成分を感知するためのマゼンタ画素12Mgと、広波長領域画素12Aの配置を入れ替えるとよい。この場合、広波長領域画素12Aとその他の色画素の正方形を互い違い並べた市松模様の配置態様を採用しており、広波長領域画素12Aの配置密度をベイヤ配列の場合と同じにできるので、広波長領域画素12Aで得られる広波長領域画像(つまり輝度画像)の解像度の低下はなくなる。ただし、可視光カラー画像における解像度に大きく寄与するマゼンタ画素12Mgの配置密度は、広波長領域画素12Aに対して1/2になるので、可視光カラー画像は、輝度画像の分解能よりも劣る。カラー分解能に関しては、図4(A)の場合と同様である。
なお、解像度低下を抑えるための上記の配置態様例では、緑色Gまたはマゼンタ色Mgの画素をできるだけ高密度でモザイク模様(定型例としての市松模様)となるように配置していたが、その他の色(R,BまたはCy,Ye)の画素を市松模様となるように配置しても、ほぼ同様の効果を得ることができる。もちろん、解像度や色分解能を高める上では、視感度の高い色成分のフィルタをできるだけ高密度でモザイク模様となるように配置するのが好ましい。
特に、本実施形態では、色フィルタC4を通して得られる広波長領域信号SAから出力用の輝度信号を取得することにするので、この点を考慮すれば、図3(B)に示したような、広波長領域画素12Aの配置密度ができるだけ高くなるような色フィルタ14の配列態様、つまり白画素に相当する広波長領域画素12Aが最も高密度となるようにしつつ市松状に配置したカラーフィルタアレイとすることが、全体として、高解像度化に大きく寄与することになる。
こうすることで、可視光成分の少ない低照度環境下での撮影画像について、可視光領域以外の成分も使うことで効果的なノイズ低減を実現することに加えて、解像度の高い高品質な画像を取得することが可能となる。
<第4例&第5例:斜め配置への適用例>
なお、上記例では、正方格子状に色フィルタを配置する事例を説明したが、斜め格子状に配列することもできる。たとえば、図5(A)に示す第4例の配列態様(その1)は、図3(A)に示す配置態様を、右回りに略45度だけ回転させた状態の画素配列になっている。また図5(B)に示す第4例の配列態様(その2)は、図3(B)に示す配置態様を、右回りに略45度だけ回転させた状態の画素配列になっている。このように、斜め格子状に配列すると、垂直方向と水平方向の各画素密度が増すことになり、その方向での解像度をさらに高くすることができるのである。
また、図6に示す第5例の配列態様は、図3(B)に示す第4例の配列態様(その2)に対して、演算処理により仮想の広波長領域画素12AAを算出可能にしたもので、さらに高解像度化を図ることができる。なお、仮想の広波長領域画素12AAは、上下または左右の実在する広波長領域画素12Aの信号を元に演算することができる。
以上説明したように、色フィルタ群314をなす色フィルタ14の配列(色配列)としては様々なものを適用し得るが、何れにおいても、広波長領域画素12Aは、所定の間隔を持って市松状に配置されている。このような色配列を持つ半導体装置としての固体撮像素子を適用して撮影した画素信号に基づいて信号処理(特に輝度成分に関わる信号処理)を実行すれば、広波長領域画素12Aからは、可視光成分に基づく信号だけでなく、不可視光成分に基づく信号が重畳されて出力されるようになり、特に、低照度の下で撮影した画像であっても効果的なノイズ低減を実現して高品質な画像を得ることが可能となる。
<撮像装置>
図7は、物理情報取得装置の一例である撮像装置の概略構成を示す図である。撮像装置300は、可視光カラー画像および近赤外光成分を含む輝度画像を独立に得る撮像装置や、近赤外光成分を使った補正をした可視光カラー画像を得る撮像装置になっている。
具体的には、撮像装置300は、被写体Zの像を担持する光Lを撮像部側に導光して結像させる撮影レンズ302と、光学ローパスフィルタ304と、半導体装置の一例である固体撮像素子(イメージセンサ)312、不可視光カットフィルタ層の一例である赤外光カットフィルタ層313、および色フィルタ群314を有する全体として半導体装置をなす撮像部310と、固体撮像素子312を駆動する駆動部320と、固体撮像素子312から出力された不可視光成分信号の一例である赤外光信号SIR(赤外光成分)および可視光信号SVL(可視光成分)を処理する撮像信号処理部330とを備えている。
赤外光カットフィルタ層313は、第1の波長領域の成分としての可視光領域および第2の波長領域の成分としての赤外光成分に対して透過性を有する開口部313aと第1の波長領域の成分としての可視光領域に対して透過性を有するとともに第2の波長領域の成分としての赤外光成分に対して非透過性を有する非開口部313bとを具備する第1の波長分離フィルタ部の一例である。
また、色フィルタ群314は、第1の波長領域としての可視光領域をそれぞれ異なる波長領域成分に分離する第2の波長分離フィルタ部の一例である。
光学ローパスフィルタ304は、折返し歪みを防ぐために、ナイキスト周波数以上の高周波成分を遮断するためのものである。
なお、図中に点線で示したように、一般的な撮像装置では、光学ローパスフィルタ304と合わせて、赤外光成分を低減させる赤外光カットフィルタ305を設けるが、本実施形態では、赤外光カットフィルタ305を備えない構成を基本とする。
また、可視光カラー画像および近赤外光画像を独立に得る構成とする場合、撮影レンズ302を通して入射された光L1を不可視光の一例である赤外光IRと可視光VLとに分離する波長分離用の光学部材(波長分離光学系という)を備える仕組みが採られることもあるが、本構成では、そのような入射系において波長分離を行なう波長分離光学系を備えていない。
固体撮像素子312は、2次元マトリックス状に形成された光電変換画素群からなる撮像素子である。なお、本実施形態で用いる赤外光カットフィルタ層313および固体撮像素子312の具体的な構成については後述する。
固体撮像素子312の撮像面では、被写体Zの像を担持する赤外光IRに応じた電荷や可視光VLに応じた電荷が発生する。電荷の蓄積動作や電荷の読出動作などの動作は、図示しないシステムコントロール回路から駆動部320へ出力されるセンサ駆動用のパルス信号によって制御される。
固体撮像素子312から読み出された電荷信号は撮像信号処理部330に送られ、所定の信号処理が加えられる。
ここで、本実施形態の構成においては、色フィルタC4としては、色フィルタC1,C2,C3を通して得られる信号よりも光の利用効率が高い広波長領域信号が得られるようにしており、色フィルタC4を通して得られる広波長領域信号SAに含まれる赤外光撮像信号SIRは、可視光帯域の全成分で示される、一般的に輝度信号SY と称されるものを補完する信号成分として機能するようになっている。
たとえば、撮像信号処理部330は、固体撮像素子312から出力されたセンサ出力信号(色フィルタC4を通して得られる輝度信号SY および赤外光撮像信号SIRでなる広波長領域信号SA並びに色フィルタC1,C2,C3を通して得られる色信号SR,SG,SB)に対して黒レベル調整やゲイン調整やクリッピング処理やガンマ補正などの前処理を行なう前処理部332と、前処理部332から出力されたアナログ信号をデジタイル信号に変換するAD変換部334と、ホワイトバランス補正や撮影レンズ302で生じるシェーディングや固体撮像素子312の画素欠陥などを補正する補正処理部336と、本発明に係る信号処理装置の一例である画像信号処理部340とを備えている。
画像信号処理部340は、被写体Zを色フィルタC1〜C4の配列パターン(モザイクパターン)に従って画素ごとに異なる色と感度で撮像し、色と感度がモザイク状になった色・感度モザイク画像から、各画素が全ての色成分を有し、かつ、均一の感度を有する画像に変換するデモザイク信号処理部341を備えている。
なお、一般に、波長成分(色成分)や感度が異なるモザイク状の撮像情報としてのモザイク画像から、全ての画素位置について色や感度が均一な情報としての輝度画像や単色画像を生成する処理をデモザイク処理と称する。
詳細は後述するが、デモザイク信号処理部341は、色フィルタC4を通して得られる色・感度モザイク画像から測光量を示す信号として輝度画像を生成する輝度信号生成部、および、色フィルタC1,C2,C3を通して得られる色・感度モザイク画像を用いて単色画像R,G,Bを生成する単色画像信号生成部とを有する。
また、詳細は後述するが、信号処理形態によっても異なるものの、単色画像信号生成部の後段には、単色画像信号生成部で得られる単色画像R,G,Bに基づいて色差信号(たとえばR−Y,B−Y)を生成する色差信号処理部が設けられることもあるし、また、輝度信号生成部で得られる輝度信号に基づき取得される所定の信号成分と単色画像信号生成部で得られる単色画像R,G,Bに基づく単色画像信号Ra,Ga,Baとを加算して最終的な色出力信号としての単色画像信号Rz,Gz,Bzを生成する合成処理部が設けられることもある。後者の場合、さらに、その後段に色差信号(たとえばR−Y,B−Y)を生成する色差信号処理部が設けられることもある。
また、画像信号処理部340は、デモザイク信号処理部341の輝度信号生成部から出力された広波長領域信号SAに対して所望の輝度信号処理を加えて最終的な輝度出力信号としての輝度信号Yzを生成する輝度信号処理部を備えていてもよい。輝度信号処理部を設けない場合には、デモザイク処理で得られたものを、そのまま輝度信号Yzとして出力することになる。
また、画像信号処理部340は、デモザイク信号処理部341の輝度信号生成部から出力された広波長領域信号SAから赤外光撮像信号SIRを抽出することで赤外光画像を表わす赤外光信号SIRzを生成する赤外信号処理部を備えていてもよい。
本実施形態では、輝度信号処理部、色差信号処理部、合成処理部、赤外信号処理部を纏めて、出力画像信号処理部343と称する。
出力画像信号処理部343の後段には、図示を割愛するが、さらにモニタ出力用のビデオ信号とするためのエンコーダが設けられることもある。エンコーダでは、2系統の色差信号(たとえばR−Y,B−Y)に基づいて、各種の放送方式に準拠したサブキャリアで変調することでクロマ信号を生成し、さらに輝度信号Yと合成することで、ビデオ信号を生成する。
単色画像信号生成部は、注目する色成分について、色フィルタR,G,Bを通して得られる各色・感度モザイク画像、色フィルタR,G,Bの配列パターンを示す色モザイクパターン情報、および感度モザイクパターン情報に基づいて、近傍の同一色の画素信号SR
,SG,SBを用いて色・感度モザイク画像に補間処理を施すことで、得られる全ての画素が各色成分の画素値を有する単色画像を生成する。
輝度画像生成部も、同様に、色フィルタC4を通して得られる色・感度モザイク画像、色フィルタC4の配列パターンを示す色モザイクパターン情報、および感度モザイクパターン情報に基づいて、近傍の同一色の画素信号SAを用いて色・感度モザイク画像に補間処理を施すことで、得られる全ての画素が高波長領域信号成分の画素値を有する広波長領域画像を生成し、これを、事実上、輝度画像として使用するようにする。
色フィルタC4を設けない、R,G,Bの3原色フィルタを配したベイヤ配列の場合、色フィルタR,G,Bを通して得られる各色・感度モザイク画像、色フィルタR,G,Bの配列パターンを示す色モザイクパターン情報、および感度モザイクパターン情報に基づいて、3原色成分R,G,Bの各推定値を求め、求めた推定値に色バランス係数を乗算し、各色についての乗算値を加算し、その和を画素値とする輝度画像を生成する必要があるが、本実施形態では、このような演算が不要になる。
このような構成によって、撮像装置300は、撮影レンズ302により赤外光IRを含む被写体Zを表わす光学画像を取り込み、赤外光画像(近赤外光光学画像)と可視光像(可視光光学画像)とを分離することなく撮像部310に取り込み、撮像信号処理部330によってこれら赤外光画像と可視光像とをそれぞれ映像信号に変換した後に所定の信号処理(たとえばR,G,B成分への色信号分離など)を行なって、カラー画像信号や赤外光画像信号、あるいは両者を合成した混在画像信号として出力する。
たとえば、撮影レンズ302は、波長380nm程度から2200nm程度までの光を透過することができる石英またはサファイアなどの光学材料によって構成されるレンズであり、赤外光IRを含む光学画像を取り込んで、これを集光しながら固体撮像素子312上に結像させる。
また、本実施形態の撮像装置300においては、撮像部310に、本来の検知目的の波長成分の検知に最適化された検知部(イメージセンサ)を設けるようにする点に特徴を有している。特に、本実施形態においては、可視光VLと赤外光IRの内の短波長側を検知するべく、可視光VLの検知に最適化された固体撮像素子312が設けられている。
ここで“最適化されたイメージセンサ”とは、本来の検知目的の波長成分の撮像信号に、本来の検知目的の波長成分以外が可能な限り含まれないようにするような波長分離対応の領域を備えた構造を持つことを意味する。
波長分離光学系による光路上での波長分離を備えなくても、イメージセンサ側で波長分離対応の構造を持つようにすることで、光学系をコンパクトにすることを可能にする点に特徴を有している。
このような撮像装置の構造は、特開平10−210486号公報や特開平06−121325号公報のように、波長分離光学系で分離した各波長成分を、同様の構造を持つそれぞれ個別のセンサに入射させることで、可視光像と赤外光画像とを個別に取得する構成とは異なる。
また、特開平10−210486号公報のように、コールドミラーを透過した可視光成分をさらに3枚のダイクロイックミラーで、赤色成分、緑色成分、および青色成分に分離し、それぞれを個別のセンサに入射させることで、可視光VLに関して、R,G,Bの個別の画像を取得する仕組みとも異なる。特開平10−210486号公報の方式では、可視光VLについて3つのセンサが必要になり、感度向上はあるものの、コストが増大するという問題点がある。本実施形態の構成ではこの問題がない。
また、特開2002−369049号公報のように、光路上にて2段構えで波長分離を行ない、同様の構造を持つそれぞれ個別のセンサに入射させることで、可視光像と赤外光画像とを個別に取得する構成とも異なる。同公報の方式では、光路上にて2段構えで波長分離を行なうので、光学系が大掛かりになる難点がある。加えて、感度やボケなどの問題も有する。本実施形態の構成ではこの問題がない。
たとえば、本実施形態の構成では、撮像部310による可視光VLの撮像において、減色フィルタの一例として赤外光カットフィルタを固体撮像素子312の前に入れる必要がなくなる。高価な赤外光カットフィルタを不要にすることで、コストを大幅に低減できる。また、厚みや重さのある赤外光カットフィルタを不要にすることで、光学系を軽量かつコンパクトにできる。もちろん、赤外光カットフィルタの挿入/抜出機構が不要であり、装置が大がかりになることもない。既存のガラス製の赤外光カットフィルタを用いる場合に比べて、コスト的に有利になるし、コンパクトになって携帯性などに優れたデジタルカメラなどの撮像装置を提供することができる。
また、赤外光カットフィルタを固体撮像素子312の前に入れる構成では、ガラス基板をCCDやCMOSなどの撮像素子の前に入れることで光路の途中に空気とガラス界面が生じてしまう。したがって、透過して欲しい可視光VLの光までがその界面で反射されてしまい、感度低下を招く問題が生じる。さらにこのような界面が多くなることで、斜め入射における(ガラス内で)屈折する角度が波長によって異なり、光路の変化による焦点ぼけを引き起こす。これに対して固体撮像素子312の前側の光路上にガラス製の赤外光カットフィルタを用いないことで、このような焦点ぼけがなくなる利点が得られる。
なお、さらに波長分離性能を向上させるために、光学系が大きくなってしまなどの問題が生じてしまうが、全体に弱い赤外光カットフィルタを入れてもよい。たとえば50%以下の赤外光カットフィルタを入れることで可視光VLに対して殆ど問題のないレベルまでカットするとよい。
何れにしても、信号処理をどのようにするか次第ではあるが、可視光VLと可視光以外(本例では赤外光IR)とを混在させた画像の撮像を行なうことができるし、場合によっては、可視光VLのみの画像と赤外光IRのみの画像とを分離して出力することもできる。
さらに、固体撮像素子312上に、可視光VL内を所定の波長領域成分に分離する光学部材の一例として、可視光領域において所定の波長透過特性を持つ色フィルタを画素(単位画素マトリクス)に対応させて設けることで、赤外光IRの影響をほぼ全く受けない可視光領域中の特定波長領域のみの像が得られる。
また、単位画素マトリクスを構成する複数のフォトダイオード上に一体的に、可視光領域においてそれぞれ異なる波長透過特性を持つ色フィルタを、各波長対応(色別)のフォトダイオードに位置整合させ、規則的に配列することで、可視光領域を波長別(色別)に分離することができ、これらの色別の画素から得られる各画素信号に基づいて、赤外光IRの影響をほぼ全く受けない可視光VLのみのカラー画像(可視光カラー画像)が得られる。
もちろん、波長別(色別)の信号を合成することで可視光のみのモノクロ画像を得ることもできる。広波長領域画素12A側で得られる赤外光成分を含むモノクロ画像と可視光のみのモノクロ画像とを使ったアプリケーションも可能となるし、両者の差分から、赤外光成分のみの画像を抽出することもできる。
このように、可視光VLのモノクロ画像あるいはカラー画像と、“赤外光IRに関わる像”をそれぞれ独立に求めることが常時可能となる。“赤外光IRに関わる像”とは、可視光VLの影響をほぼ全く受けない赤外光IRのみの像や赤外光IRと可視光VLとを混在させた像を意味する。
赤外光IRの影響をほぼ全く受けない可視光VLのみの撮像(モノクロ撮像もしくはカラー撮像)と、赤外光IRと可視光VLとを混在させた撮像を、同時に行なうようにすることもできるのである。また、可視光VLのみの成分(モノクロ像成分もしくはカラー像成分)と、赤外光IRと可視光VLとを混在させた成分との合成処理(詳しくは差分処理)により、可視光VLの影響をほぼ全く受けない赤外光IRのみの撮像を行なうようにすることもできる。
なお、上記において、“影響をほぼ全く受けない”とは、最終的に人間の視覚によることを考慮し、一般的に人間の視覚によって明確な差が関知できない程度であれば、“影響を若干受ける”ことがあってもよい。すなわち、赤外光IR側については通過波長領域(可視光VL)の影響を無視可能な赤外画像(物理情報の一例)を取得できればよく、可視光VL側については反射波長領域成分(赤外光IR)の影響を無視可能な通常画像(物理情報の一例)を取得できればよい。
なお、色フィルタC4として、白色フィルタを使用する場合には、色フィルタC4が配される補正画素は、可視光から赤外光まで広い波長域において感度を持つことになるので、色フィルタC1,C2,C3が配される可視光撮像用の他の画素に比べて、画素信号が飽和し易い。
この問題を避けるには、色フィルタC4が配される第2の検知部の検知時間を駆動部320により制御するとよい。たとえば、明るい所での撮像においては、電子シャッタ機能を利用するなどして、通常よりも短い周期で補正画素の検知部から画素信号を読み出して、それを前処理部332に送るようにするのがよい。この場合、60フレーム/秒より高いレートで信号を送ることで飽和に対して効果が得られる。
あるいは単に0.01667秒より短い時間(蓄積時間)で補正画素の検知部から電荷を読み出せればよい。この場合、オーバーフローを用いて基板側に電荷信号を排出することで実効的に短い時間での電荷の蓄積を読み出してもよい。さらに望ましくは、240フレーム/秒より高いレートで信号を送ることで飽和に対して効果がよりある。あるいは、単に4.16ミリ秒より短い時間(蓄積時間)で検知部から電荷を読み出せればよい。何れにしても、補正画素の検知部から出力される画素信号が飽和し難いようにできればよい。なお、このように飽和しないように短い時間(蓄積時間)で電荷を読み出すのは補正画素だけ行なってもよいし、全画素をそのようにしてもよい。
さらに短い時間で読み取った信号を2回以上積算することで、弱い信号を強い信号に変換し、S/N比を高めてもよい。たとえば、このようにすることで暗いところで撮像しても、また明るいところで撮像しても適切な感度と高いS/N比が得られ、ダイナミックレンジが広がることになる。
<撮像素子;色フィルタ群と赤外光カットフィルタ層の配置順>
図8および図9は、固体撮像素子312を構成する色フィルタ群314と赤外光カットフィルタ層313の配置順を説明する図である。図10は、比較例としての、固体撮像素子が一般的なベイヤ配列の色フィルタ配列を持つ場合の撮像装置の概略構成を示す図である。
図10に示した比較例は、一般的な単板カラー方式の固体撮像素子312を具備する撮像装置の構成を示している。単板カラー方式の固体撮像素子は、光路上に備えられたガラス製の赤外線カットフィルタおよび光学レンズを通して入射される光のうち、カラーフィルタを透過する光を受光する。固体撮像素子で光電変換されて電気信号として出力される画像信号は、固体撮像素子に内蔵されるA/D変換器によりデジタル信号に変換された後、撮像信号処理部(カメラ信号処理部)において、クリッピング処理、ガンマ補正、ホワイトバランス補正、デモザイク処理などが施される。
ここで、図8および図9に示した本実施形態の構成と図10に示した比較例との比較から分かるように、本実施形態の構成では、先ず、ガラス製の赤外光カットフィルタ305を光路上に備えておらず、この赤外光カットフィルタ305に代えて、撮像部310に、赤外光カットフィルタ層313を設けるようにしている点に特徴を有する。
先ず、撮像部310は、固体撮像素子312の表面に、固体撮像素子312の各単位画素マトリクス(画素)12をなす画素12R,12G,12B,12Aに対応するように、赤外光カットフィルタ層313と色フィルタ群314とを所定の順で配置して、これらを一体的に構成して、全体として、撮像素子となるようにしている。
ここで、本実施形態において、赤外光カットフィルタ層313としては、詳細は後述するが、誘電体積層膜1を利用した構造のものを使用する。そして、固体撮像素子312の広波長領域画素12Aの部分に開口部313aを割り当て、かつ他の赤色画素12R、緑色画素12G,青色画素12Bの部分に非開口部313bを割り当て、非開口部313bに誘電体積層膜1を利用した赤外光カットフィルタ膜を形成する。
また、色フィルタ群314については、赤色画素12Rの部分に色フィルタ14Rを割り当て、緑色画素12Gの部分に色フィルタ14Gを割り当て、青色画素12Bの部分に色フィルタ14Bを割り当て、広波長領域画素12Aの部分に白色フィルタ14Wを割り当てるか、色フィルタ14を無しとする。
つまり、撮像部310は、不可視光の一例である赤外光をカットする赤外光カットフィルタ層313が固体撮像素子312の上に一体的に形成され、固体撮像素子312は、赤外光カットフィルタ層313の開口部313aに対応する部分に可視光および不可視光成分を含む光信号を取得する広波長領域信号取得素子の一例である広波長領域画素12Aを備え、また、赤外光カットフィルタ層313の非開口部313bに対応する部分に波長領域別に可視光信号を取得する特定波長領域信号取得素子の一例である赤色画素12R,緑色画素12G、青色画素12Bを備えた構造をなしている。
ここで、図8に示す第1例の配置順では、色フィルタ群314が光入射側に配置され、色フィルタ群314と固体撮像素子312との間に赤外光カットフィルタ層313が配置された態様である。
非開口部313bの誘電体積層膜1によって赤外光がカットされるので、赤色画素12R、緑色画素12G、青色画素12Bの部分には、可視光領域〜赤外光波長領域の成分のうち、対応する色フィルタ14を通して赤外光カットフィルタ層313に所定の色成分が入射し、さらに赤外光カットフィルタ層313によって赤外光領域を含まない可視光領域の所定の色成分のみが入射することになる。一方、開口部313aは赤外光がカットされることがなく、広波長領域画素12Aの部分には、可視光領域〜赤外光波長領域の全波長成分が入射することになる。
このような第1例の配置順の構造では、半導体である固体撮像素子312の上層に先ず誘電体積層膜1でなる赤外光カットフィルタ層313を一体的に形成してから、さらにその上層に色フィルタ群314や図示を割愛したマイクロレンズを形成することができるので、赤外光カットフィルタ層313の製造時の温度条件が後述の第2例と比べて余裕があり、比較的、製造が容易である。ただし、色フィルタ群314が光入射側となるので、一般的に有機物で生成される色フィルタ群314の耐候性(劣化性能)の点では第2例よりも劣る。
一方、図9に示す第2例の配置順では、赤外光カットフィルタ層313が光入射側に配置され、赤外光カットフィルタ層313と固体撮像素子312との間に色フィルタ群314が配置された態様である。
非開口部313bの誘電体積層膜1によって赤外光がカットされるのは、第1例の場合と同様であるので、赤色画素12R、緑色画素12G、青色画素12Bの部分には、可視光領域〜赤外光波長領域の成分のうち、赤外光カットフィルタ層313によって赤外光領域を含まない可視光領域の成分のみが色フィルタ群314に入射し、さらに、色フィルタ群314によって対応する色フィルタ14を通して所定の色成分のみが入射することになる。一方、開口部313aは赤外光がカットされることがなく、広波長領域画素12Aの部分には、可視光領域〜赤外光波長領域の全波長成分が入射することになる。
このような第2例の配置順の構造では、赤外光カットフィルタ層313が光入射側となるので、一般的に有機物で生成される色フィルタ群314の耐候性(劣化性能)の点では第1例よりも優る。
ただし、半導体である固体撮像素子312の上層に先ず色フィルタ群314を形成してから、さらにその上層に誘電体積層膜1でなる赤外光カットフィルタ層313や図示を割愛したマイクロレンズを形成することになるので、赤外光カットフィルタ層313の製造時の温度条件が前述の第1例と比べて余裕がなく、製造手法に工夫を要する。
たとえば、誘電体積層膜1を構成する誘電体層としては、酸化シリコンSiO2 やシリコンナイトライドSiN、あるいはアルミナAl2O3やジルコニアZrO2や酸化チタンTiO2 や酸化マグネシウムMgOや酸化亜鉛ZnOなどの酸化物あるいはポリカーボネートPCやアクリル樹脂PMMAなどの高分子材料、炭化珪素SiCやゲルマニウムGeなどを利用するが、その膜の一般的な製造時の温度条件は、固体撮像素子312上に形成された色フィルタ群314をなす各色フィルタ14の耐え得る温度(たとえば200°C程度)に対して比較的高くなり(たとえばSiN層では600〜800°C程度)、色フィルタ群314の膜劣化の問題が生じ得る。
この問題を解消するには、たとえば、プラズマ処理で誘電体層を製膜することが考えられるが、この場合でも、製膜時の温度条件は、たとえば380°C程度となり、依然として、色フィルタ14の耐え得る温度(たとえば200°C程度)に対して高く、色フィルタ群314の膜劣化の問題が残る。
さらに、製膜時の温度条件を低減するべく、スパッタ処理で誘電体層を製膜することが考えられる。この手法では、色フィルタ14の耐え得る温度(たとえば200°C程度)に対して問題のないようにすることができる。ただし、この手法では、膜厚の均一性に難点がありキチンとした膜ができ難く、赤外光カット性能の点では第1例よりも劣ることになる。
また、製膜時の温度条件を考慮する必要がないように、赤外光カットフィルタ層313を別途作成しておき、色フィルタ群314上に貼り付けることも考えられる。しかしながら、この場合、赤外光カットフィルタ層313の開口部313aに対応する部分に広波長領域画素12Aが配置され、赤外光カットフィルタ層313の非開口部313bに対応する部分の色フィルタ群314の赤色フィルタ14R、緑色フィルタ14G、青色フィルタ14Bのそれぞれに対応する部分に赤色画素12R,緑色画素12G、青色画素12Bを配置するという、位置合せの管理が必要となる難点がある。
<撮像部;誘電体積層膜を利用>
図11は、撮像部310の一実施形態を説明する図である。撮像部310は、一般的な単板カラー方式の固体撮像素子と同様に、撮像素子の表面に、各検知部(一般的に画素と呼ばれる)において、特定の波長成分のみを透過するような色フィルタ14を対応する画素位置に位置決めして貼り付け(一体的に形成して)、複数個の画素の組によって必要な色成分を復元する構造を採用する。
加えて、本実施形態の撮像部310は、誘電体積層膜を利用して電磁波を所定波長ごとに分光する波長分離の概念を採り入れた点に特徴を有する。ここでは、電磁波の一例である光を所定波長ごとに分光することを例に説明する。
具体的には、本出願人が特願2004−358139号にて提案している構成を利用したもので、固体撮像素子312の電磁波が入射する入射面側に、隣接する層間で屈折率が異なり所定の厚みを持つ層を複数積層した構造を有し、入射される光(電磁波)の内の本来の検知目的外である波長成分(本例では赤外光IR成分)を反射させ残り(本例では可視光VL成分)を通過させる特性を持った積層部材としての誘電体積層膜を利用した波長分離対応の構造を持つ分光イメージセンサ(分光検知部)としている。固体撮像素子312(センサ)の基本構造そのものは、CCD型やCMOS型やその他の何れであってもよい。
積層部材が持つ前述の特性は、逆に言えば、入射される光(電磁波)の内の本来の検知目的の波長成分(本例では可視光VL成分)を通過させ残り(本例では赤外光IR成分)を反射させる特性ということができる。
可視光VLの検知部(可視光検知画素12VL)側に、可視光VLの検知に最適化された誘電体積層膜を利用した分光イメージセンサ構造を持つイメージセンサとしている。赤外光IRを誘電体積層膜を利用して光学的に排除し、可視光VLの検知部に入射した可視光VL成分だけの光電子だけを可視光検知画素12VLで電気信号に変換するようにする。
光路上で波長分離を行なうことなく、1つのイメージセンサ上の可視光検知画素12VL(たとえばR,G,Bの各色画素12A,12G,12B)に誘電体多層膜を利用した分光フィルタを一体的に形成し、広波長領域画素12Aには誘電体多層膜を利用した分光フィルタを形成しない開口部313aを設けることで、可視光検知画素12VL(12A,12G,12B)から得られる画素信号に基づく可視光像(特に可視光カラー画像)と、広波長領域画素12Aから得られる画素信号に基づく赤外光成分を含む画像(本例では輝度画像に相当するもの)とを、独立かつ同時に取得できるようにしている。これにより、赤外光IRの影響を殆ど受けることなく、可視光像を、赤外光成分を含む画像とは独立に得ることができるようになる。
<誘電体積層膜を利用した波長分離の概念>
誘電体積層膜1は、図11(A)に示すように、隣接する層間で屈折率nj(jは2以上の正の整数;以下同様)が異なり(屈折率差Δn)、所定の厚みdjを持つ層を複数積層した構造を有する積層部材である。これによって、後述するように、電磁波の内の所定の波長領域成分を反射させ残りを通過させる特性を持つようになる。
誘電体積層膜1をなす各誘電体層1_jの層数の数え方は、その両側の厚い層(第n0層1_0および第k層1_k)を層数として数えずに、たとえば、第1層目から第k層側に向けて順に数える。実質的には、両側の厚い層(第0層1_0および第k層1_k)を除いた基本層1_1〜1_n(図ではn=5)により、誘電体積層膜1が構成される。
このような構造を持つ誘電体積層膜1に光を入射させると、誘電体積層膜1での干渉により、反射率(あるいは透過率)が波長λに対してある依存性を持つようになる。光の屈折率差Δnが大きいほどその効果が強くなる。
特に、この誘電体積層膜1が、周期的な構造や、ある条件(たとえば各層の厚みdの条件d〜λ/4n)を持つことで、白色光などの入射光L1が入射すると、ある特定波長域の光(特定波長領域光)の反射率だけを効果的に高めて殆どを反射光成分L2にさせ、すなわち透過率を小さくさせて、かつ、それ以外の波長域の光の反射率を低くすることで殆どを透過光成分L3にさせる、すなわち、透過率を大きくさせることができる。
ここで波長λは、ある波長域の中心波長であり、nはその層の屈折率である。本実施形態では、この誘電体積層膜1による反射率(あるいは透過率)の波長依存性を利用することで、分光フィルタ10を実現する。
図11(B)は、赤外光IR(InfraRed)と可視光VL(Visible Light )とを分光する事例で示している。可視光VLよりも長波長側である赤外領域の波長λ(主に780nmより長波長側)の赤外光IRに対して、高い反射率を持たせるような誘電体積層膜1を形成することで、赤外光IRをカットすることができる。
なお、誘電体積層膜1をなす各誘電体層1_jの部材(層材)は、複数の層で誘電体積層膜1を構成することから少なくとも2種となり、3層以上の場合には各誘電体層1_jの何れもが異なる層材でなるものであってもよいし、2種(あるいはそれ以上)を交互にあるいは任意の順に積層したものであってもよい。また、誘電体積層膜1を、基本的な第1および第2の層材で構成しつつ、一部を第3(あるいはそれ以上)の層材に代えるようにしてもよい。以下、具体的に説明する。
<<誘電体積層膜の設計手法;赤外光カットの例>>
<厚みdjの設計手法>
図12〜図14は、誘電体積層膜1を設計する手法の基本概念を説明する図である。ここでは、誘電体積層膜1を、基本的な第1および第2の層材で構成しつつ、赤外光IRを選択的に反射させるような設計例を述べる。
図12にその構造図を示すように、本実施形態で用いる誘電体積層膜1は、両側(以下、光入射側を第0層、反対側を第k層と称する)の厚い酸化シリコンSiO2 (以下SiO2と記す)に挟まれて、第1および第2の層材でなる複数の誘電体層1_jが積層されて構成されている。図示した例では、誘電体層1_jをなす第1および第2の層材として何れも一般的な材料を用いることとし、シリコンナイトライドSi3N4(以下SiNと記す)を第1の層材、酸化シリコンSiO2を第2の層材とする2種を用いて、これらを交互に積層している。また、誘電体積層膜1の構造は、上下に十分に厚い酸化シリコンSiO2層がある場合(d0=dk=∞)を仮定している。
このような誘電体積層膜1は、下記式(1)の条件を満たすことで、反射率を有効に高くすることができる。
ここでdj(jは層番号;以下同様)は、誘電体積層膜1を構成する各誘電体層1_jの厚みであり、njは、その各誘電体層1_jの屈折率であり、λ0は反射波長領域の中心波長(以下反射中心波長という)である。
誘電体積層膜1をなす各誘電体層1_jの層数の数え方は、その両側の厚い酸化シリコンSiO2を層数として数えずに、たとえば、第1層目から第k層側に向けて順に、SiN層/SiO2層/SiN層で3層、SiN層/SiO2層/SiN層/SiO2層/SiN層で5層というように数える。図@4では、7層構造を示している。
また、反射波長領域である赤外光IRの反射中心波長λ0=900nmとして、奇数番目の層をなすシリコンナイトライドSiNの屈折率nα=2.03、0番目、偶数番目、およびk番目の層をなす酸化シリコンSiO2の屈折率nβ=1.46としており、屈折率差Δnは、0.57である。
また、上記式(1)に従い、シリコンナイトライドSiNの厚みdα(=d1,d3,…;j=奇数)は111nm、酸化シリコンSiO2層の厚みdβ(=d2,d4,…;j=偶数)は154nmとしている。
図13は、一般的な材料を用いた図12の構造について、層数を変えて、有効フレネル係数法で計算した反射率Rの結果(反射スペクトル図)を示し、これにより、反射スペクトルの層数依存特性が分かる。
図13の結果から、層数が増えるに従い、赤外光IRの反射中心波長λ0=900nmを中心に反射率Rが高くなっているのが分かる。さらに、このように波長900nmを反射中心波長λ0に選ぶことで、ほぼ赤外光IRと可視光VLを分けていることが分かる。ここでは、5層以上にすることで、反射率Rが0.5以上、特に、7層以上にすることで、反射率が0.7を超えて望ましいことが分かる。
図14は、誘電体層1_jの厚みの変動依存性(ばらつきとの関係)を説明する反射スペクトル図である。ここでは、7層の場合を例に、各誘電体層1_jの厚みdjを±10%変えて計算した結果(反射スペクトル図)を示している。
条件式(1)は、フレネル係数法による理想的な計算値であるが、実際には式(1)の条件はゆるやかで幅がある。たとえば、±10%の厚みdjの誤差があっても有効に反射率を高くできることがフレネル係数法による計算で分かった。
たとえば、図13に示すように、厚みdjにばらつきの差があっても、有効に反射率Rを高くできることが分かった。たとえば、赤外光IRの反射中心波長λ0=900nmにおいて反射率Rが0.5以上という十分な反射率Rが得られているし、赤外光IR全体(主に780nmより長波長側)においても、反射が強いことが分かる。したがって、実際には、ばらつきも加味すれば、誘電体層1_jの厚みdjは、下記式(2)の範囲であれば、反射率を有効に高くする上で、十分な効果が得られることになる。
<反射中心波長λ0の設計手法>
図15〜図17は、反射中心波長λ0の条件を説明する図である。厚みdjの数値条件は、スペクトルの赤外反射領域のバンド幅ΔλIRに依存する。反射スペクトルの概念を示した図15(A)のように、赤外反射領域のバンド幅ΔλIRが広い場合には長波長側に中心波長λ0を持っていかないと可視光VLでの反射が顕著になる。また反射スペクトルの概念を示した図15(B)のように、逆に赤外反射領域のバンド幅ΔλIRが狭い場合には、短波長側に中心波長λ0を持っていかないと可視光VLに近い赤外領域での反射が起こらなくなる。可視光VLと赤外光IRの波長分離性能が非常によい。
ところで、シリコンSiの吸収スペクトルは、たとえば、赤外領域の内、780nm≦λ≦950nmの範囲の赤外光IRを反射させれば、赤外カット効果として十分であると考えることができる。これは、波長950nmより長波長側の光は殆どシリコンSi内部で吸収されず、光電変換されないからである。したがって780nm≦λ≦950nmの範囲の波長の赤外光IRを反射できるように反射中心波長λ0を選べばよいことになる。
また、可視光VLでも、赤(R)領域の内、640〜780nmの範囲の光は視感度が低いために反射されてもされなくても特に撮像素子の性能に影響はないと考えてよい。したがって640〜780nmの波長領域に反射が生じていても不都合がない。
さらに、赤外反射領域のバンド幅ΔλIRは、誘電体積層膜1の屈折率差Δnが大きいときには広くなり、逆に屈折率差Δnが小さいときには狭くなる。したがって、赤外反射領域のバンド幅λIRは、SiN/SiO2多層膜の場合には狭く、Si/SiO2多層膜の場合には広くなる。
これらのことから、SiN/SiO2多層膜(屈折率差Δn=0.57)の場合には、図16の反射スペクトル図に示す780nmと950nmの反射中心波長λ0の計算から、780nm≦λ0≦950nmの範囲であれば、ほぼ上述の条件を満たすことが分かる。ところで、図16は後述する図21のような積層構造で、λ0=780nmとλ0=950nmになるように、誘電体層1_jの膜厚djだけを変えて計算されたものである。
また同様に、Si/SiO2多層膜(屈折率差Δn=2.64)の場合、図17の反射スペクトル図に示すように900nm≦λ0≦1100nmの範囲であれば、ほぼ上述の条件を満たす。
以上のことから、シリコンナイトライドSiNやシリコンSiと酸化シリコンSiO2の組合せにおいては、反射中心波長λ0としては、下記式(3−1)を満たせばよいことになる。好ましくは、下記式(3−2)を満たすのがよい。これらは、900nm近傍を反射中心波長λ0とするのが理想的であることを意味する。
もちろん、上記で示した材料は一例に過ぎず、上述のような効果は必ずしも酸化シリコンSiO2 とシリコンナイトライドSiN層の組み合わせに限ったことでなく、屈折率差が0.3以上、さらに望ましくは0.5以上あるような材料を選べば同様な効果があることが計算によって見積もられた。
たとえばSiN膜は、作製条件によって多少の組成のばらつきがあってもよい。また、誘電体積層膜1を構成する誘電体層1_jとしては、酸化シリコンSiO2やシリコンナイトライドSiNの他に、アルミナAl2O3やジルコニアZrO2 ( 屈折率2.05)や酸化チタンTiO2(屈折率2.3〜2.55)や酸化マグネシウムMgOや酸化亜鉛ZnO(屈折率2.1)などの酸化物あるいはポリカーボネートPC(屈折率1.58)やアクリル樹脂PMMA(屈折率1.49)などの高分子材料、炭化珪素SiC(屈折率2.65)やゲルマニウムGe(屈折率4〜5.5)などの半導体材料も使用可能である。
高分子材料を用いることで、従来のガラス製にはない特徴を持った光学フィルタを構成することができる。すなわち、プラスチック製にすることができ、軽量で耐久性(高温、高湿、衝撃)に優れる。
<<誘電体積層膜を利用した分波イメージセンサ>>
図18〜図22は、誘電体積層膜1を利用した固体撮像素子312への適用に好適な分光イメージセンサ11の一実施形態を説明する図である。この分光イメージセンサ11は、誘電体積層膜1を利用した分光フィルタ10の基本的な設計手法を用いて構成されるものである。ここでは、赤外光IRを選択的に反射させるような誘電体積層膜1を半導体素子層上に形成することで、赤外光IRをカットして可視光VL成分を受光するようにした分光イメージセンサ11の設計例を述べる。
なお、分光イメージセンサ11の基本構造は、分光フィルタ10を半導体素子層の受光部上に形成したもので、これだけでは、単波長分波対応(つまりモノクロ画像撮像用)の分光イメージセンサ11になるが、分光イメージセンサ11の各受光部に対させて色フィルタ(色分離フィルタ)14の所定色(たとえばR,G,Bの何れか)を設けることで、カラー画像撮像対応となる。
ここで、図12〜図14を用いて説明した誘電体積層膜1をシリコン(Si)フォトディテクタなどの検知素子が形成された屈折率が誘電体積層膜1をなす各誘電体層1_jよりも大きい半導体素子層上に作製するに当たっては、半導体素子層から誘電体積層膜1までの距離、すなわち第k層の誘電体層1_kをなす酸化シリコンSiO2層の厚みdkが重要である。
これは図18の構造図に示すように、たとえばシリコンSi(屈折率4.1)でなる半導体素子層(フォトディテクタなど)の表面であるシリコン基板1_ωの表面からの反射光L4との干渉効果によって、トータルな反射光LRtotal のスペクトルが変化することを意味する。
図19は、トータルな反射光LRtotal の、誘電体層1_kをなす酸化シリコンSiO2層の厚みdkの変動依存性を説明する反射スペクトル図である。ここでは、図12に示した7層構造の誘電体積層膜1について、誘電体層1_kの厚みdkを変えて計算した結果を示している。図19内の各図において、横軸は波長λ(μm)で、縦軸は反射率Rである。
図19内の各図から分かるように、厚みdk=0.154μmのとき、すなわち赤外光IRの反射中心波長λ0に対して、条件式(1)を満たす値のときに、反射スペクトルは殆ど影響を受けず、赤外光IR(波長λ≧780nm)を強く反射していることが分かる。それに対して厚みdk=0.3〜50μmまでのスペクトルには、厚みdk=∞の反射スペクトルに比べて別の振動が生じていることが分かる。それによって赤外での反射がディップ状に低下している波長域が存在するのが分かる。
ただし、厚みdk=2.5μm以上になると、赤外でのディップの半値幅が30nm以下になり、とりわけ厚みdk=5.0μm以上になるとその半値幅が20nm以下となり、一般的なブロードな自然光に対して十分に半値幅が狭くなるので平均化された反射率となる。さらに、厚みdk=0.3〜1.0μmのスペクトルに関しては、可視光VLでの反射率が高いことも分かる。これらのことから、望ましくは、厚みdk=0.154μm付近、すなわち条件式(1)を満たす値のときが最適であると言える。
図20は、誘電体層1_kをなす酸化シリコンSiO2層の厚みdkの変動依存性を説明する反射スペクトル図であって、特に、厚みdk=0.154μm付近で、厚みdkの値を変えて計算した結果を示すものである。図20内の各図において、横軸は波長λ(μm)で、縦軸は反射率Rである。
この結果から分かるように、条件式(1)を満たす厚みdk=0.154μmを中心として、厚みdk=0.14〜0.16μmの範囲であれば、可視光VLでの反射が抑えられることが分かる。
以上のことから、分光イメージセンサ11の最適構造は、図21の構造図に示すように、実質的には、第k層の誘電体層1_kを含めて8層構造の誘電体積層膜1Aを有するものとなり、その反射スペクトルの計算結果は図22に示す反射スペクトル図のようになる。言い換えると、誘電体積層膜1Aは、シリコン基板1_ω上に、第2の層材である酸化シリコンSiO2でなる層を4周期分設けた構造をなしている。
<<製造プロセスの具体例>>
図17は、上記実施形態で説明した積層膜を利用したセンサ構造の分光イメージセンサを製造する具体的なプロセス例を示す図である。この図17は、赤外光IR用の受光部と可視光VL用の受光部とを備えた分光イメージセンサの製造プロセス例である。
この構造の作製に当たっては、一般的なCCDやCMOS構造の回路をまず形成する(図17(A))。この後に、Siフォトダイオードの上にたとえばCVD(Chemical Vapor Deposition ;化学気相成長法)などを用いてSiO2膜とSiNを順次積層する(図17(B))。
この後、たとえば4つの画素の内1つだけをリソグラフィ技術やRIE(Reactive IonEtching)法などを用いてエッチングすることで、赤外光IR用の受光部に最下層のSiO2膜に達する開口部(図8,図9の開口部313aに対応する)を設ける(図17(E))。この赤外光IR用の受光部は、他の可視光カラー画像撮像用の色画素に対して補正画素
としても使用される。
この後、誘電体積層膜1などの保護のために、一部に開口部が設けられた誘電体積層膜1上にたとえば再度CVDなどを用いてSiO2膜を積層して平坦化する(図17(F))。もちろん、このプロセスは必須ではない。
なお、この際、可視光VL用の3つの画素(R,G,B成分用)をエッチングしないように、赤外光IR用の受光部に開口部が設けられたフォトレジストを用いてもよい(図17(C),(D))。この場合、誘電体積層膜1上にSiO2膜を積層する前に、フォトレジストを除去する必要がある(図17(D)→(E))。
また、図示を割愛するが、さらにその上に色フィルタやマイクロレンズを画素に対応するように形成する。この際、可視光用の検知部には赤、緑、青色の原色フィルタを配することで、3色の画素が可視光の赤、緑、青色の3原色を受光するようにする。また、開口部の画素については、白色フィルタを配することで、または色フィルタを配さずにおくことで、可視光と赤外光とを纏めて受光するようにする。
こうすることで、3原色可視光の画素の検知部上にはSiN層とSiO2層の誘電体多層膜が形成されるが、開口部の検知部上にはこの誘電体多層膜が形成されないこととなる。このような構造で作製された撮像素子を用いることで、3原色の組合せでなる可視光像
(可視光カラー画像)を撮像できるだけでなく、赤外光と可視光の混在画像を、可視光カラー画像とは独立かつ同時に撮像することができる。
さらに若干の赤外光IRが漏れて可視光VL用の光電変換素子(フォトダイオードなど)に入射する場合、全体に弱い赤外光カットフィルタを入れてもよい。たとえば50%以下の赤外光カットフィルタを入れることで、可視光VLに対して殆ど問題のないレベルまでカットしても赤外光IR用の光電変換素子(フォトダイオードなど)では、赤外光IRが集光するので十分な感度となる。
なお、このような製造プロセスでは、Si基板表面近くまでエッチングする、すなわち赤外光IR用の受光部に最下層のSiO2膜に達する開口部を設けるため(図17(E))、エッチングによるダメージが問題になることがある。この場合は、Si基板直上のSiO2層の厚みdを大きくしてダメージを低減することも可能である。
ここでdk=2.5μm以上になると、図19のように反射スペクトルの赤外光領域でのディップの半値幅が狭くなるので、一般的なブロードな自然光に対して平均化された反射率となるので、赤外光の反射が可能となる。したがって望ましくは第k番目の誘電体層1_kの厚みdkを2.5μm以上にするのがよい。さらに望ましくは、5μm以上の厚みにするとなおよい。
また、シリコン基板1_ω上に形成されるフォトダイオードや画素内アンプなどためのメタル配線、すなわち、検知部としての画素内アンプなどから検知信号としての画素信号を撮像部(検出領域)から読み出すための信号線をなす配線層をシリコン基板1_ω直上に形成する場合、シリコン基板1_ω直上に誘電体積層膜1を設けた構造よりは、シリコン基板1_ω上である程度離したところに誘電体積層膜1を形成する、すなわちメタル配線より上側に誘電体積層膜1を形成することで、製造プロセスが容易になり、コストが低く抑えられるメリットが得られる。ここでは、詳細な説明は割愛するが、メタル配線を考慮した分光イメージセンサとするには、誘電体積層膜1をなす層数を増やすことで、ある程度よい結果が得られる。
なお、上記の分光フィルタ10の構造は、誘電体積層膜1を利用した基本構造を示したもののであり、その他の様々な変形が可能である。同様に、上記の分光イメージセンサ11の構造は、誘電体積層膜1を利用した分光フィルタ10をCMOSやCCDなどの受光部上に形成する基本構造を示したもののであり、その他の様々な変形が可能である。たとえば、詳細な説明は割愛するが、分光フィルタ10や分光イメージセンサ11の変形例としては、本願出願人が特願2004−358139号にて提案しているように様々な構成を採用することができる。
また、前述では、固体撮像素子312として、本願出願人が特願2004−358139号にて提案した誘電体積層膜1を利用したものについて説明したが、本実施形態で使用し得る固体撮像素子は、このようなものに限らない。たとえば、本出願人が特願2004−250049号にて提案したような回折格子を利用して波長分離を実現する構成のものや、その他の仕組みを利用して波長分離を実現する構成のものなど、様々なものを使用することができる。
たとえば、回折格子を利用して波長分離を行なう構造のものでは、広波長領域信号取得素子の部分については大きな開口部を設け、特定波長領域信号取得素子の部分には回折格子用の微小開口部を設けることになるが、特定波長領域信号取得素子の部分については、波長順に分離するので、特定波長領域信号取得素子の配置態様の自由度が少ない。
また、不可視光領域成分(たとえば赤外光成分)をも検知する形態の広波長領域画素12Aと可視光成分をさらに波長分離して検知する特定波長領域信号取得素子(赤色画素12R、緑色画素12G、青色画素12Bの組合せなど)とを2次元マトリクス状に配置した構造とする場合、特定波長領域信号取得素子側については、不可視光領域成分(たとえば赤外光成分)と可視光成分の分離性能が、色再現上、問題となり得る。
この点においては、本願出願人が特願2004−358139号にて提案しているように、第1の検知部の電磁波が入射する入射面側に、隣接する層間で屈折率が異なり所定の厚みを持つ層を複数積層した構造を有し、電磁波の内の所定の波長領域成分を反射させ残りを通過させる特性を持った積層部材が配されている構造の本来的に赤外光成分の抑制能力の高い素子とするのが好ましい。
<<フィルタの分光特性>>
図24および図25は、赤外光カットフィルタ層313および色フィルタ群314赤を用いた波長分離の具体例を説明する図である。ここで、図24は、色フィルタ群314をなす各色フィルタ14の光透過特性(分光特性)の基本を示した図である。また、図25は、色フィルタ群314をなす各色フィルタ14の特性例を示す図である。
まず、本例では、赤色近傍の波長を透過する赤(R)、緑色近傍の波長を透過する緑(G)、青色近傍の波長を透過する青(B)、これらに加え、赤外線(IR)とRGBの全てを透過する白(もしくは色フィルタを使用しない)の各種類の分光特性を持つ色フィルタ14によって色フィルタ群314を構成する。
これら色フィルタ14の分光は、Rチャネル、Gチャネル、Bチャネル,そして赤外線
(IR)とRGBを全て透過するA(=Y+IR)チャネルからなり、対応する赤色画素12R、緑色画素12G、青色画素12B、赤外線(IR)とRGBを全て検知する広波長領域画素12Aによって、4種類の分光からなるモザイク画像を得ることができる。
広波長領域画素12Aを設けることで、撮像素子に入射してくる赤外光IRと可視光の合成成分を示す、つまり可視光部分の輝度信号(Y)と赤外光信号(IR)の双方を含む広波長領域信号SAとして広波長領域画素12Aにより測定できる。
なお、図24では、白色フィルタ14Wの透過特性を可視光帯と赤外光帯とで等しいものとして示しているが、このことは必須ではなく、可視光帯の透過強度よりも赤外光帯の透過強度が低下していてもよい。可視光帯の全波長成分を十分な強度で透過させることができるとともに、赤外光帯では、R,G,Bの原色フィルタの透過強度に比べて十分な強さで透過させる特性を持っていればよいのである。
ただし、広波長領域画素12Aから得られる広波長領域信号SAには、赤外光成分IRだけでなく可視光成分VLも含まれるので、これをそのまま使うことで、可視光成分VLのみで輝度信号を生成するよりも、赤外光成分IRを輝度成分に利用することができ、感度アップを図ることができる。特に、低照度の下で撮影時に、ノイズの少ない輝度信号を得ることができる利点がある。
具体的には、先ず、可視光カラー画像撮像用の色フィルタ群314として、可視光VL(波長λ=380〜780nm)の3原色である青色成分B(たとえば波長λ=400〜500nmで透過率が略1、その他で略ゼロ)、緑色成分G(たとえば波長λ=500〜600nmで透過率が略1、その他で略ゼロ)、赤色成分R(たとえば波長λ=600〜700nmで透過率が略1、その他で略ゼロ)を中心とする原色フィルタ群314R,14G,14Bを用いる。
なお、透過率が“略1”であるとは、理想的な状態をいったものであり、その波長領域での透過率がその他の波長領域での透過率よりも遙かに大きいものであればよい。一部に“1”でない透過率”があってもよい。また、透過率が“略ゼロ”であるについても、同様に理想的な状態をいったものであり、その波長領域での透過率がその他の波長領域での透過率よりも遙かに小さいものであればよい。一部に“ゼロ”でない透過率”があってもよい。
また、通過波長領域成分である可視光VL領域の内の所定色(原色もしくは補色)の波長領域成分を通過させるものであればよく、反射波長領域成分である赤外光IR領域を通過させるか否かすなわち赤外光IRに対する透過率は不問である。誘電体積層膜1によって赤外光IR成分をカットするからである。
一例として、図25(A)に示すような分光感度特性のものを用いることができる。たとえば、Bチャネルに対応する青色フィルタ14Bは、青色に相当する380nm〜480nm程度の波長の光信号の透過率が高いフィルタであり、Gチャネルに対応する緑色フィルタ14Gは、緑色に相当する約450〜550nmの波長の光信号の透過率が高いフィルタであり、Rチャネルに対応する赤色フィルタ14Rは、赤色に相当する約550〜650nmの波長の光信号の透過率が高いフィルタである。なお、これらのRGB対応の色フィルタ14R,14G,14Bは、約700nm以上の波長を持つ赤外光成分は殆ど透過しない性質を持っている。
一方、Aチャネル対応の白色フィルタ14Wは、ピークは約530nm付近であるが、RGB成分の全ての信号を透過するとともに、700nm以上の赤外光成分も透過する性質を持っている。対応する広波長領域画素12Aにて、可視光成分だけでなく、赤外光成分も検知可能にすることで、広波長領域画素12Aが、可視光領域内を複数に波長分離して各成分を検知する他の色画素(本例では赤色画素12R、緑色画素12G、青色画素12B)よりも高感度に検知できるようにしている。
なお、本例では、白色フィルタ14Wの可視光領域の透過率は、青色フィルタ14B、緑色フィルタ14G、赤色フィルタ14Rの各可視光領域の透過率の比と概ね同じにしつつ、全体としてそれらの透過率よりも高く、広波長領域画素12Aでの可視光領域の感度自体も、青色画素12B、赤色画素12R、青色画素12Bの感度よりも高くなるようにしてある。不可視光成分の一例である赤外光成分も検知可能にすることで高感度化を図るだけでなく、可視光領域自体でも、可視光領域内を複数に波長分離して各成分を検知する他の色画素(本例では赤色画素12R、緑色画素12G、青色画素12B)よりも高感度に検知できるようにし、一層の高感度化を図るようにしているのである。
詳細な説明は割愛するが、このような高感度で得られる広波長領域画素12Aからの可視光領域のR,G,Bの成分を使って、青色画素12B、赤色画素12R、青色画素12Bのそれぞれから得られる色信号に対して補正を加えると、より高感度の色信号が得られるようになる。
<<撮像信号処理部の詳細;第1例>>
図26は、撮像信号処理部330(特に画像信号処理部340)の第1例の詳細構成を示した機能ブロック図である。ここでは、色フィルタ群314が、図3(B)に示した色配列の場合に対応するものとして説明する。
本実施形態の撮像信号処理部330では、RGBの原色系やCy,Mg,Yeの補色系などの特定の光波長領域に対応する可視光信号を取得する特定波長領域信号取得素子(画素12R,12G,12Rの組や画素12Cy,12Mg,12Ye(,12G)の組)と、可視光成分および赤外光などの不可視光成分を含む光信号を取得する広波長領域信号取得素子(広波長領域画素12A)によって構成される色配列を持つ固体撮像素子312から出力される画素信号を処理する。
これまでの説明から分かるように、撮像信号処理部330での処理例は、たとえば低照度の下で色フィルタ群314を具備する撮像部3102を適用して撮影したノイズを多く含む1枚の画像データに基づいて、そのノイズを多く含む画像についてのノイズ低減処理に好適なものである。
ここで、第1例の撮像信号処理部330は、色フィルタ群314として、RGBWの色配列を持つ撮像部310(たとえばCCD固体撮像素子やCMOS固体撮像素子)において撮影された画像の信号処理によって、輝度信号(Y)と、2つの色差信号(R−Y)、(B−Y)を取得するための信号処理構成に対応したものである。
なお、撮像部310によって取得された画像データ(画素信号)に対しては、たとえばホワイトバランス調整などの処理が実行されることになるが、これらの処理は、従来と同様の処理であり、図26には示しておらず(図7の前処理部332や補正処理部336を参照)、図26では、特に画像信号処理部340に着目して示している。
図示のように、第1例の画像信号処理部340はRGBWの配列を持つ撮像部310によって取得される信号から、広波長領域画素12Aの取得信号(広波長領域信号SA)で示されるモザイク画像Aを取得し、広波長領域信号で示されるデモザイク画像A2を輝度信号として生成する輝度信号生成部410と、RGB素子(12R,12G,12B)の取得信号SR,SG,SBで示されるモザイク画像R,G,Bを取得し、可視光領域信号に対応するデモザイク画像R2,G2,B2(単色画像R,G,B)を示す色に関する信号を生成する単色画像信号生成部420と、単色画像信号生成部420で取得されたデモザイク画像R2,G2,B2(単色信号SR2,SG2,SB2)に基づいて色差信号R−Y,B−Yを生成する色差信号生成部430とから構成されている。
輝度信号生成部410は第1の物理情報取得部の一例であり、単色画像信号生成部420は第2の物理情報取得部の一例であり、色差信号生成部430は第3の物理情報取得部の一例である。輝度信号生成部410および単色画像信号生成部420によって、デモザイク信号処理部341が構成され、単色画像信号生成部420と色差信号生成部430とで色成分抽出部が構成され、輝度信号生成部410と色差信号生成部430が出力画像信号処理部343を構成するようになっている。
輝度信号生成部410は、モザイク画像Aに対して最適化されたフィルタ定数を持つローパスフィルタ(LPF;補間フィルタ)412Aを具備している。また、単色画像信号生成部420は、モザイク画像R,G,Bに対して最適化されたフィルタ定数を持つローパスフィルタ(LPF;補間フィルタ)を色別に具備している。
ここで、単色画像信号生成部420は、緑色系統に関しては、ローパスフィルタ422Gを具備するが、赤色系統と青色系統に関しては、先ずローパスフィルタ422R,422Bを具備し、ローパスフィルタ422R,422Bの後段に、さらに、ローパスフィルタ422R,422Bから出力されるモザイク画像R1,B1に対して最適化されたフィルタ定数を持つローパスフィルタ424を色別に具備している(それぞれ424R,424Bで示す)。
輝度信号生成部410のローパスフィルタ412Aおよび単色画像信号生成部420のローパスフィルタ422R,422G,422Bへは、撮像部310側から、各画素位置の画素信号が選択スイッチ402を介して対応するものへ切替入力される。
また、色差信号生成部430は、単色画像信号生成部420から出力されたデモザイク画像R2,G2,B2を示す単色信号SR2,SG2,SB2に基づいて輝度成分を示す合成輝度信号SY2を生成し、単色信号SR2,SB2との差を取ることで色差信号R−Y,B−Yを生成するマトリクス演算部432を具備している。
<デモザイク処理の一例>
図27〜図31は、デモザイク信号処理部341(輝度信号生成部410と単色画像信号生成部420)におけるデモザイク処理によって、各信号成分のデモザイク画像を取得する手法の一例を説明する図である。なお、各図において、デモザイク画像中のRGBAはモザイク画像によって得られる画素値であり、rgbaはデモザイク処理によって得られる補間画素値を示している。
白色フィルタ14Wを具備したRGBWもしくは白色フィルタ14Wを具備しないRGBAの配列を持つ撮像部310において撮影された信号は、図示を割愛したAD変換部(図7のAD変換部334を参照)においてデジタルデータに変換される。ここで、生成される信号は、RGBW(RGBA)各々に対応する4つのモザイク画像を示すものとなる。
たとえば、図3(B)に示した色配列の色フィルタ群314を具備した撮像部310を適用した場合、図27(B)〜図30(B)に示すような4つのモザイク画像R,G,B,W(もしくはR,G,B,A;以下R,G,B,Aで説明する)が取得される。なお、図27(A)〜図30(A)に示した色フィルタ群314の色配列は、図3(B)に示した色配列に対して、1行下(2行目)、1列右(2列目)から切出した状態で示している。
これらの4つのモザイク画像R,G,B,Aは、画素値の存在しない画素部分を周囲の画素値によって補間する処理によって、全ての画素の画素値を設定する補間処理を実行するローパスフィルタ412A,422R,422G,422B,424R,424Bにそれぞれ入力され、デモザイク処理が実行される。
デモザイク処理は、画素値を持たない画素について、周囲の画素値に基づく補間を実行して、全ての画素の画素値を設定する処理によって行なわれる。たとえば、公知のVargraのアルゴリズムと同様な方法を適用することができる。Vargraのアルゴリズムは、画素値の8方向勾配を求め、勾配の近い画素値を平均することによりデモザイクを行なうアルゴリズムである。
このデモザイク処理は、画素値の存在しない画素部分の画素値を周囲画素の画素値によって決定する処理である。この処理には、いわゆる2次元FIRフィルタによって行なわれる。すなわち、画素位置に対応する係数を持つフィルタが適用される。なお、R,Bについては、2段階のローパスフィルタが適用され、オフセットサブサンプリングに対応する補間フィルタとしてのローパスフィルタ422R,422Bでの処理の後、さらにローパスフィルタ422Gと同様のローパスフィルタ424R,424Bによって、全ての画素の画素値の設定が行なわれる。
周囲画素の画素値を使うに当たっては様々な手法を採り得るが、本実施形態でのデモザイク信号処理部341では、ある色に着目したときに、その着目色の色フィルタが配されていない画素の画素値を、その着目色の色フィルタが配されている近傍の有効画素の画素値を使って色補間処理を行なう。
たとえば、輝度信号成分のデモザイク画像を取得するに当たっては、図27(C)に示すように、デモザイク画像A2を取得するローパスフィルタ412Aでは、広波長領域画素12Aを具備しない画素部分(たとえばa34)の画素値a34を、その周囲の4つの広波長領域画素12A(画素位置A24,A33,A44,A35)から得られるA信号(画素値A24,A33,A44,A35)に基づく下記式(4)で示される補間処理を実行する。これにより、デモザイク画像A2が得られる。
また、緑色信号成分のデモザイク画像を取得するに当たっては、デモザイク画像Gを取得するローパスフィルタ422Gでは、先ず、図28(B)に示すように、デモザイク画像Gを処理対象として、同ライン(行)にも同カラム(列)にも緑色画素12Gを具備しない画素部分(たとえばg23)の画素値g23を、その周囲の4つの緑色画素12G(画素位置G12,G32,G34,G14)から得られるG信号(画素値G12,G32,G34,G14)に基づく下記式(5)で示される補間処理を実行する。これにより、デモザイク画像G1が得られる。
次に、図28(C)に示すように、デモザイク画像G1を処理対象として、同ラインまたは同カラムに緑色画素12Gを具備しない画素部分(たとえばg33)の画素値g33を、その周囲の2つの緑色画素12G(画素位置G32,G34)から得られるG信号(画素値G32,G34)と、式(5)に準じて得られるその周囲の2つの仮想緑色画素12g(画素位置g23,g43)から得られるg信号(画素値g23,g43)とに基づく下記式(6)で示される補間処理を実行する。これにより、デモザイク画像G2が得られる。
なお、式(5)に準じて得られる仮想緑色画素12gから得られるg信号を使わずに、同ラインもしくは同カラムに存在する隣接の2つの緑色画素12Gから得られるG信号(たとえば画素値G21,G23)に基づく下記式(7)で示される補間処理を実行してもよい。
また、赤色信号成分のデモザイク画像を取得するに当たっては、デモザイク画像Rを取得するローパスフィルタ422Rでは、図29(B)に示すように、デモザイク画像Rを処理対象として、同ライン(行)に赤色画素12Rを具備し、かつ同カラム(列)に赤色画素12Rを具備する、赤色画素12Rを具備しない画素部分(たとえばr45)の画素値r45を、その周囲の4つの赤色画素12R(画素位置R25,R43,R65,R47)から得られるR信号(画素値R25,R43,R65,R47)に基づく下記式(8)で示される補間処理を実行する。
これにより、ローパスフィルタ422Rから出力されるデモザイク画像R1では、R成分についての画素値が得られている画素の配置態様が、G成分について示した図28(B)の状態(デモザイク画像G2)と事実上同じになる。よって、後は、ローパスフィルタ422Gと同様のローパスフィルタ424Rは、G成分についての処理と同様にして、補間処理を実行すればよいことになる。
たとえば、デモザイク画像R2を取得するローパスフィルタ424Rでは、前述のようにしてローパスフィルタ422Rで生成されたデモザイク画像R1を処理対象として、図29(C)に示すように、同ライン(行)にも同カラム(列)にも赤色画素12Rや式(8)で得られる仮想赤色画素12rを具備しない画素部分(たとえばr54)の画素値r54を、その周囲の2つ(対角)の赤色画素12Rおよび2つ(対角)の仮想赤色画素12r(画素位置R43,R65,r63,r45)から得られるR信号およびr信号(画素値R43,R65,r63,r45)に基づく下記式(9)で示される補間処理を実行する。これにより、デモザイク画像R11が得られる。
次に、図29(D)に示すように、デモザイク画像R11を処理対象として、同ラインまたは同カラムに赤色画素12Rや仮想赤色画素12Rを具備しない画素部分(たとえばr64)の画素値r64を、その周囲の1つの赤色画素12R(画素位置R65)から得られるR信号(画素値R65)と、式(8)に準じて得られるその周囲の1つの仮想赤色画素12rの画素部分(画素位置r63)から得られるr信号(画素値r63)と、式(9)に準じて得られるその周囲の2つの仮想赤色画素12rの画素部分(画素位置r54,r74)から得られるr信号(画素値r54,r74)とに基づく下記式(10)で示される補間処理を実行する。これにより、デモザイク画像R2が得られる。
なお、式(9)に準じて得られる仮想赤色画素12rのr信号を使わずに、その周囲の1つの赤色画素12R(画素位置R65)から得られるR信号(画素値R65)と、式(8)に準じて得られるその周囲の1つの仮想赤色画素12rの画素部分(画素位置r63)から得られるr信号(画素値r63)に基づく下記式(11)で示される補間処理を実行してもよい。
同様にして、青色信号成分のデモザイク画像を取得するに当たっては、デモザイク画像Bを取得するローパスフィルタ422Bでは、図30(B)に示すように、デモザイク画像Bを処理対象として、同ライン(行)に青色画素12Bを具備し、かつ同カラム(列)に青色画素12Bを具備する、青色画素12Bを具備しない画素部分(たとえばb43)の画素値b43を、その周囲の4つの青色画素12B(画素位置B23,B41,B63,B45)から得られるB信号(画素値B23,B41,B63,B45)に基づく下記式(12)で示される補間処理を実行する。
これにより、ローパスフィルタ422Bから出力されるデモザイク画像B1では、B成分についての画素値が得られている画素の配置態様が、G成分について示した図28(B)の状態(デモザイク画像G2)と事実上同じになる。よって、後は、ローパスフィルタ422Gと同様のローパスフィルタ424Bは、G成分についての処理と同様にして、補間処理を実行すればよいことになる。
たとえば、デモザイク画像B2を取得するローパスフィルタ424Bでは、前述のようにしてローパスフィルタ422Bで生成されたデモザイク画像B1を処理対象として、図30(C)に示すように、同ライン(行)にも同カラム(列)にも青色画素12Bや式(B1)で得られる仮想青色画素12bを具備しない画素部分(たとえばb54)の画素値b54を、その周囲の2つ(対角)の青色画素12Bおよび2つ(対角)の仮想青色画素12b(画素位置B45,B63,b43,b65)から得られるB信号およびb信号(画素値B45,B63,b43,b65)に基づく下記式(13)で示される補間処理を実行する。これにより、デモザイク画像B11が得られる。
次に、図30(D)に示すように、デモザイク画像B11を処理対象として、同ラインまたは同カラムに青色画素12Bや仮想青色画素12bを具備しない画素部分(たとえばb64)の画素値b64を、その周囲の1つの青色画素12B(画素位置B63)から得られるB信号(画素値B63)と、式(12)に準じて得られるその周囲の1つの仮想青色画素12bの画素部分(画素位置b65)から得られるb信号(画素値b65)と、式(13)に準じて得られるその周囲の2つの仮想青色画素12bの画素部分(画素位置b54,b74)から得られるb信号(画素値b54,b74)とに基づく下記式(14)で示される補間処理を実行する。
なお、式(13)に準じて得られる仮想青色画素12bのb信号を使わずに、その周囲の1つの青色画素12B(画素位置B63)から得られるB信号(画素値B63)と、式(12)に準じて得られるその周囲の1つの仮想青色画素12bの画素部分(画素位置b65)から得られるb信号(画素値b65)に基づく下記式(15)で示される補間処理を実行してもよい。
なお、ここで示した補間処理演算は一例であり、他の色信号との相関を利用したような色補間処理を行なってもよい。
このような補間処理によって、図31に示すように、図31(A1)に示すモザイク画像Aから図31(B1)に示すデモザイク画像A2が得られ、また、図31(A2)に示すモザイク画像Gから図31(B2)に示すデモザイク画像G2が得られ、また、図31(A3)に示すモザイク画像Rから図31(B3)に示すデモザイク画像R2が得られ、また、図31(A4)に示すモザイク画像Bから図31(B4)に示すデモザイク画像B2が得られる。
デモザイク画像R2が、図26に示すローパスフルタ422R,424Rにおける補間処理によって生成されるRチャネルのデモザイク画像であり、デモザイク画像G2が、図26に示すローパスフルタ422Gにおける補間処理によって生成されるGチャネルのデモザイク画像であり、デモザイク画像B2が、図26に示すローパスフルタ422B,424Bにおける補間処理によって生成されるBチャネルのデモザイク画像であり、デモザイク画像A2が、図26に示すローパスフルタ412Aにおける補間処理によって生成されるAチャネルのデモザイク画像である。
図26に示す輝度信号生成部410に設けられるローパスフルタ412Aにおける補間処理によって生成される図31(B1)に示すデモザイク画像A2は、Aチャネル、すなわち、GBRなどの可視光領域の波長と赤外光(IR)の波長領域を含む光の強度に対応する画素値が、各画素に設定されることになる。
このデモザイク画像A2は、図26に示すように、ローパスフィルタ412Aからの出力として得られ、その信号は、“A=Y+IR”を示すものとなり、信号Aは、可視光領域から赤外光領域までを含み、より広範囲の波長の光成分を含むデモザイク画像A2が出力されることになる。
一方、単色画像信号生成部420に設けられるローバスフィルタ422R,422G,422B,424R,424Bにおいて生成されたRGB対応のデモザイク画像G2,R2,B2、すなわち、図31(B2)〜(B4)に示すデモザイク画像G2,R2,B2は、図26に示す色差信号生成部430のマトリクス演算部432に入力され、デモザイク画像G2,R2,B2を示す各信号に基づくマトリックス演算によって色差信号R−Y,B−Yが生成されて出力される。
なお、色差信号R−Y,B−Y中の輝度信号成分Yは、輝度信号生成部410から得られるもの(広波長領域信号SAに基づくデモザイク画像A2)とは異なり、デモザイク画像G2,R2,B2を用いた合成処理によって得られる合成輝度信号SY2であり、たとえば“SY2=0.6*G2+0.3*R2+0.1*B2”とする。
なお、色差信号生成部430は、輝度信号生成部410で得られたデモザイク画像A2を利用して色差信号を生成する構成とすることもできる。この場合、詳細な説明は割愛するが、可視光領域内を複数に波長分離して各成分を検知して得られる単色画像信号生成部420の各デモザイク画像R2,G2,B2と 輝度信号生成部410で得られた高感度のデモザイク画像A2における可視光成分(特に色別の成分)とを使って、各デモザイク画像R2,G2,B2に対して高感度化補正演算を実行し、その後に色差信号を生成するようにしてもよい。
一方、たとえば、図34(B)に示したRGBYの色配列を持つベイヤ配列の構成を持つ撮像部を使用し、図26に示す信号処理回路を適用して、輝度信号と色差信号を生成した場合、詳細な補間演算式については記載を割愛するが、前述の本実施形態に従った補間演算式における“A”を“Y”に置き換えたものと考えればよく、輝度信号は、可視光領域の波長成分のみしか含まない輝度信号(Y)となる。
これに対して、前述のように、本実施形態に従ったRGBAの色配列を持つ色フィルタ群314を具備した撮像部310を適用することで、可視光および赤外光を含む広範囲の波長の光成分を含むAチャネルのデモザイク画像A2を得ることができ、これを輝度信号“A=Y+IR”として使用することができる。
このように、輝度成分に赤外光成分を含めることで、照度の低い環境で撮影された画像データにおいても、赤外光成分のレベル差が検出される環境下では、Aチヤネル対応のデモザイク画像の各画素の画素値は、赤外光成分のレベル差を反映したデータとなり、照度の低い環境で撮影された画像データのS/N比を改善することが可能となる。本構成は、たとえば、高い色再現性を要求されないが感度やS/N比を高める必要がある監視カメラなどの用途に適している。
<<撮像信号処理部の詳細;第2例>>
図32および図33は、撮像信号処理部330(特に画像信号処理部340)の第2例を説明する図である。ここで、図32は、撮像信号処理部330の第2例の詳細構成を示した機能ブロック図である。また、図33は、第2例の画像信号処理部340で使用するハイパスフィルタのフィルタ定数の一例を示す図である。ここでも、色フィルタ群314が、図3(B)に示した色配列の場合に対応するものとして説明する。
この第2例は、色再現性を改善する色補正演算処理機能を画像信号処理部340が備える点に特徴を有する。すなわち、第1例の画像信号処理部340では、輝度信号生成部410から得られる輝度成分(広波長領域信号SA)に赤外光成分を含むため、可視光データのみに基づく色解析処理を行なう構成に比較して色再現性が劣るという問題がある。これは、色差信号レベルが同じであっても、Yチャネルの輝度信号レベルが異なると、目に感じる色合いが異なって認識されることに起因するものである。第2例の画像信号処理部340は、この点を改善し、色再現性を高めた構成である。
先ず、第2例の画像信号処理部340は、出力としてRGBの色信号を出力する。なお、撮像部310によって取得された画像データ(画素信号)に対しては、たとえばホワイトバランス調整などの処理が実行されることになるが、これらの処理は、従来と同様の処理であり、図32には示しておらず(図7の前処理部332や補正処理部336を参照)、図32では、特に画像信号処理部340に着目して示している。
図示のように、第2例の画像信号処理部340は、概略的には、第1例の画像信号処理部340に加えて、輝度信号生成部410に対応する輝度信号生成部610で生成されたデモザイク画像A2から高周波成分を抽出し、広波長領域信号高周波成分画像を生成する広波長領域信号高周波成分画像生成部642と、広波長領域信号高周波成分画像生成部642で生成された広波長領域信号高周波成分画像から、可視光の色成分信号を抽出する可視光色成分信号抽出部644とを備えている。
また、第2例の画像信号処理部340は、単色画像信号生成部420に対応する単色画像信号生成部620を具備している。出力画像信号処理部343は、色差信号生成部430に代えて色信号生成部630を具備するとともに、色信号生成部630の後段に、可視光色成分信号抽出部644が抽出した色成分信号と、色信号生成部630から出力された色成分信号との合成処理を実行する合成処理部650を具備している。
合成処理部650は、加算部652をR,G,Bの色別に有している(それぞれ652R,652G,652Bで示す)。
輝度信号生成部610は第1の物理情報取得部の一例であり、単色画像信号生成部620は第2の物理情報取得部の一例であり、色信号生成部630は第3の物理情報取得部の一例である。また、広波長領域信号高周波成分画像生成部642と可視光色成分信号抽出部644とで、輝度信号生成部610から出力される輝度信号に基づいて、色に関する信号を生成する第4の物理情報取得部が構成される。また、合成処理部650は、第5の物理情報取得部の一例である。
輝度信号生成部610と単色画像信号生成部620によってデモザイク信号処理部341(図示を省略する)が構成される。また、輝度信号生成部610と、広波長領域信号高周波成分画像生成部642と、可視光色成分信号抽出部644とで、広波長領域信号に対応するデモザイク画像A2から可視光の色成分信号を抽出する第1色成分信号抽出部640が構成される。
また、単色画像信号生成部620と色信号生成部630とで、RGB素子の取得信号であるモザイク画像R,G,Bを入力し可視光領域信号に対応するデモザイク画像R2,G2,B2を生成し、デモザイク画像R2,G2,B2に基づいて色成分信号を抽出する第2色成分信号抽出部641が構成される。合成処理部650は、第1色成分信号抽出部640が抽出した色成分信号と、第2色成分信号抽出部641が抽出した色成分信号との合成処理を実行する。
輝度信号生成部610は、ローパスフィルタ412Aに対応するローパスフィルタ612Aを具備する。広波長領域信号高周波成分画像生成部642は、モザイク画像Aの高周波成分に対して最適化されたフィルタ定数を持つハイパスフィルタ(HPF)643Aを具備し、デモザイク画像A2から高周波成分を抽出し広波長領域信号高周波成分画像を生成する。ハイパスフィルタ643Aは、たとえば高域成分を抽出するFITフィルタである。
可視光色成分信号抽出部644は、ハイパスフィルタ643Aから出力された広波長領域信号高周波成分画像から、可視光の色成分信号を抽出するマトリクス演算部645を具備する。
単色画像信号生成部620は、ローパスフィルタ422R,422G,422Bに対応するローパスフィルタ622R,622G,622Bおよびローパスフィルタ424R,424Bに対応するローパスフィルタ624R,624Bを具備する。
輝度信号生成部610のローパスフィルタ612Aおよび単色画像信号生成部620のローパスフィルタ622R,622G,622Bへは、撮像部310側から、各画素位置の画素信号が選択スイッチ602を介して対応するものへ切替入力される。
色信号生成部630は、単色画像信号生成部620から出力されたデモザイク画像R2,G2,B2を示す単色信号SR2,SG2,SB2に基づいて単色信号SR3,SG3,SB3を抽出するマトリクス演算部632を具備している。
輝度信号生成部610は、第1例の輝度信号生成部410と同様に、補間処理(上記式(4)を参照)によってデモザイク画像A2を生成する。また、単色画像信号生成部620は、第1例の単色画像信号生成部420と同様に、補間処理(前記式式(5)〜(7)を参照)によってデモザイク画像G2を生成し、補間処理(前記式(8)〜(11)を参照)によってデモザイク画像R2を生成し、補間処理(前記式(12)〜(15)を参照)によってデモザイク画像B2を生成する。
このような補間処理によって、第1例と同様に、図31(A1)に示すモザイク画像Aから図31(B1)に示すデモザイク画像A2が得られ、また、図31(A2)に示すモザイク画像Gから図31(B2)に示すデモザイク画像G2が得られ、また、図31(A3)に示すモザイク画像Rから図31(B2)に示すデモザイク画像R2が得られ、また、図31(A4)に示すモザイク画像Bから図31(B4)に示すデモザイク画像B2が得られる。
デモザイク画像R2が、図32に示すローパスフルタ622R,624Rにおける補間処理によって生成されるRチャネルのデモザイク画像であり、デモザイク画像G2が、図32に示すローパスフルタ622Gにおける補間処理によって生成されるGチャネルのデモザイク画像であり、デモザイク画像B2が、図32に示すローパスフルタ622B,624Bにおける補間処理によって生成されるBチャネルのデモザイク画像であり、デモザイク画像A2が、図32に示すローパスフルタ612Aにおける補間処理によって生成されるAチャネルのデモザイク画像である。
図32に示す輝度信号生成部610に設けられるローパスフルタ612Aにおける補間処理によって生成される図31(B1)に示すデモザイク画像A2は、Aチャネル、すなわち、GBRなどの可視光領域の波長と赤外光(IR)の波長領域を含む光の強度に対応する画素値が、各画素に設定されデモザイク画像である。
このデモザイク画像A2は、図32に示すように、ローパスフィルタ612Aからの出力として得られ、その信号は、“A=Y+IR”を示すものとなり、信号Aは、可視光領域から赤外光領域を含み、より広範囲の波長の光成分を含むデモザイク画像が出力されることになる。
第1例では、このデモザイク画像A2を、そのまま出力用の輝度信号成分として使用することにしていたが、第2例では、さらに、以下のような信号処理を実行する。
すなわち、第2例の画像信号処理部340では、このAチャネルのデモザイク画像A2を、広波長領域信号高周波成分画像生成部642のハイパスフィルタ643Aに入力し、Aチャネルのデモザイク画像A2から高周波成分Ahpf を抽出する。
ハイパスフィルタ643Aは、たとえば、下記式(16)に示す係数、あるいは、図33に示す係数を持つフィルタである。
ハイパスフィルタ643Aは、ローパスフィルタ612Aより出力されたAチャネルのデモザイク画像A2から高周波成分Ahpf を抽出し、Aチャネル高周波成分抽出結果画像を生成する。ハイパスフィルタ643Aは、生成したAチャネル高周波成分抽出結果画像を、可視光色成分信号抽出部644のマトリクス演算部645に入力する。
マトリクス演算部645は、Aチャネルに含まれるRGB各々の波長成分データを抽出する。前述したようにAチャネルは可視光成分と赤外光成分の両方の波長領域情報を含んでおり、RGBに相当する波長成分信号も含まれる。マトリクス演算部645は、Aチャネル高周波成分抽出結果画像からRGB要素を抽出する。
マトリクス演算部645は、白色フィルタ14WのR,G,Bの各波長成分の透過率特性を考慮した割合で、RGB要素の高周波成分[Rhpf ,Ghpf ,Bhpf ]を抽出する。たとえば、下記式(17)に示す係数に従って、Aチャネル高周波成分抽出結果画像を構成する各画素の画素値[Ahpf]に基づいて、RGB要素の高周波成分[Rhpf ,Ghpf ,Bhpf ]を抽出する。
一方、マトリクス演算部632は、単色画像信号生成部620の各ローパスフィルタ622R、622G,622B,624R,624Bにおける補間処理によって生成されたデモザイク画像R2,G2,B2に基づいて、デモザイク画像R2,G2,B2に含まれるR信号、G信号、B信号を選択抽出するためのマトリクス演算を実行して、選択抽出したRGB信号(デモザイク画像R3,G3,B3)を出力する。
合成処理部650は、マトリクス演算部645で生成されたRGB要素の高周波成分Rhpf ,Ghpf ,Bhpf と、マトリクス演算部632で生成されたデモザイク画像R3,G3,B3を示すRGB信号とを、それぞれ色別の加算部652R,652G,652Bで加算することで、最終的な出力信号としてのRGB信号を生成して出力する。
このような第2例の処理例では、可視光成分と赤外光成分を含む広い波長領域からなる信号成分画像としてのAチャネル画像に基づいて高周波成分抽出画像を生成し、この高周波成分抽出画像からRGB信号を抽出して、デモザイク画像R2,G2,B2から抽出したRGB信号に加算する処理構成とした。
より広い波長領域の信号成分を含むAチャネル画像に基づく高周波成分抽出画像を適用することで、解像度の高い画像を得ることが可能となる。また、Aチャネル画像からRGB信号を取得して、デモザイク画像R2,G2,B2から抽出したRGB信号に加算することで、より正確なRGB信号を生成して出力することが可能となり、色再現性を高めることが可能となる。
以上、説明したように、本実施形態の構成によれば、不可視光の一例である赤外光をカットする赤外光カットフィルタ層313および可視光領域を色対応の波長別に分離する色フィルタ群314を固体撮像素子312の上に所定の順で一体的に形成した。また、固体撮像素子312としては、赤外光カットフィルタ層313の開口部313aに対応する部分に可視光および不可視光成分を含む光波長領域の光信号を取得する広波長領域画素12Aと、赤外光カットフィルタ層313の非開口部313bに対応する部分に波長領域別に可視光信号を取得する赤色画素12R,緑色画素12G、青色画素12Bを備えた構造とした。
そして、このような構造を持つ単板式の撮像部310(固体撮像素子312)によって取得される各々のモザイク画像データに基づいて、赤外成分を含む輝度信号と、色差信号あるいはRGBの色信号を生成する構成とした。
これにより、広波長領域画素12Aからは、可視光成分に基づく信号だけでなく、不可視光成分に基づく信号が重畳されて出力されるようになり、その出力信号を輝度信号成分として使うことで、特に、可視光成分の少ない低照度環境下での撮影画像について、可視光成分に重畳されて出力される不可視光成分を利用することができるようになり、ノイズの少ない高品質な輝度画像が得られる。
カラー固体撮像素子を具備する撮像装置において、十分な照度が得られない暗闇のような場合や、光源に赤外光が多く含まれる低照度の条件、あるいは低照度で赤外光の補助光を使用する撮影条件で撮影された画像でも、ノイズを低減した高品質な画像データを生成することを可能となる。また、RGBおよび赤外成分を持つAチャネル画像に基づく色補正を行なうことで、色再現性の高い画像を生成することが可能となる。
また、広波長領域画素12Aの配置密度を、可視光用の赤色画素12R,緑色画素12G、青色画素12Bの配置密度よりも高くすることで、解像度の高い高品質な輝度画像を取得することができる。加えて、RGBおよび赤外成分を持つAチャネル画像に基づく色補正を行なうようにすれば、色再現性の高いカラー画像を生成することもできる。
一方、広波長領域画素12Aは、可視光成分に基づく信号だけでなく、不可視光成分に基づく信号が重畳されて出力されるようになるので、可視光成分の多い高照度環境下での撮影時には、飽和現象が懸念されるが、前述のように、広波長領域画素12Aの検知時間を駆動制御部146により制御するなどの対処を実行することで、この問題を解消することができる。