JP2006211631A - 固体撮像装置および撮像装置 - Google Patents
固体撮像装置および撮像装置 Download PDFInfo
- Publication number
- JP2006211631A JP2006211631A JP2005107037A JP2005107037A JP2006211631A JP 2006211631 A JP2006211631 A JP 2006211631A JP 2005107037 A JP2005107037 A JP 2005107037A JP 2005107037 A JP2005107037 A JP 2005107037A JP 2006211631 A JP2006211631 A JP 2006211631A
- Authority
- JP
- Japan
- Prior art keywords
- color
- component
- imaging device
- solid
- bayer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 66
- 238000005070 sampling Methods 0.000 claims abstract description 83
- 239000011159 matrix material Substances 0.000 claims abstract description 6
- 238000000034 method Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 230000003287 optical effect Effects 0.000 claims description 6
- 239000003086 colorant Substances 0.000 claims description 5
- 230000035945 sensitivity Effects 0.000 abstract description 8
- 239000002075 main ingredient Substances 0.000 abstract 1
- 239000011295 pitch Substances 0.000 description 17
- 238000010586 diagram Methods 0.000 description 6
- 238000012937 correction Methods 0.000 description 5
- 101000860173 Myxococcus xanthus C-factor Proteins 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000238097 Callinectes sapidus Species 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 206010034972 Photosensitivity reaction Diseases 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000036211 photosensitivity Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Landscapes
- Color Television Image Signal Generators (AREA)
Abstract
【課題】ベイヤー画素ずらし配列は、ベイヤー配列に比べて高解像度を得ることができるものの、それは無彩色な被写体に限った場合だけである。
【解決手段】光電変換素子を含む画素が行列状に2次元配置され、輝度成分を作る上で主成分となる色成分Gと他の色成分R,Bを含むカラーフィルタが画素の表面上に配置されてなる固体撮像装置において、空間周波数特性に関して、R,Gを水平・垂直方向のサンプリングレートがGに対して1/2のレートとなるように1列おきおよび1行おきに配置し、GでR,Gの各々の周囲を囲むようなカラー配列にすることで、Gが全行、全列に存在するようにして、人間の視感度特性上、感度が高いGの空間周波数特性を上げる。
【選択図】図1
【解決手段】光電変換素子を含む画素が行列状に2次元配置され、輝度成分を作る上で主成分となる色成分Gと他の色成分R,Bを含むカラーフィルタが画素の表面上に配置されてなる固体撮像装置において、空間周波数特性に関して、R,Gを水平・垂直方向のサンプリングレートがGに対して1/2のレートとなるように1列おきおよび1行おきに配置し、GでR,Gの各々の周囲を囲むようなカラー配列にすることで、Gが全行、全列に存在するようにして、人間の視感度特性上、感度が高いGの空間周波数特性を上げる。
【選択図】図1
Description
本発明は、固体撮像装置および撮像装置に関し、特に輝度成分を作る上で主成分となる色成分と他の色成分を有するカラーフィルタが画素の表面上に配置されてなる固体撮像装置および当該固体撮像装置を撮像デバイスとして用いた撮像装置に関する。
近年、デジタルスチルカメラやビデオカメラ等の撮像装置において、撮像デバイスとして用いられている固体撮像装置の多画素化が進み、数百万画素クラスの固体撮像装置が普及している。多画素化を行う理由として、高解像度な画像を得ることが挙げられる。そして、より高い輝度解像度を得ることが可能な固体撮像装置が求められているのが現状である。
ここで、単板の電子カメラにおいて、高い輝度解像度を得るためには、固体撮像装置に用いるカラーフィルタのカラー配列が非常に重要である。カラー配列の代表的なものとして、例えば従来から用いられているベイヤー配列が広く知られている。
(ベイヤー配列)
ベイヤー配列は、図14に示すように、G(緑色)とR(赤色)を交互に配列したGRラインと、GとB(青色)を交互に配列したGBラインの2つのラインを、垂直方向に交互に配列したカラー配列である。このベイヤー配列の特徴は、各画素が水平・垂直方向で等距離(画素ピッチ)dになるように正方格子状に配置され、この正方格子状の画素配列に対してGRBの各色がG:R:B=2:1:1の割合で存在している点にある。
ベイヤー配列は、図14に示すように、G(緑色)とR(赤色)を交互に配列したGRラインと、GとB(青色)を交互に配列したGBラインの2つのラインを、垂直方向に交互に配列したカラー配列である。このベイヤー配列の特徴は、各画素が水平・垂直方向で等距離(画素ピッチ)dになるように正方格子状に配置され、この正方格子状の画素配列に対してGRBの各色がG:R:B=2:1:1の割合で存在している点にある。
ここで、ベイヤー配列のRGBの空間周波数特性について、輝度(Y)成分を生成する上で主成分となるGと、その他の色成分R,Bに分けて考えてみる。
輝度信号Yは、一般的に(1)式によって生成される。
Y=0.6G+0.3R+0.1B ……(1)
(1)式は、人間の視感度特性は緑色(G)に対しての感度が高く、赤色(R)、青色(B)に対しての感度が低いことを表している。つまり、輝度(Y)成分に対して高い解像度が必要な場合にはGの解像度を高くすることが非常に重要であり、他の色成分(R,B)に対してはそれほど高い解像度を必要としていない。
Y=0.6G+0.3R+0.1B ……(1)
(1)式は、人間の視感度特性は緑色(G)に対しての感度が高く、赤色(R)、青色(B)に対しての感度が低いことを表している。つまり、輝度(Y)成分に対して高い解像度が必要な場合にはGの解像度を高くすることが非常に重要であり、他の色成分(R,B)に対してはそれほど高い解像度を必要としていない。
ベイヤー配列のGだけを抜き出したG配列を図15(A),(B)に示す。ここで、空間周波数特性について考える。画素間のサンプリングレートを画素ピッチに対応したdとすると、水平・垂直方向については、Gのサンプリングレートがdであり、サンプリング定理から(1/2)fs(fs(=1/d):サンプリング周波数)の周波数の信号まで捉えることができる。つまり、理論上の限界として図15(A)のラインの信号を捉えることが可能であり、これより高い周波数の信号を捉えることはできない。
次に、斜め45°方向について考えると、Gのサンプリングレートがd/√2であり、サンプリング定理から(1/2√2)fsの信号まで捉えることができる。
同様にR,Bについて考える。RとBは画素配列の間隔が同じであるため、同様に考えることができる。したがって、ここではRだけについて述べる。
ベイヤー配列のRだけを抜き出したR配列を図15(C),(D)に示す。Rの空間周波数特性に関して、水平・垂直方向については、Rのサンプリングレートが2dであり、サンプリング定理から1/4fsの周波数の信号まで捉えることが可能である。斜め方向については、Rのサンプリングレートがd/√2であり、サンプリング定理から(1/2√2)fsの信号まで捉えることができる。
なお、図15(A)〜(D)において、水平・垂直方向、斜め方向で捉えられる限界周波数の信号を白抜きと網掛けの棒線で示している。
また、これらの空間周波数特性を図16に示す。図16の空間周波数特性は、サンプリングレートを画素ピッチに対応したd(=1/fs)としたときに、Gに関しては水平・垂直方向について1/2fs、斜め45°方向について(1/2√2)fs、Rに関しては水平・垂直方向について1/4fs、斜め方向について(1/2√2)fsまでの解像度を持っている、即ちこの周波数の信号まで捉えることが可能であることを示している。
(ベイヤー画素ずらし配列)
上記ベイヤー配列の他に、図15に示すように、ベイヤー配列を45°傾けた配列、つまり水平・垂直方向において画素ピッチの半分だけずらして画素を配置した変形ベイヤー配列も提案されている(例えば、特許文献1参照)。
上記ベイヤー配列の他に、図15に示すように、ベイヤー配列を45°傾けた配列、つまり水平・垂直方向において画素ピッチの半分だけずらして画素を配置した変形ベイヤー配列も提案されている(例えば、特許文献1参照)。
ここで、ベイヤー配列を45°傾けたカラー配列を以降、「ベイヤー画素ずらし配列」と呼ぶこととする。このベイヤー画素ずらし配列の場合、サンプリングレートがd/√2となり、ベイヤー配列のサンプリングレートdに対して1/√2倍であるため、ベイヤー配列に比べてより高い解像度を得ることができることになる。
また、別の視点から考えると、ベイヤー配列とベイヤー画素ずらし配列で同じ解像度を必要とする場合には、ベイヤー画素ずらし配列ではサンプリングレートを√2倍に広げることができる。言い換えれば、ベイヤー画素ずらし配列を用いると、ベイヤー配列を用いる場合よりも少ない画素数で同じ解像度を得ることができる。その結果、画素の開口を大きくすることが可能となり、画素の開口を大きくすることで画素の感光感度を向上することができるため、S/Nの良い信号を得ることができる。
しかし、ベイヤー配列に対してベイヤー画素ずらし配列が高解像度を得ることができるのは無彩色な被写体に限った場合だけである。その理由について以下に説明する。
ベイヤー画素ずらし配列のGのみを抜き出したGの配列を図18(A),(B)に示す。水平・垂直方向のGのサンプリングレートが√2dであり、ベイヤー配列におけるGの水平・垂直方向のサンプリングレートdよりも大きいため、Gの解像度はベイヤー配列に対して劣る。一方、斜め45°方向の解像度に関しては、Gのサンプリングレートはdであり、ベイヤー配列におけるGの斜め45°のサンプリングレートd/√2よりも小さいためベイヤー配列よりも高いことが言える。
同様にR,Bについて考える。RとBは画素配列の間隔が同じであるため、同様に考えることができる。したがって、ここではRだけについて述べる。
ベイヤー画素ずらし配列のRだけを抜き出したRの配列を図18(C),(D)に示す。Rの水平・垂直方向のサンプリングレートは√2d、斜め方向のサンプリングレートは2dである。
なお、図18(A)〜(D)において、水平・垂直方向、斜め方向で捉えられる限界周波数の信号を白抜きと網掛けの棒線で示している。
また、これらの空間周波数特性を図19に示す。図19と図16の対比から明らかなように、ベイヤー画素ずらし配列の空間周波数特性は、ベイヤー配列の空間周波数特性をちょうど45°傾けた特性と同一になっているのが分かる。
以上の説明から、従来の代表的なカラー配列であるベイヤー配列とベイヤー画素ずらし配列を比較すると、次のようなことが言える。
先ず、ベイヤー画素ずらし配列は、無彩色な被写体に限った場合に、サンプリングレートがベイヤー配列に対して1/√2倍であるため、ベイヤー配列の2倍の画素情報量を得ることができる、即ちベイヤー配列に比べてより高い解像度を得ることができる。言い換えれば、ベイヤー画素ずらし配列を用いると、ベイヤー配列を用いる場合よりも少ない画素数で同じ解像度を得ることができるため、画素の開口を大きくすることが可能となり、画素の開口を大きくすることで画素の感光感度を向上、即ちS/Nの向上を図ることができる。
一方、輝度(Y)成分を作る上で主成分となるGだけで観察すると、ベイヤー画素ずらし配列の水平・垂直方向のサンプリングレートは、ベイヤー配列のサンプリングレートよりも大きくなっている。これは、単純にGの解像度は水平・垂直方向で見ると、ベイヤー配列の方がベイヤー画素ずらし配列よりも高いことを意味する。言い換えると、水平・垂直方向のGの解像度に関しては、ベイヤー画素ずらし配列の方がベイヤー配列よりも劣っている。
ベイヤー配列に比べてGの解像度が劣っている点を解決するために、ベイヤー画素ずらし配列では、無彩色の被写体を撮像したときに、カメラ信号処理系においてRGBのレベルバランスをとる処理、即ちRGBのレベルが同一になるようにゲインをかけてバランスをとる処理を行って、R,Bのレベル=Gレベルと見なして輝度(Y)を生成し、Yのサンプリングレートを(1/√2)dとして扱うことで、水平・垂直および斜め45°方向の全てにおいてベイヤー配列よりも高解像度化を実現している。
しかし、この処理はあくまで無彩色な被写体に対してしか有効でなく、このような処理を行うと、有彩色な被写体に対しては高解像度を得ることができなく、またレベルバランスがずれた場合に、R,Bのレベル=Gレベルと見なして処理してしまうと、カメラ信号処理系において間違った補間処理を行ってしまい、その結果色偽の発生原因となるという問題が生じる。
そこで、本発明は、無彩色な被写体に限らず、有彩色な被写体に対しても、色偽を生じることなく、高解像度化を図ることが可能な固体撮像装置および撮像装置を提供することを目的とする。
本発明は、光電変換素子を含む画素が行列状に2次元配置され、輝度成分を作る上で主成分となる色成分と他の色成分を含むカラーフィルタが前記画素の表面上に配置されてなる固体撮像装置において、前記主成分となる色成分および前記他の色成分を、前記主成分となる色成分で前記他の色成分の周囲を囲むように配置した構成を採っている。この固体撮像装置は、デジタルスチルカメラやビデオカメラ等の撮像装置において、その撮像デバイスとして用いられる。
上記構成の固体撮像装置または当該固体撮像装置を撮像デバイスとして用いた撮像装置において、輝度成分を作る上で主成分となる色成分、例えばG(緑色)で、他の色成分、例えばR(赤色),B(青色)の各々の周囲を囲むようなカラー配列では、Gが全行、全列に存在することになるため、人間の視感度特性上、感度が高いGの空間周波数特性を上げることができ、またRGBのレベルバランスをとる処理を行う必要がなくなる。
本発明によれば、輝度成分を作る上で主成分となる色成分の空間周波数特性を上げることができるため、無彩色な被写体に限らず、有彩色な被写体に対しても高解像度化を図ることができ、またRGBのレベルバランスをとる処理を行う必要がなくなるため、色偽を生じることもなくなる。
以下、本発明の実施の形態について図面を参照して詳細に説明する。
本発明は、光電変換素子を含む画素が行列状に2次元配置され、輝度成分を作る上で主成分となる色成分と他の色成分を含むカラーフィルタが画素の表面上に配置されてなる固体撮像装置において、カラーフィルタのカラー配列を特徴としている。
したがって、以下では、主に、3つの実施形態に係るカラーフィルタのカラー配列について説明するものとする。なお、各実施形態に係るカラーフィルタを有する固体撮像装置としては、CCD(Charge Coupled Device)固体撮像装置に代表される電荷転送型固体撮像装置、MOS(Metal Oxide Semiconductor)型固体撮像装置に代表されるX−Yアドレス型固体撮像装置のいずれであっても良い。
また、以下の説明では、カラーフィルタにおいて、輝度(Y)成分を作る上で主成分となる色成分として例えば緑色(G)を、他の色成分として例えば赤色(R)、青色(B)をそれぞれ例に挙げて説明するものとする。
ただし、本発明はこれらの色成分に限られるものではなく、Y成分を作る上で主成分となる色成分として、例えばホワイト、シアン、イエローなどを用い、他の色成分として、例えばマゼンタ、シアン、イエローなどを用いることも可能である。
[第1実施形態]
図1は、本発明の第1実施形態に係るカラーフィルタのカラー配列を示す図である。図1から明らかなように、本実施形態に係るカラー配列が適用される固体撮像装置は、光電変換素子を含む画素(図示せず)を、水平方向(画素行に沿った方向;行方向)および垂直方向(画素列に沿った方向;列方向)で等間隔(画素ピッチ)dとなるように正方格子状に配列した画素配列となっている。
図1は、本発明の第1実施形態に係るカラーフィルタのカラー配列を示す図である。図1から明らかなように、本実施形態に係るカラー配列が適用される固体撮像装置は、光電変換素子を含む画素(図示せず)を、水平方向(画素行に沿った方向;行方向)および垂直方向(画素列に沿った方向;列方向)で等間隔(画素ピッチ)dとなるように正方格子状に配列した画素配列となっている。
この正方格子状の画素配列に対して、本実施形態に係るカラー配列は、1行目は水平方向の4画素を単位としてRGBGの繰り返しで配列し、2行目はGのみを配列し、3行目は水平方向の4画素を単位としてBGRGの繰り返しで配列し、4行目はGのみを配列し、以降、この4行を単位として繰り返して配列した構成となっている。
本実施形態に係るカラー配列においては、図1から明らかなように、輝度(Y)成分を作る上で主成分となる色成分(本実施形態ではG)と、他の色成分(本実施形態ではR,B)が、GでR,Bの各々の周囲を囲むように配置された構成となっている。また、本実施形態に係るカラー配列では、R,Bが水平・垂直に対して4dの間隔で配置された構成となっている。
かかる構成のカラー配列において、サンプリングレートを水平・垂直方向で考えた場合に、画素間のサンプリングレートを画素ピッチに対応したdとすると、Gのサンプリングレートはdであり、R,Bのサンプリングレートは2dである。すなわち、R,Bは、水平・垂直方向のサンプリングレートがGに対して1/2のレートとなるように1列おき(本実施形態では奇数行)および1行おき(本実施形態では奇数列)に配置されている。したがって、GとR,Bの間に水平・垂直方向に2倍の解像度の差がある。また、サンプリングレートを斜め45°方向で考えると、Gのサンプリングレートはd/2√2であり、R,Bのサンプリングレートは2d/√2である。
図1のカラー配列のGだけを抜き出したG配列を図2(A),(B)に示す。ここで、空間周波数特性について考える。水平・垂直方向については、図2(A)に示すように、Gのサンプリングレートがdであることから、サンプリング定理から(1/2)fs(fs:サンプリング周波数)の周波数の信号まで捉えることができる。斜め45°方向については、図2(B)に示すように、Gのサンプリングレートがd/2√2であることから、サンプリング定理から(1/√2)fsの信号まで捉えることができる。
同様にR,Bについて考える。RとBは画素配列の間隔が同じであるため、同様に考えることができる。したがって、ここではRだけについて述べる。
Rだけを抜き出したR配列を図2(C),(D)に示す。なお、図2(A)〜(D)において、水平・垂直方向、斜め方向で捉えられる限界周波数の信号を白抜きと網掛けの棒線で示している。
Rの空間周波数特性に関して、水平・垂直方向については、図2(C)に示すように、Rのサンプリングレートが2dであることから、サンプリング定理から1/4fsの周波数の信号まで捉えることが可能であり、斜め45°方向については、図2(D)に示すように、Rのサンプリングレートがd/2√2であることから、サンプリング定理から(1/4√2)fsの信号まで捉えることができる。
以上のことを踏まえて、図3に本実施形態に係るカラー配列の空間周波数特性を示す。Gは水平・垂直方向に関して(1/2)fsまでの信号を、斜め45°方向に関して(1/√2)fsまでの信号を捉えることができる。また、R,Bは水平・垂直方向に関して(1/4)fsまでの信号を、斜め45°方向に関して(1/4√2)fsまでの信号を捉えることができる。
[第2実施形態]
図4は、本発明の第2実施形態に係るカラーフィルタのカラー配列を示す図である。図1から明らかなように、本実施形態に係るカラー配列が適用される固体撮像装置は、第1実施形態に係るカラー配列が適用される固体撮像装置と同じ、正方格子状の画素配列となっている。
図4は、本発明の第2実施形態に係るカラーフィルタのカラー配列を示す図である。図1から明らかなように、本実施形態に係るカラー配列が適用される固体撮像装置は、第1実施形態に係るカラー配列が適用される固体撮像装置と同じ、正方格子状の画素配列となっている。
この正方格子状の画素配列に対して、本実施形態に係るカラー配列は、1行目は水平方向の4画素を単位としてRGGGの繰り返しで配列し、2行目はGのみを配列し、3行目は水平方向の4画素を単位としてGGBGの繰り返しで配列し、4行目はGのみを配列し、以降、この4行を単位として繰り返して配列した構成となっている。
本実施形態に係るカラー配列においても、図4から明らかなように、輝度(Y)成分を作る上で主成分となる色成分(本実施形態ではG)と、他の色成分(本実施形態ではR,B)が、GでR,Bの各々の周囲を囲むように配置された構成となっている。また、本実施形態に係るカラー配列では、第1実施形態に係るカラー配列と同じく、R,Bが水平・垂直に対して4dの間隔で配置された構成となっている。
かかる構成のカラー配列において、サンプリングレートを水平・垂直方向で考えた場合に、画素間のサンプリングレートを画素ピッチに対応したdとすると、Gのサンプリングレートはdであり、R,Bのサンプリングレートは4dである。すなわち、R,Bは、水平・垂直方向のサンプリングレートがGに対して1/4のレートとなるように1列おき(本実施形態では奇数行)および1行おき(本実施形態では奇数列)に配置されている。したがって、GとR,Bの間に水平・垂直方向に4倍の解像度の差がある。また、サンプリングレートを斜め45°方向で考えると、Gのサンプリングレートはd/2√2であり、R,Bのサンプリングレートは2d/√2である。
図4のカラー配列のGだけを抜き出したG配列を図5(A),(B)に示す。ここで、空間周波数特性について考える。水平・垂直方向については、図5(A)に示すように、Gのサンプリングレートがdであることから、サンプリング定理から(1/2)fsの周波数の信号まで捉えることができる。斜め45°方向については、図5(B)に示すように、Gのサンプリングレートがd/2√2であることから、サンプリング定理から(1/√2)fsの信号まで捉えることができる。
同様にR,Bについて考える。RとBは画素配列の間隔が同じであるため、同様に考えることができる。したがって、ここではRだけについて述べる。
Rだけを抜き出したR配列を図5(C),(D)に示す。なお、図5(A)〜(D)において、水平・垂直方向、斜め方向で捉えられる限界周波数の信号を白抜きと網掛けの棒線で示している。
Rの空間周波数特性に関して、水平・垂直方向については、図5(C)に示すように、Rのサンプリングレートが4dであることから、サンプリング定理から1/8fsの周波数の信号まで捉えることが可能であり、斜め45°方向については、図5(D)に示すように、Rのサンプリングレートがd/2√2であることから、サンプリング定理から(1/4√2)fsの信号まで捉えることができる。
以上のことを踏まえて、図6に本実施形態に係るカラー配列の空間周波数特性を示す。Gは水平・垂直方向に関して(1/2)fsまでの信号を、斜め45°方向に関して(1/√2)fsまでの信号を捉えることができる。また、R,Bは水平・垂直方向に関して(1/8)fsまでの信号を、斜め45°方向に関して(1/4√2)fsまでの信号を捉えることができる。
[第3実施形態]
図7は、本発明の第3実施形態に係るカラーフィルタのカラー配列を示す図である。図7から明らかなように、本実施形態に係るカラー配列が適用される固体撮像装置は、図1の正方格子状の画素配列の画素ピッチdに対して水平・垂直方向の各画素ピッチを√2dとし、各画素が1行毎および1列毎に画素ピッチ√2dの1/2ずつずれた、いわゆる斜め画素配列となっている。
図7は、本発明の第3実施形態に係るカラーフィルタのカラー配列を示す図である。図7から明らかなように、本実施形態に係るカラー配列が適用される固体撮像装置は、図1の正方格子状の画素配列の画素ピッチdに対して水平・垂直方向の各画素ピッチを√2dとし、各画素が1行毎および1列毎に画素ピッチ√2dの1/2ずつずれた、いわゆる斜め画素配列となっている。
すなわち、奇数行と偶数行で水平方向に画素ピッチの1/2だけ、奇数列と偶数列で垂直方向に画素ピッチの1/2だけ画素がずれた画素配列となっている。1行単位で考えると水平方向に√2dピッチで画素が配置され、1列単位で考えると垂直方向に√2dピッチで画素が配置されていることになる。
この斜め画素配列に対して、本実施形態に係るカラー配列は、1行目はGとRを交互に配列したGRライン、2行目はGのみを配列したGライン、3行目はBとGを交互に配列したGBライン、4行目はGのみを配列したGライン、以降、この4行を単位として繰り返して配列した構成となっている。
本実施形態に係るカラー配列においても、図7から明らかなように、輝度(Y)成分を作る上で主成分となる色成分(本実施形態ではG)と、他の色成分(本実施形態ではR,B)が、GでR,Bの周囲を囲むように配置された構成となっている。また、本実施形態に係るカラー配列においては、R,Bが水平・垂直に対して2√2dの間隔で配置された構成となっている。このカラー配列は、図7と図1の対比から明らかなように、第1実施形態に係る正方格子状の画素配列におけるカラー配列を45°傾けたカラー配列そのものである。
本実施形態に係るカラー配列において、サンプリングレートを水平・垂直方向で考えた場合に、Gのサンプリングレートはd/√2であり、R,Bのサンプリングレートは2√2dである。すなわち、R,Bは、水平・垂直方向のサンプリングレートがGに対して1/4のレートとなるように1列おき(本実施形態では奇数行)および1行おき(本実施形態では奇数列)に配置されている。したがって、GとR,Bの間に水平・垂直方向に4倍の解像度の差がある。また、サンプリングレートを斜め45°方向で考えると、Gのサンプリングレートはdであり、R,Bのサンプリングレートは2dである。
図7のカラー配列のGだけを抜き出したG配列を図8(A),(B)に示す。ここで、空間周波数特性について考える。水平・垂直方向については、図8(A)に示すように、Gのサンプリングレートがd/√2であることから、サンプリング定理から(1/√2)fsの周波数の信号まで捉えることができる。斜め45°方向については、図8(B)に示すように、Gのサンプリングレートがdであることから、サンプリング定理から(1/4)fsの信号まで捉えることができる。
同様にR,Bについて考える。RとBは画素配列の間隔が同じであるため、同様に考えることができる。したがって、ここではRだけについて述べる。
Rだけを抜き出したR配列を図8(C),(D)に示す。なお、図8(A)〜(D)において、水平・垂直方向、斜め方向で捉えられる限界周波数の信号を白抜きと網掛けの棒線で示している。
Rの空間周波数特性に関して、水平・垂直方向については、図8(C)に示すように、Rのサンプリングレートが2√2dであることから、サンプリング定理から(1/4√2)fsの周波数の信号まで捉えることが可能であり、斜め45°方向については、図8(D)に示すように、Rのサンプリングレートが2dであることから、サンプリング定理から(1/2)fsの信号まで捉えることができる。
以上のことを踏まえて、図9に本実施形態に係るカラー配列の空間周波数特性を示す。Gは水平・垂直方向に関して(1/√2)fsまでの信号を、斜め45°方向に関して(1/4)fsまでの信号を捉えることができる。また、R,Bは水平・垂直方向に関して(1/4√2)fsまでの信号を、斜め45°方向に関して(1/2)fsまでの信号を捉えることができる。
なお、上記各実施形態において、図3、図6および図9のGの空間周波数特性については、後述するカメラ信号処理系(図11のカメラ信号処理回路14)において、R,Bの空間位置でGを補間によって生成する補間処理を行うことを前提とした場合の理論上の周波数特性である。
図10に、Gの空間周波数特性(空間解像度)についての第1〜第3実施形態に係るカラー配列と、従来のカラー配列(ベイヤー配列、ベイヤー画素ずらし配列)の比較結果(A)と、R,Bの空間周波数特性についての第1〜第3実施形態に係るカラー配列と従来のカラー配列の比較結果(B)を示す。
図10(A)から明らかなように、Gの空間周波数特性については、第1,第2実施形態に係るカラー配列は、水平・垂直方向に関してベイヤー画素ずらし配列によりも高いベイヤー配列と同じであり、斜め45°方向に関してはベイヤー配列よりも高いベイヤー画素ずらし配列よりもさらに高い結果となっている。
第3実施形態に係るカラー配列は、斜め45°方向に関してベイヤー配列よりもベイヤー画素ずらし配列と同じであり、水平・垂直方向に関してはベイヤー画素ずらし配列によりも高いベイヤー配列よりもさらに高い結果となっている。
また、図10(B)から明らかなように、R,Bの空間周波数特性については、第1実施形態に係るカラー配列は、水平・垂直方向に関してベイヤー画素ずらし配列によりも低いベイヤー配列と同じであり、斜め45°方向に関してはベイヤー配列よりも低いベイヤー画素ずらし配列よりもさらに低い結果となっている。
第2実施形態に係るカラー配列は、水平・垂直方向に関してベイヤー画素ずらし配列によりも低いベイヤー配列よりさらに低く、斜め45°方向に関しては第1実施形態に係るカラー配列と同じ結果となっている。
第3実施形態に係るカラー配列は、水平・垂直方向に関してベイヤー画素ずらし配列によりも低いベイヤー配列よりさらに低く、斜め45°方向に関してはベイヤー画素ずらし配列よりも低い結果となっている。
これらの比較結果から、第1,第2実施形態に係るカラー配列が斜め45°方向に関して、第3実施形態に係るカラー配列が水平・垂直方向に関して従来のカラー配列(ベイヤー配列、ベイヤー画素ずらし配列)に比べて高い空間周波数特性を持っていることがわかる。Gは輝度成分を生成する上での主成分であるため、高い空間周波数特性を持つことによって輝度解像度の向上に大きく寄与できることになる。
一方、R,Bの空間周波数特性については、従来のカラー配列(ベイヤー配列、ベイヤー画素ずらし配列)に比べて低くなっているものの、先述したように、人間の色に対する解像度が低いことから、この程度でも十分であり、何ら支障を来すことはない。
以上説明したように、光電変換素子を含む画素が行列状に2次元配置され、輝度成分を作る上で主成分となる色成分Gと他の色成分R,Bを含むカラーフィルタが画素の表面上に配置されてなる固体撮像装置において、GでR,Gの各々の周囲を囲むようなカラー配列にすることで、Gが全行、全列に存在することになるため、人間の視感度特性上、感度が高いGの空間周波数特性(空間解像度)を上げることができる。
具体的には、Gの解像度に関して、水平・垂直方向については、ベイヤー画素ずらし配列よりも優れているベイヤー配列と同等またはそれ以上の解像度を得ることができ、斜め45°方向については、ベイヤー配列よりも優れているベイヤー画素ずらし配列と同等またはそれ以上の解像度を得ることができる。その結果、無彩色な被写体に限らず、有彩色な被写体に対しても高解像度化を図ることができる。
また、従来のベイヤー画素ずらし配列の場合のように、後述するカメラ信号処理系において、Gの解像度が劣っている点を解決することを目的としてRGBのレベルバランスをとる処理を行う必要がないため、レベルバランスがずれることに起因する色偽が発生することもない。
特に、第1実施形態に係るカラー配列では、空間周波数特性に関して、R,Gを水平・垂直方向のサンプリングレートがGに対して1/2のレートとなるように1列おきおよび1行おきに配置したことで、水平・垂直方向のGの解像度については、ベイヤー画素ずらし配列よりも優れているベイヤー配列と同等の解像度を得ることができ、斜め45°方向のGの解像度については、ベイヤー配列の2倍の解像度を得ることができる。
第2実施形態に係るカラー配列では、空間周波数特性に関して、R,Gを水平・垂直方向のサンプリングレートがGに対して1/4のレートとなるように1列おきおよび1行おきに配置したことで、第1実施形態に係るカラー配列と同様に、水平・垂直方向のGの解像度については、ベイヤー画素ずらし配列よりも優れているベイヤー配列と同等の解像度を得ることができ、斜め45°方向のGの解像度については、ベイヤー配列の2倍の解像度を得ることができる。
第3実施形態に係るカラー配列では、画素が1行毎および1列毎に画素ピッチの1/2ずつずれて配置された斜め画素配列において、空間周波数特性に関して、R,Gを水平・垂直方向のサンプリングレートがGに対して1/4のレートとなるように1列おきおよび1行おきに配置したことで、水平・垂直方向のGの解像度については、ベイヤー画素ずらし配列よりも優れているベイヤー配列よりもさらに高い解像度を得ることができ、斜め45°方向のGの解像度については、ベイヤー配列よりも優れているベイヤー画素ずらし配列と同等の解像度を得ることができる。
特に、第3実施形態に係るカラー配列では、画素の配列が斜め画素配列であるために、サンプリングレートがベイヤー配列に対して1/√2倍であるため、正方格子状の画素配列の2倍の画素情報量を得ることができる、即ち正方格子状の画素配列に比べてより高い解像度を得ることができる。また、正方格子状の画素配列と同じ解像度が必要な場合は、正方格子状の画素配列の画素ピッチよりも広い画素ピッチで画素を配列することが可能となり、画素の開口を広くとることができるため、画素の感光感度を向上し、S/Nを良くすることができる。
また、第1実施形態に係るカラー配列では、図3の空間周波数特性から、Gに対してR,Bは水平・垂直方向に1/2、斜め45°方向に1/4の帯域の空間周波数特性を持っていることが、第2実施形態に係るカラー配列では、図6の空間周波数特性から、Gに対してR,Bは水平・垂直方向に1/4、斜め45°方向に1/4の帯域の空間周波数特性を持っていることが、第3実施形態に係るカラー配列では、図9の空間周波数特性から、Gに対してR,Bは水平・垂直方向に1/4、斜め45°方向に1/2の帯域の空間周波数特性を持っていることが分かる。
しかし、人間の視感度特性として輝度は高い解像度を認識でき、色は高い解像度を認識しづらいという特徴があることからすると、この程度の比率で十分である。
例えば、一般的なテレビジョンフォーマット信号では、輝度(Y)に対して色(C)の信号の帯域は1/4であり、その程度の帯域で色解像度が十分であることが分かる。この特性を最大限に活用したのが本実施形態に係るカラー配列である。
すなわち、第1、第2、第3実施形態に係るカラー配列では、色の空間周波数特性を、人間が見たときに違和感を与えない程度の必要最低限のレベルまで落とし、輝度の空間周波数特性を従来のカラー配列に比べて画期的に向上させるカラー配列である。
また、第1、第2、第3実施形態に係るカラー配列は、Gが全行、全列に存在するカラー配列となっていることで、後述するカメラ信号処理系において、R,Bの空間位置でGを補間によって生成する補間処理を行う際の補間精度をより向上するのに大きく寄与できる利点もある。
以上説明した第1乃至第3実施形態に係るカラー配列のカラーフィルタを有する固体撮像装置は、デジタルスチルカメラやビデオカメラ等の撮像装置、特にビデオカメラの撮像デバイスとして用いて好適なものである。
[撮像装置]
図11は、本発明に係る撮像装置の構成の一例を示すブロック図である。図11において、被写体(図示せず)からの像光は、光学系、例えばレンズ11によって撮像デバイス12の撮像面上に結像される。撮像デバイス12として、光電変換素子を含む画素が行列状に2次元配置され、輝度成分を作る上で主成分となる色成分と他の色成分を含むカラーフィルタが画素の表面上に配置されてなる固体撮像装置が用いられる。そして、当該カラーフィルタとして、先述した第1、第2または第3実施形態に係るカラー配列のものが用いられる。
図11は、本発明に係る撮像装置の構成の一例を示すブロック図である。図11において、被写体(図示せず)からの像光は、光学系、例えばレンズ11によって撮像デバイス12の撮像面上に結像される。撮像デバイス12として、光電変換素子を含む画素が行列状に2次元配置され、輝度成分を作る上で主成分となる色成分と他の色成分を含むカラーフィルタが画素の表面上に配置されてなる固体撮像装置が用いられる。そして、当該カラーフィルタとして、先述した第1、第2または第3実施形態に係るカラー配列のものが用いられる。
撮像デバイス12において、入射する像光のうち、各色成分の光のみがフィルタを通過して各画素に入射する。そして、各画素に入射した光は、フォトダイオード等の光電変換素子によって光電変換され、アナログ信号として読み出され、A/D変換器13でデジタル信号に変換されてカメラ信号処理回路14に入力される。
カメラ信号処理回路14は、光学系補正回路21、補間処理回路22、Y(輝度)信号処理回路23、C(クロマ)信号処理回路24、帯域制限LPF(ローパスフィルタ)25および間引き処理回路26を有する構成となっている。
光学系補正回路21は、黒レベルを合わせるデジタルクランプ、撮像デバイス12の欠陥を補正する欠陥補正、レンズ11の周辺光量落ちを補正するシェーディング補正などのセンサーや光学系の補正を行う。
補間処理回路22は、それぞれ空間的に位相がずれたRGB信号から3枚のプレーン信号を作り、同じ空間位置のRGB信号を作り出し、Y信号処理回路23およびC信号処理回路24に供給する。Y信号処理回路23は、前記(1)式から輝度(Y)信号を作る。C信号処理回路24は、下記(2)式から色差信号Cr(R−Y)、Cb(B−Y)を作る。
Cr(R−Y)=R−(0.3R+0.6G+0.1B)
Cb(B−Y)=B−(0.3R+0.6G+0.1B) …(2)
Cb(B−Y)=B−(0.3R+0.6G+0.1B) …(2)
帯域制限LPF25は、図12に示すように、カットオフ周波数がサンプリング周波数fsの1/8のフィルタであり、色差信号Cr,Cbに関して通過帯域を(1/2)fsから(1/8)fsまで落とす。これはTV信号フォーマットに合わせた出力であり、帯域制限を行わないで出力した場合には、1/8fs以上の周波数信号が偽信号として出力されてしまう。間引き処理回路26は、図13に示すように、色差信号Cr、Cbのサンプリングの間引きを行う。
ここで、ポイントとなるのは、色差信号Cr、Cbは、輝度(Y)信号に対して1/4以下の帯域しか必要ないことである。その理由は、TV信号のフォーマットで決められていることもあるが、人間の目の特性として輝度(Y)信号は高い周波数まで認識することができるが、色(C)に関しては高い周波数を認識することが困難であるいう性質があるからである。
実際に、Y:Cr:Cb=4:4:4(YとCの出力帯域が一緒)の場合と、Y:Cr:Cb=4:1:1の場合の差分を出力画で見た場合では、特殊な被写体、例えば赤色、青色の点光源以外の通常の被写体ではその差を識別することは難しい。すなわち、TV信号フォーマットで定められているようにC信号はY信号の1/4の帯域を持つことで十分な解像度を得られることが分かる。
このことは、撮像デバイス12として用いる固体撮像装置のカラーフィルタのカラー配列として、先述した第1、第2または第3実施形態に係るカラー配列を用いることができることを意味している。
すなわち、輝度成分を作る上で主成分となる色成分Gの空間周波数に対して他の色成分R,Bの空間周波数が、第1実施形態に係るカラー配列の場合は、図3から明らかなように、水平・垂直方向で1/2、斜め45°方向で1/4であり、第2実施形態に係るカラー配列の場合は、図6から明らかなように、水平・垂直方向で1/4、斜め45°方向で1/4であり、第3実施形態に係るカラー配列の場合は、図6から明らかなように、水平・垂直方向で1/4、斜め45°方向で1/2であり、いずれの場合にもY:Cr:Cb=4:1:1の条件を満足している。
このように、デジタルスチルカメラやビデオカメラ等の撮像装置、特にビデオカメラにおいて、撮像デバイス12として用いる固体撮像装置のカラーフィルタのカラー配列として、第1、第2または第3実施形態に係るカラー配列を用いることで、人間の視感度特性上、感度が高いGの空間周波数特性(空間解像度)を上げることができるため、無彩色な被写体に限らず、有彩色な被写体に対してもより高い輝度解像度を得ることができる。
しかも、従来のベイヤー画素ずらし配列の場合のように、カメラ信号処理回路14において、Gの解像度が劣っている点を解決することを目的としてRGBのレベルバランスをとる処理を行う必要がないため、その分だけ回路動作を簡略化できるとともに、レベルバランスがずれることに起因する色偽が発生することもない。
また、第1、第2または第3実施形態に係るカラー配列のいずれの場合にも、GでR,Gの各々の周囲を囲むようなカラー配列であって、Gが全行、全列に存在するために、カメラ信号処理回路14内の補間処理回路32において、R,Bの空間位置でGを補間によって生成する補間処理を行う際に、その補間精度が非常に向上するという利点もある。
11…レンズ、12…撮像デバイス(固体撮像装置)、13…A/D変換器、14…カメラ信号処理回路、21…光学系補正回路、22…補間処理回路、23…Y(輝度)信号処理回路、24…C(クロマ)信号処理回路、25…帯域制限LPF、26…間引き処理回路
Claims (8)
- 光電変換素子を含む画素が行列状に2次元配置され、輝度成分を作る上で主成分となる色成分と他の色成分を含むカラーフィルタが前記画素の表面上に配置されてなる固体撮像装置であって、
前記主成分となる色成分および前記他の色成分は、前記主成分となる色成分で前記他の色成分の周囲を囲むように配置されている
ことを特徴とする固体撮像装置。 - 前記他の色成分は、水平・垂直方向のサンプリングレートが前記主成分となる色成分に対して1/2のレートとなるように1列おきおよび1行おきに配置されている
ことを特徴とする請求項1記載の固体撮像装置。 - 前記他の色成分が2色であり、
前記主成分となる色成分のみを含む行と、前記主成分となる色成分と前記他の色成分の2色を含む行とが交互に配置されている
ことを特徴とする請求項2記載の固体撮像装置。 - 前記他の色成分は、水平・垂直方向のサンプリングレートが前記主成分となる色成分に対して1/4のレートとなるように1列おきおよび1行おきに配置されている
ことを特徴とする請求項1記載の固体撮像装置。 - 前記他の色成分が2色であり、
前記主成分となる色成分のみを含む行が1行おきに配置され、前記主成分となる色成分と前記他の色成分の1色を含む行と、前記主成分となる色成分と前記他の色成分の他の1色を含む行とが1行おきに交互に配置されている
ことを特徴とする請求項4記載の固体撮像装置。 - 前記画素の配列において、前記画素が1行毎および1列毎に画素ピッチの1/2ずつずれて配置されている
ことを特徴とする請求項4記載の固体撮像装置。 - 前記他の色成分が2色であり、
前記主成分となる色成分のみを含む行が1行おきに配置され、前記主成分となる色成分と前記他の色成分の1色を含む行と前記主成分となる色成分と前記他の色成分の他の1色を含む行が1行おきに交互に配置されている
ことを特徴とする請求項6記載の固体撮像装置。 - 輝度成分を作る上で主成分となる色成分と他の色成分を含み、前記主成分となる色成分および前記他の色成分が、前記主成分となる色成分で前記他の色成分の周囲を囲むように配置されてなるカラーフィルタを有する固体撮像装置と、
被写体からの像光を前記固体撮像装置の撮像面上に結像させる光学系と、
前記固体撮像装置の出力信号を処理する信号処理回路と
を具備することを特徴とする撮像装置。
Priority Applications (8)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005107037A JP2006211631A (ja) | 2004-12-27 | 2005-04-04 | 固体撮像装置および撮像装置 |
US11/302,703 US7570290B2 (en) | 2004-12-27 | 2005-12-14 | Drive method for solid-state imaging device, solid-state imaging device, and imaging apparatus |
TW098117884A TWI324486B (en) | 2004-12-27 | 2005-12-15 | Solid-state imaging apparatus, and imaging apparatus |
TW094144381A TWI322621B (en) | 2004-12-27 | 2005-12-15 | Drive method for solid-state imaging device, solid-state imaging device, and imaging apparatus |
EP05028381.1A EP1675408B1 (en) | 2004-12-27 | 2005-12-23 | Drive method for solid-state imaging device, solid-state imaging device, and imaging apparatus |
KR1020050129622A KR101200134B1 (ko) | 2004-12-27 | 2005-12-26 | 고체 촬상 소자의 구동 방법, 고체 촬상 소자 및 촬상 장치 |
CN2008101259925A CN101312537B (zh) | 2004-12-27 | 2005-12-27 | 固态成像装置以及成像设备 |
US12/393,179 US8023018B2 (en) | 2004-12-27 | 2009-02-26 | Drive method for solid-state imaging device, solid-state imaging device, and imaging apparatus |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004375405 | 2004-12-27 | ||
JP2005107037A JP2006211631A (ja) | 2004-12-27 | 2005-04-04 | 固体撮像装置および撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006211631A true JP2006211631A (ja) | 2006-08-10 |
Family
ID=36967927
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005107037A Pending JP2006211631A (ja) | 2004-12-27 | 2005-04-04 | 固体撮像装置および撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006211631A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010154493A (ja) * | 2008-11-21 | 2010-07-08 | Sony Corp | 撮像装置 |
US8111298B2 (en) | 2007-07-20 | 2012-02-07 | Sony Corporation | Imaging circuit and image pickup device |
US8830364B2 (en) | 2011-03-30 | 2014-09-09 | Fujifilm Corporation | Driving method of solid-state imaging device, solid-state imaging device, and imaging apparatus |
CN107529046A (zh) * | 2017-02-23 | 2017-12-29 | 深圳安芯微电子有限公司 | 一种色彩滤镜阵列及图像传感器 |
-
2005
- 2005-04-04 JP JP2005107037A patent/JP2006211631A/ja active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8111298B2 (en) | 2007-07-20 | 2012-02-07 | Sony Corporation | Imaging circuit and image pickup device |
JP2010154493A (ja) * | 2008-11-21 | 2010-07-08 | Sony Corp | 撮像装置 |
US8830364B2 (en) | 2011-03-30 | 2014-09-09 | Fujifilm Corporation | Driving method of solid-state imaging device, solid-state imaging device, and imaging apparatus |
CN107529046A (zh) * | 2017-02-23 | 2017-12-29 | 深圳安芯微电子有限公司 | 一种色彩滤镜阵列及图像传感器 |
CN107529046B (zh) * | 2017-02-23 | 2024-03-08 | 思特威(深圳)电子科技有限公司 | 一种色彩滤镜阵列及图像传感器 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8023018B2 (en) | Drive method for solid-state imaging device, solid-state imaging device, and imaging apparatus | |
KR101012537B1 (ko) | 고체 이미지 센서 | |
US9431444B2 (en) | Single-plate color imaging element including color filters arranged on pixels | |
JP5872408B2 (ja) | カラー撮像装置及び画像処理方法 | |
JP4377428B2 (ja) | 固体撮像素子及びそれを用いた撮像装置 | |
US8922683B2 (en) | Color imaging element and imaging apparatus | |
WO2012117583A1 (ja) | カラー撮像装置 | |
JP5702896B2 (ja) | カラー撮像素子及び撮像装置 | |
JP5095040B1 (ja) | カラー撮像素子 | |
US7259788B1 (en) | Image sensor and method for implementing optical summing using selectively transmissive filters | |
US20140307140A1 (en) | Color imaging apparatus | |
WO2012114993A1 (ja) | カラー撮像素子 | |
US8982253B2 (en) | Color imaging element | |
JP2006211631A (ja) | 固体撮像装置および撮像装置 | |
JP4635769B2 (ja) | 画像処理装置、画像処理方法および撮像装置 | |
US8711257B2 (en) | Color imaging device | |
JP4962293B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
JP5036524B2 (ja) | 画像処理装置、画像処理方法、プログラムおよび撮像装置 | |
JPH11355667A (ja) | 画素信号処理装置 | |
JP2008131291A (ja) | 撮像装置 | |
JP2003304550A (ja) | 映像信号の再現帯域変更装置 | |
JP4729058B2 (ja) | 映像信号の再現帯域変更装置 | |
JPH0396184A (ja) | 固体撮像装置 | |
JP2009055151A (ja) | カラー固体撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080929 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081202 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090331 |