JP2003199117A - 撮像装置及び固体撮像素子の信号処理方法 - Google Patents
撮像装置及び固体撮像素子の信号処理方法Info
- Publication number
- JP2003199117A JP2003199117A JP2001392548A JP2001392548A JP2003199117A JP 2003199117 A JP2003199117 A JP 2003199117A JP 2001392548 A JP2001392548 A JP 2001392548A JP 2001392548 A JP2001392548 A JP 2001392548A JP 2003199117 A JP2003199117 A JP 2003199117A
- Authority
- JP
- Japan
- Prior art keywords
- gray
- signal
- pixel
- filter
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 9
- 238000003384 imaging method Methods 0.000 title claims abstract description 6
- 229920006395 saturated elastomer Polymers 0.000 claims abstract description 54
- 230000035945 sensitivity Effects 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims description 23
- 230000002708 enhancing effect Effects 0.000 abstract 1
- 230000000007 visual effect Effects 0.000 abstract 1
- 238000000034 method Methods 0.000 description 9
- 238000012937 correction Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000002194 synthesizing effect Effects 0.000 description 6
- 239000003086 colorant Substances 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 2
- 102100029774 Eukaryotic translation initiation factor 1b Human genes 0.000 description 1
- 101001012792 Homo sapiens Eukaryotic translation initiation factor 1b Proteins 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000001444 catalytic combustion detection Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Of Color Television Signals (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
の向上を実現する撮像装置及び固体撮像素子の信号処理
方法を提供すること。 【解決手段】 可視光領域での感度がブルーフィルタよ
りも小さいグレイフィルタが配置されたGray画素を
有する固体撮像素子と、R、G、B各画素のそれぞれの
飽和していない出力信号と、Gray画素の出力信号と
の比に基づいて、Gray画素の出力信号にゲインを与
えて、R(Gray)信号、G(Gray)信号、B
(Gray)信号をそれぞれ算出するキャリアバランス
手段1と、R(Gray)信号、G(Gray)信号、
B(Gray)信号のそれぞれに基づいて、出力信号が
飽和後のR、G、B各画素のそれぞれの出力信号を算出
する補間手段4R、4G、4Bとを備えている。
Description
ィルタ配列を持つ単板式の固体撮像素子を備えた撮像装
置及びその固体撮像素子の信号処理方法に関する。更に
詳しくは、特定の位置のグリーンフィルタをグレイフィ
ルタに置き換え、そのグレイフィルタが配置された画素
からの出力信号を利用することで、ダイナミックレンジ
の拡大を図った撮像装置及び固体撮像素子の信号処理方
法に関する。
ce)型固体撮像素子を用いたカラーカメラの撮像方式と
しては、CCD1個でカラー情報が得られる単板式と、
CCD3個で得られる3板式に大別できる。単板式には
さらに2方式がある。その1つとして、カラー情報が同
時に得られる同時式がある。これは、各画素(センサ
部)に対応してカラーフィルタ(オンチップカラーフィ
ルタ)が設けられている。
配列)には多数の種類がある。そのうち、R(赤)、G
(緑)、B(青)の原色系のカラーフィルタを用いた配
列で、例えば米国特許第3971065号に開示されて
いるベイヤー配列と呼ばれる配列がある。
(緑)フィルタGを市松状に配置し、残りの部分にレッ
ド(赤)フィルタRと、ブルー(青)フィルタBをさら
に市松状に配列したものである。すなわち、縦2画素×
横2画素の4画素で見ると、グリーンフィルタGが対角
位置の2箇所に配置され、残りの2箇所の一方にレッド
フィルタRが、他方にブルーフィルタBが配置されてい
る。全体として見るとグリーンフィルタGが斜め方向に
連続して並ぶ配列となっている。
成に寄与する割合の大きいグリーンフィルタGの配置さ
れたG画素が水平方向でみると各行ごとに存在し、また
垂直方向で見ても各列ごとに存在することで、水平及び
垂直の空間周波数特性が等方的で高い解像度が得られる
ことにある。しかし、以下のような問題点がある。
ルタG、レッドフィルタR、ブルーフィルタBそれぞれ
についての、可視光領域における光の透過特性を示す。
グリーンフィルタGは大きな感度(感度は各特性曲線
R、G、Bの積分値で与えられる)を有するので、グリ
ーンフィルタGが配置されたG画素の出力信号が最初に
飽和することになる。
時間Sgの時点でG画素の出力信号が飽和し、次に感度
の大きいレッドフィルタRが配置されたR画素の出力信
号がSrの時点で飽和し、最後に最も感度の小さいブル
ーフィルタBが配置されたB画素の出力信号がSbの時
点で飽和する。なお、露光時間は(各画素への)入射光
量と比例関係にあるので入射光量と置き換えてもよい。
画素はそれ以上の光量を受けても飽和点より大きな信号
を出力することはできず、緑の色情報が欠落することに
なり、R画素やB画素の信号量が飽和していなくとも正
しい色再現が行えなくなる。すなわち、原色系ベイヤー
配列の場合、ダイナミックレンジがG画素の飽和特性で
決まってしまい、Sg以降の光量では、輝度信号に関し
ては光量依存性に対する直線性が低下し、色差信号に関
しては白色被写体に対して色付きが発生するなどの問題
が生じる。
目的とするところは、輝度のダイナミックレンジの拡大
を実現する撮像装置及び固体撮像素子の信号処理方法を
提供することにある。
ッドフィルタが配置されたR画素と、グリーンフィルタ
が配置されたG画素と、ブルーフィルタが配置されたB
画素と、可視光領域での感度がブルーフィルタよりも小
さいグレイフィルタが配置されたGray画素とが2次
元的に配列された固体撮像素子と、R、G、B各画素の
それぞれの飽和していない出力信号と、Gray画素の
出力信号との比に基づいて、Gray画素の出力信号に
ゲインを与えて、R(Gray)信号、G(Gray)
信号、B(Gray)信号をそれぞれ算出するキャリア
バランス手段と、R(Gray)信号、G(Gray)
信号、B(Gray)信号のそれぞれに基づいて、出力
信号が飽和後のR、G、B各画素のそれぞれの出力信号
を算出する補間手段と、を備えている。
レッドフィルタが配置されたR画素と、グリーンフィル
タが配置されたG画素と、ブルーフィルタが配置された
B画素と、可視光領域での感度がブルーフィルタよりも
小さいグレイフィルタが配置されたGray画素とが2
次元的に配列された固体撮像素子の信号処理方法であっ
て、R、G、B各画素のそれぞれの飽和していない出力
信号と、Gray画素の出力信号との比に基づいて、G
ray画素の出力信号にゲインを与えて、R(Gra
y)信号、G(Gray)信号、B(Gray)信号を
それぞれ算出し、R(Gray)信号、G(Gray)
信号、B(Gray)信号のそれぞれに基づいて、出力
信号が飽和後のR、G、B各画素のそれぞれの出力信号
を算出する。
てに対して広い範囲で感度を有する。また、RGB各画
素の出力信号が飽和していない領域では、RGB各画素
の出力信号とGray画素の出力信号は、露光時間に対
して、共に原点を一致させて直線的に変化するので、R
GB各画素の出力信号とGray画素の出力信号との間
には一定の相関関係がある。更にグレイフィルタは他の
RGBのカラーフィルタに比べて高い飽和特性をもって
いる。
タが配置された画素の出力信号が飽和しても、まだ飽和
していないGray画素の出力信号から、その飽和した
画素の出力信号を算出できる。この算出は、飽和してい
ないときのRGB各画素の出力信号とGray画素の出
力信号との相関関係に基づいて行われる。
て図面を参照して説明する。
フィルタの配列を図1に示す。本実施の形態では、図7
に示した従来の原色系ベイヤー配列において、2画素×
2画素の単位区画で見ると、対角して位置していた2つ
のグリーンフィルタGのうちの一方をグレイフィルタG
rayに置き換えている。具体的には、レッドフィルタ
Rに水平方向で隣接するグリーンフィルタGをグレイフ
ィルタGrayに置き換えた配列となっている。
うに、可視光領域で比較的波長依存性の少ないほぼフラ
ットな透過特性を有している。そして、他のカラーフィ
ルタと同様に、グレイ(灰色)の染料や顔料の含有量を
変更することにより、透過率を調整でき、所望の感度に
設定することが可能である。本実施の形態では、可視光
領域における感度(積分値)が、ブルーフィルタBより
小さいグレイフィルタGrayを用いている。
固体撮像素子(CCD)の出力信号は、図2に示す信号
処理回路にて処理される。レッドフィルタRが配置され
たR画素、グリーンフィルタGが配置されたG画素、ブ
ルーフィルタBが配置されたB画素、及びグレイフィル
タGrayが配置されたGray画素からの各出力信号
は、信号処理回路にて各種処理が行われ、各画素ごとに
輝度信号と色差信号が求められる。
く。
の出力信号(R、G、B、Grayの各画素の出力信
号)を受け以下のような処理を行う。グレイフィルタG
rayは、図9に示すように、可視光領域の全ての色相
の光に対して応答をもつ。従って、RGB各画素の感度
と同等の出力信号となるように、Gray画素の出力信
号に所定のゲイン(利得)を与えることによって、Gr
ay画素の信号を、RGB各画素の出力信号として代用
可能である。すなわち、Gray画素から、新たにR信
号、G信号、B信号をそれぞれ生成できる。このような
処理をキャリアバランスと呼ぶ。以下、キャリアバラン
スについて具体的に説明する。
2)に位置するGray(3、2)画素についてキャリ
アバランスを行う場合を例として説明する。先ず、Gr
ay(3、2)画素からG信号を生成する場合を考え
る。
たという意味で、G(Gray)信号と表記すると、G
(Gray)信号=α×{Gray(3、2)画素の出
力信号}で与えられる。αは、飽和する前のG画素の出
力信号とGray画素の出力信号との相関関係に基づい
て得られる。すなわち、図3に示すように、飽和する前
のG画素の出力信号とGray画素の出力信号との比が
一定であることを利用する。具体的には以下のようにし
て求められる。
及びGray(3、2)画素の周囲に存在する他のGr
ay画素の出力信号の平均値をGray(Av.)とす
る。Gray(3、2)画素の周囲とは、Gray
(3、2)画素を中心とするm行×n列の範囲である。
その同じm行×n列の範囲内に存在するG画素の出力信
号の平均値をG(Av.)とする。
との比から、αは、α=G(Av.)/Gray(A
v.)で求められる。
和していないG画素の出力信号のみが用いられる。すな
わち、G(Av.)は、m行×n列の範囲内に存在する
全てのG画素のうち、出力信号が飽和していないG画素
のみのその出力信号の平均として求められる。出力信号
が飽和しているかしていないかの判断は、CCDの製造
時に、このCCDについては例えば飽和点が500mV
というように既知の値として与えられているので、出力
された信号がその飽和点に達したかどうかの判断で容易
に行える。
を生成する場合について説明する。そのR信号を、R
(Gray)信号とすると、R(Gray)信号=β×
{Gray(3、2)画素の出力信号}で与えられる。
βは、飽和する前のR画素の出力信号とGray画素の
出力信号との相関関係に基づいて得られる。すなわち、
図3に示すように、飽和する前のR画素の出力信号とG
ray画素の出力信号との比が一定であることを利用す
る。具体的には以下のようにして求められる。
及びGray(3、2)画素の周囲に存在する他のGr
ay画素の出力信号の平均値をGray(Av.)とす
る。Gray(3、2)画素の周囲とは、Gray
(3、2)画素を中心とするm行×n列の範囲である。
その同じm行×n列の範囲内に存在するR画素の出力信
号の平均値をR(Av.)とする。
との比から、βは、β=R(Av.)/Gray(A
v.)で求められる。上述したG(Av.)の場合と同
様、R(Av.)は、m行×n列の範囲内に存在する全
てのR画素のうち、出力信号が飽和していないR画素の
みのその出力信号の平均として求められる。出力信号が
飽和しているかしていないかの判断は、G(Av.)の
場合と同様、既知の飽和点(例えば500mV)に達し
たかどうかの判断で行われる。
する場合についても同様に、そのB信号を、B(Gra
y)信号とすると、B(Gray)信号=γ×{Gra
y(3、2)画素の出力信号}で与えられる。γは、飽
和する前のB画素の出力信号とGray画素の出力信号
との相関関係に基づいて得られる。すなわち、図3に示
すように、飽和する前のB画素の出力信号とGray画
素の出力信号との比が一定であることを利用する。具体
的には以下のようにして求められる。
及びGray(3、2)画素の周囲に存在する他のGr
ay画素の出力信号の平均値をGray(Av.)とす
る。Gray(3、2)画素の周囲とは、Gray
(3、2)画素を中心とするm行×n列の範囲である。
その同じm行×n列の範囲内に存在するB画素の出力信
号の平均値をB(Av.)とする。
との比から、γは、γ=B(Av.)/Gray(A
v.)で求められる。この場合にも、B(Av.)は、
m行×n列の範囲内に存在する全てのB画素のうち、出
力信号が飽和していないB画素のみのその出力信号の平
均として求められる。出力信号が飽和しているかしてい
ないかの判断についても、やはり既知の飽和点(例えば
500mV)に達したかどうかの判断で行われる。
画素がSgで、R画素がSrで、B画素がsbでそれぞ
れ飽和した後でも、感度の小さいグレイフィルタを用い
たGray画素は飽和しておらず、よって、そのときの
Gray画素の出力信号(例えばS)に上述したような
ゲイン(×α、×β、×γ)を与えて、G、R、B各画
素の飽和後の出力信号(図3で一点鎖線で示す)を得る
ことができる。
v.)とGray(Av.)との比ではなく、上述した
m行×n列の範囲内に存在するGray画素の出力信号
の和と、その同じm行×n列の範囲内に存在するG画素
の出力信号の和との比で算出してもよい。ただし、この
場合には、和をとるべきGray画素とG画素の数を一
致させる必要がある。βとγについても同様のことが言
える。
ホワイトバランス手段2でのホワイトバランス処理につ
いて説明する。
R、G、B各画素からの出力信号は同じレベル(R信
号:G信号:B信号=1:1:1)になるはずだが、R
GBの各カラーフィルタの分光特性の違いにより、必ず
しも同一レベルとはならない。このとき、R信号、G信
号、B信号のそれぞれに利得を与えることにより、白を
撮像した時に(R信号:G信号:B信号=1:1:1)
になるようにする。これにより、RGBの各画素ごとの
感度差を補正して白い被写体は白く見えるようにするこ
とができる。これをホワイトバランスと呼び、グレイフ
ィルタを用いていない通常のカラーフィルタ配列を有す
る撮像装置でも行われる処理である。
号をG信号に合わせることでホワイトバランスをとる。
図において、ホワイトバランスされたR信号をR’、B
信号をB’で表す。なお、R’信号とB’信号を明示す
るために、図では原点0からずらして示している。この
図4から明らかなように、従来通りのホワイトバランス
では、ホワイトバランス後のG信号、R’信号、B’信
号それぞれの最大レベルが異なる。すなわち、G信号が
飽和するまでの段階でしかホワイトバランスがとれない
ことになる。
うに、上述のキャリアバランスでGray画素から生成
されたG(Gray)信号、R(Gray)信号、B
(Gray)信号のホワイトバランスをとる。ホワイト
バランスされた信号をそれぞれR”、G”、B”で示す
(この場合も図示状わかりやすくするため原点0からず
らしている)。このことにより、飽和後の領域でも各信
号の最大レベルは変わらず同じ値をとらせることができ
る。
らは、その画素に配置されたフィルタの色に対応する信
号のみが出力される。すなわち、レッドフィルタRが配
置されたR画素からはR成分のR信号は出力されるが、
G成分のG信号とB成分のB信号は出力されない。同様
に、G画素からはG信号のみが出力され、R信号及びB
信号は出力されず、B画素からはB信号のみが出力さ
れ、R信号及びG信号は出力されない。
処理する際、各画素ごとにRGBの3つの信号が必要と
なる。すなわち、輝度信号と色差信号は、各画素ごとに
求められるが、その演算に際してはRGBの3つの信号
を必要とする。このため、各画素が持っている色信号以
外の色信号を生成して補間する必要がある。これを画素
補間と呼ぶ。
要は、補間対象画素の周囲の画素の出力信号を利用して
行う。例えばR画素にG信号を生成したい場合には、そ
の補間対象であるR画素の周囲に位置するG画素の出力
信号から推定して得られた値を、その補間対象R画素の
G信号とする。なお、G画素に限らず、周囲のRGB画
素全てを利用する方法もある。
例ではG画素)の出力信号が飽和していなければ、その
ままG画素の出力を利用して通常の補間処理が行われ
る。この処理は、図2における、Green標準領域補
間手段3Gで行われる。なお、ここで標準領域とは、出
力信号が飽和する前の領域、すなわちG画素について
は、図3において0〜Sgの範囲を意味する。なお、G
reen標準領域補間手段3Gでは、B画素にG信号を
補間する処理も行われる。
は、G、B画素にR信号を補間する処理が、Blue標
準領域補間手段3Bでは、R、G画素にB信号を補間す
る処理が行われる。これら、Green標準領域補間手
段3G、Red標準領域補間手段3R、Blue標準領
域補間手段3Bで行われる処理は、補間演算に使う画素
の出力信号が飽和していない場合に行われる処理であ
る。
いた場合には(この判断は上述したキャリアバランスの
ときと同様にして既知の飽和点に達したかどうかで行わ
れる)、Green飽和領域補間手段4G、Red飽和
領域補間手段4R、Blue飽和領域補間手段4Bで、
画素補間が行われる。
て、G画素にR信号を補間する場合を考える。ここで、
補間演算に使うべきR画素が飽和していた場合には、そ
のR画素の水平方向に関しての両隣のGray画素の出
力信号を用いて、飽和後のR画素の出力信号を求める。
でも、感度の小さいGray画素は飽和せず、その飽和
していないGray画素の出力信号から、上述のキャリ
アバランスにて生成されたR(Gray)信号を用いて
飽和後のR画素の出力信号を求める。具体的には、R画
素の水平方向に関しての両隣のGray画素それぞれの
R(Gray)信号の平均値をR画素の出力信号とす
る。これにより、R画素が飽和していても、R画素が受
けた光量を正確に反映した出力信号が得られることにな
り、このR画素の出力信号を使うことで、補間対象画素
であるG画素に対する画素補間も正確に行える。
その垂直方向に関しての両隣のGray画素それぞれの
B(Gray)信号の平均値を、飽和後のB画素の出力
信号とする。G画素が飽和していた場合には、例えば、
そのG画素の対角位置の4つのGray画素それぞれの
G(Gray)信号の平均値を、飽和後のG画素の出力
信号とする。
れ、Gray画素の場合には、上述のキャリアバランス
にて、RGB各成分の信号、R(Gray)信号、G
(Gray)信号、B(Gray)信号が得られるの
で、これらをそのまま画素補間の演算に使う。もちろ
ん、Gray画素自身は、上述のキャリアバランスにて
単独でRGBの各信号が得られるので、周囲の画素を使
った画素補間を行う必要はない。
3R、Green標準領域補間手段3G、Blue標準
領域補間手段3Bで、RGBの各信号が得られればそれ
をそのまま後段の処理に使う。飽和している画素があっ
て、Red標準領域補間手段3R、Green標準領域
補間手段3G、Blue標準領域補間手段3Bでの演算
が行えない場合には、Red飽和領域補間手段4R、G
reen飽和領域補間手段4G、Blue飽和領域補間
手段4Bで得られたRGBの各信号を後段の処理に使
う。その選択制御を、輝度信号領域制御手段5と、色差
信号領域制御手段6で行う。
されたRGBの各信号は輪郭補正手段7を介してガンマ
補正手段8に、色差信号領域制御手段6から出力された
RGBの各信号はガンマ補正手段8に供給される。
行われ、検出されたそのエッジを強調し、くっきり見せ
るための処理が行われる。
が行われる。CRTディスプレイ(ブラウン管表示器)
は、非線形な入出力特性を持っており、低輝度側の発光
が入力信号に比例せず、小さく出る傾向がある。従っ
て、RGBの各信号を直接CRTディスプレイに表示し
た場合、低輝度側がつぶれたような、言い換えると暗く
見える。これをCRTディスプレイのガンマ特性と呼
ぶ。このとき、入力されるRGBの各信号にCRTディ
スプレイのガンマ特性と逆の特性を有する非線形処理を
することで、CRTディスプレイで見たときには自然な
コントラストにすることができる。これをガンマ補正と
呼ぶ。
それぞれ輝度信号合成手段9と、色差信号合成手段10
に送られ、輝度信号合成手段では輝度信号が生成され、
色差信号合成手段10では色差信号が生成される。
した後でも、Gray画素からRGBの各信号を生成す
ることができる。そして、そのGray画素から生成さ
れたR(Gray)信号、G(Gray)信号、B(G
ray)信号を用いて、輝度信号を求めることで、従
来、G信号の飽和特性で決まっていた輝度信号のダイナ
ミックレンジを拡大させることができる。Gray画素
に配置されるグレイフィルタとして、例えば白色光源下
でブルーフィルタの1/N(Nは整数)になるような感
度特性に設定した場合、Gray画素はB画素に対して
N倍のダイナミックレンジの拡大を実現できる。
ray)信号、G(Gray)信号、B(Gray)信
号を用いて、色差信号を求めることで色再現性も向上さ
せることができる。
たが、勿論、本発明はこれに限定されることなく、本発
明の技術的思想に基づいて種々の変形が可能である。
フィルタBの水平隣のグリーンフィルタGをグレイフィ
ルタGrayに置き換えてもよい。更には、カラーフィ
ルタの配列はベイヤー配列には限定されず、その他の原
色系の色配列にも、本発明を適用することができる。
に示す。図6は、いわゆるGストライプと呼ばれる色配
列である。グリーンフィルタGを1列おきに縦一列に配
置し、グリーンフィルタGの各列の間の列にレッドフィ
ルタR及びブルーフィルタBが配置されている。レッド
フィルタR及びブルーフィルタBは市松配置となってい
る。この色配列に本発明を適用する場合には、例えば図
中*印を付したグリーンフィルタG、すなわちレッドフ
ィルタRの左隣のグリーンフィルタGをグレイフィルタ
に置き換えればよい。あるいは、*印を付していないグ
リーンフィルタG、すなわちレッドフィルタRの右隣の
グリーンフィルタGをグレイフィルタに置き換えてもよ
い。なお、Gストライプの色配列としては、レッドフィ
ルタR、ブルーフィルタBの他の配置も考えられる。
限らず、MOS型の固体撮像素子にも適用することがで
きる。
緑、青の各色の全てに対して広い範囲で感度を有し、ま
たRGBのカラーフィルタに比べて高い飽和特性をもっ
ているグレイフィルタを用いることで、RGBのうちの
あるカラーフィルタが配置された画素の出力信号が飽和
しても、まだ飽和していないグレイフィルタが配置され
たGray画素の出力信号から、その飽和した画素の出
力信号を算出できる。これにより、従来はG信号の飽和
特性で決まっていた輝度信号のダイナミックレンジを拡
大させることができる。更に、Gray画素から生成さ
れたR(Gray)信号、G(Gray)信号、B(G
ray)信号を用いてホワイトバランスをとることで、
元から備わっているRGBの各画素が飽和した後でも正
確にホワイトバランスがとれる。
ーフィルタ配列を示す図である。
すブロック図である。
素、R画素、B画素、Gray画素の出力特性、及びG
画素、R画素、B画素の飽和後に、Gray画素から生
成されたG(Gray)信号、R(Gray)信号、B
(Gray)信号を示す図である。
ンス出力特性図である。
号、R(Gray)信号、B(Gray)信号のホワイ
トバランス出力特性図である。
例を示す図である。
素、B画素の出力特性図である。
域における透過特性を示す図である。
手段、3R……Red標準領域補間手段、3G……Gr
een標準領域補間手段、3B……Blue標準領域補
間手段、4R……Red飽和領域補間手段、4G……G
reen飽和領域補間手段、4B……Blue飽和領域
補間手段、5……輝度信号領域制御手段、6……色差信
号領域制御手段、7……輪郭補正手段、8……ガンマ補
正手段、9……輝度信号合成手段、10……色差信号合
成手段。
Claims (5)
- 【請求項1】 レッドフィルタが配置されたR画素と、
グリーンフィルタが配置されたG画素と、ブルーフィル
タが配置されたB画素と、可視光領域での感度が前記ブ
ルーフィルタよりも小さいグレイフィルタが配置された
Gray画素とが2次元的に配列された固体撮像素子
と、 前記R画素、前記G画素、前記B画素のそれぞれの飽和
していない出力信号と、前記Gray画素の出力信号と
の比に基づいて、前記Gray画素の出力信号にゲイン
を与えて、R(Gray)信号、G(Gray)信号、
B(Gray)信号をそれぞれ算出するキャリアバラン
ス手段と、 前記R(Gray)信号、前記G(Gray)信号、前
記B(Gray)信号のそれぞれに基づいて、前記出力
信号が飽和後の前記R画素、前記G画素、前記B画素の
それぞれの出力信号を算出する補間手段と、 を備えていることを特徴とする撮像装置。 - 【請求項2】 ベイヤー方式で配列された前記レッドフ
ィルタの水平隣の前記グリーンフィルタ、あるいは前記
ブルーフィルタの水平隣の前記グリーンフィルタが前記
グレイフィルタに置き換えられていることを特徴とする
請求項1に記載の撮像装置。 - 【請求項3】 前記R(Gray)信号、前記G(Gr
ay)信号、前記B(Gray)信号を用いてホワイト
バランス処理を行うホワイトバランス手段を備えている
ことを特徴とする請求項1に記載の撮像装置。 - 【請求項4】 レッドフィルタが配置されたR画素と、
グリーンフィルタが配置されたG画素と、ブルーフィル
タが配置されたB画素と、可視光領域での感度が前記ブ
ルーフィルタよりも小さいグレイフィルタが配置された
Gray画素とが2次元的に配列された固体撮像素子の
信号処理方法であって、 前記R画素、前記G画素、前記B画素のそれぞれの飽和
していない出力信号と、前記Gray画素の出力信号と
の比に基づいて、前記Gray画素の出力信号にゲイン
を与えて、R(Gray)信号、G(Gray)信号、
B(Gray)信号をそれぞれ算出し、 前記R(Gray)信号、前記G(Gray)信号、前
記B(Gray)信号のそれぞれに基づいて、前記出力
信号が飽和後の前記R画素、前記G画素、前記B画素の
それぞれの出力信号を算出することを特徴とする固体撮
像素子の信号処理方法。 - 【請求項5】 前記R(Gray)信号、前記G(Gr
ay)信号、前記B(Gray)信号を用いてホワイト
バランス処理を行うことを特徴とする請求項4に記載の
固体撮像素子の信号処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001392548A JP3988457B2 (ja) | 2001-12-25 | 2001-12-25 | 撮像装置及び固体撮像素子の信号処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001392548A JP3988457B2 (ja) | 2001-12-25 | 2001-12-25 | 撮像装置及び固体撮像素子の信号処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003199117A true JP2003199117A (ja) | 2003-07-11 |
JP3988457B2 JP3988457B2 (ja) | 2007-10-10 |
Family
ID=27599828
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001392548A Expired - Fee Related JP3988457B2 (ja) | 2001-12-25 | 2001-12-25 | 撮像装置及び固体撮像素子の信号処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3988457B2 (ja) |
Cited By (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007194971A (ja) * | 2006-01-20 | 2007-08-02 | Hitachi Kokusai Electric Inc | 画像処理装置および画像処理方法 |
JP2007281785A (ja) * | 2006-04-05 | 2007-10-25 | Toppan Printing Co Ltd | 撮像素子 |
JP2008022521A (ja) * | 2006-06-14 | 2008-01-31 | Toshiba Corp | 固体撮像素子 |
JPWO2006064564A1 (ja) * | 2004-12-16 | 2008-06-12 | 富士通株式会社 | 撮像装置、撮像素子および画像処理方法 |
JP2008172289A (ja) * | 2007-01-05 | 2008-07-24 | Toshiba Corp | 固体撮像装置 |
JP2008187249A (ja) * | 2007-01-26 | 2008-08-14 | Toshiba Corp | 固体撮像装置 |
JP2009010936A (ja) * | 2007-06-01 | 2009-01-15 | Fujifilm Corp | 撮像装置 |
JP2009033737A (ja) * | 2007-06-28 | 2009-02-12 | Fujifilm Corp | 信号処理装置、撮像装置、及び同時化処理プログラム |
WO2009035148A1 (en) * | 2007-09-14 | 2009-03-19 | Ricoh Company, Ltd. | Imaging apparatus and imaging method |
JP2009089355A (ja) * | 2007-09-14 | 2009-04-23 | Ricoh Co Ltd | 撮像装置および撮像方法 |
JP2009089358A (ja) * | 2007-09-14 | 2009-04-23 | Ricoh Co Ltd | 撮像装置および撮像方法 |
JP2009118158A (ja) * | 2007-11-06 | 2009-05-28 | Ricoh Co Ltd | 撮像装置および撮像方法 |
JP2009201094A (ja) * | 2008-01-22 | 2009-09-03 | Ricoh Co Ltd | 撮像装置および撮像方法 |
JP2009225252A (ja) * | 2008-03-18 | 2009-10-01 | Ricoh Co Ltd | 撮像装置および撮像方法 |
JP2010074813A (ja) * | 2008-08-20 | 2010-04-02 | Ricoh Co Ltd | 撮像装置および撮像方法 |
JP2010093780A (ja) * | 2008-09-11 | 2010-04-22 | Ricoh Co Ltd | 撮像装置および撮像方法 |
JP2010525427A (ja) * | 2007-03-30 | 2010-07-22 | イーストマン コダック カンパニー | パンクロマティック画素を使用するエッジマッピング |
JP2010161557A (ja) * | 2009-01-07 | 2010-07-22 | Ricoh Co Ltd | 撮像装置および撮像方法 |
US7847857B2 (en) | 2006-04-17 | 2010-12-07 | Sony Corporation | Imaging device and exposure control method for imaging device |
JP2011066637A (ja) * | 2009-09-16 | 2011-03-31 | Sony Corp | 固体撮像装置及び電子機器 |
KR20110083888A (ko) * | 2010-01-15 | 2011-07-21 | 삼성전자주식회사 | 신호를 베이어 패턴 변환하여 보간하는 이미지 보간 방법, 및 이를 기록한 기록 매체 |
US7990444B2 (en) | 2008-02-26 | 2011-08-02 | Sony Corporation | Solid-state imaging device and camera |
WO2013089036A1 (ja) * | 2011-12-16 | 2013-06-20 | ソニー株式会社 | 撮像装置 |
JP2014109853A (ja) * | 2012-11-30 | 2014-06-12 | Honda Motor Co Ltd | 車両周辺監視装置 |
CN104299596A (zh) * | 2013-07-15 | 2015-01-21 | 联咏科技股份有限公司 | 图像处理方法与使图像数据不饱和的方法与图像处理装置 |
CN105635699A (zh) * | 2014-11-06 | 2016-06-01 | 联咏科技股份有限公司 | 用于图像传感装置的色彩滤波阵列及其制造方法 |
US9401127B2 (en) | 2013-07-02 | 2016-07-26 | Novatek Microelectronics Corp. | Image processing method and anti-saturation method for image data and image processing device |
US9787952B2 (en) | 2014-10-27 | 2017-10-10 | Novatek Microelectronics Corp. | Color filter array and manufacturing method thereof |
-
2001
- 2001-12-25 JP JP2001392548A patent/JP3988457B2/ja not_active Expired - Fee Related
Cited By (41)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2006064564A1 (ja) * | 2004-12-16 | 2008-06-12 | 富士通株式会社 | 撮像装置、撮像素子および画像処理方法 |
US7773137B2 (en) | 2004-12-16 | 2010-08-10 | Fujitsu Semiconductor Limited | Imaging apparatus, imaging element, and image processing method |
JP4536072B2 (ja) * | 2004-12-16 | 2010-09-01 | 富士通セミコンダクター株式会社 | 撮像装置 |
JP2007194971A (ja) * | 2006-01-20 | 2007-08-02 | Hitachi Kokusai Electric Inc | 画像処理装置および画像処理方法 |
JP4666681B2 (ja) * | 2006-01-20 | 2011-04-06 | 株式会社日立国際電気 | 画像処理装置および画像処理方法 |
JP2007281785A (ja) * | 2006-04-05 | 2007-10-25 | Toppan Printing Co Ltd | 撮像素子 |
US7847857B2 (en) | 2006-04-17 | 2010-12-07 | Sony Corporation | Imaging device and exposure control method for imaging device |
JP2008022521A (ja) * | 2006-06-14 | 2008-01-31 | Toshiba Corp | 固体撮像素子 |
JP2008172289A (ja) * | 2007-01-05 | 2008-07-24 | Toshiba Corp | 固体撮像装置 |
US8040413B2 (en) | 2007-01-26 | 2011-10-18 | Kabushiki Kaisha Toshiba | Solid-state image pickup device |
JP2008187249A (ja) * | 2007-01-26 | 2008-08-14 | Toshiba Corp | 固体撮像装置 |
JP2010525427A (ja) * | 2007-03-30 | 2010-07-22 | イーストマン コダック カンパニー | パンクロマティック画素を使用するエッジマッピング |
US8274585B2 (en) | 2007-06-01 | 2012-09-25 | Fujifilm Corporation | Imaging device with brightness correction |
JP2009010936A (ja) * | 2007-06-01 | 2009-01-15 | Fujifilm Corp | 撮像装置 |
JP2009033737A (ja) * | 2007-06-28 | 2009-02-12 | Fujifilm Corp | 信号処理装置、撮像装置、及び同時化処理プログラム |
JP2009089358A (ja) * | 2007-09-14 | 2009-04-23 | Ricoh Co Ltd | 撮像装置および撮像方法 |
JP2009089355A (ja) * | 2007-09-14 | 2009-04-23 | Ricoh Co Ltd | 撮像装置および撮像方法 |
WO2009035148A1 (en) * | 2007-09-14 | 2009-03-19 | Ricoh Company, Ltd. | Imaging apparatus and imaging method |
US8269852B2 (en) | 2007-09-14 | 2012-09-18 | Ricoh Company, Ltd. | Imaging apparatus and imaging method |
JP2009118158A (ja) * | 2007-11-06 | 2009-05-28 | Ricoh Co Ltd | 撮像装置および撮像方法 |
JP2009201094A (ja) * | 2008-01-22 | 2009-09-03 | Ricoh Co Ltd | 撮像装置および撮像方法 |
US7990444B2 (en) | 2008-02-26 | 2011-08-02 | Sony Corporation | Solid-state imaging device and camera |
JP2009225252A (ja) * | 2008-03-18 | 2009-10-01 | Ricoh Co Ltd | 撮像装置および撮像方法 |
JP2010074813A (ja) * | 2008-08-20 | 2010-04-02 | Ricoh Co Ltd | 撮像装置および撮像方法 |
JP2010093780A (ja) * | 2008-09-11 | 2010-04-22 | Ricoh Co Ltd | 撮像装置および撮像方法 |
JP2010161557A (ja) * | 2009-01-07 | 2010-07-22 | Ricoh Co Ltd | 撮像装置および撮像方法 |
JP2011066637A (ja) * | 2009-09-16 | 2011-03-31 | Sony Corp | 固体撮像装置及び電子機器 |
US8848073B2 (en) | 2009-09-16 | 2014-09-30 | Sony Corporation | Solid-state imaging device and electronic apparatus |
US9288410B2 (en) | 2009-09-16 | 2016-03-15 | Sony Corporation | Solid-state imaging device and electronic apparatus |
KR20110083888A (ko) * | 2010-01-15 | 2011-07-21 | 삼성전자주식회사 | 신호를 베이어 패턴 변환하여 보간하는 이미지 보간 방법, 및 이를 기록한 기록 매체 |
KR101652722B1 (ko) | 2010-01-15 | 2016-09-01 | 삼성전자주식회사 | 신호를 베이어 패턴 변환하여 보간하는 이미지 보간 방법, 및 이를 기록한 기록 매체 |
WO2013089036A1 (ja) * | 2011-12-16 | 2013-06-20 | ソニー株式会社 | 撮像装置 |
CN103999458A (zh) * | 2011-12-16 | 2014-08-20 | 索尼公司 | 图像捕获设备 |
US9681059B2 (en) | 2011-12-16 | 2017-06-13 | Sony Corporation | Image-capturing device |
JP2014109853A (ja) * | 2012-11-30 | 2014-06-12 | Honda Motor Co Ltd | 車両周辺監視装置 |
US9401127B2 (en) | 2013-07-02 | 2016-07-26 | Novatek Microelectronics Corp. | Image processing method and anti-saturation method for image data and image processing device |
CN104299596A (zh) * | 2013-07-15 | 2015-01-21 | 联咏科技股份有限公司 | 图像处理方法与使图像数据不饱和的方法与图像处理装置 |
US9787952B2 (en) | 2014-10-27 | 2017-10-10 | Novatek Microelectronics Corp. | Color filter array and manufacturing method thereof |
US10349016B2 (en) | 2014-10-27 | 2019-07-09 | Novatek Microelectronics Corp. | Color filter array and manufacturing method thereof capable of enlarging a dynamic range of an image sensing device |
CN105635699A (zh) * | 2014-11-06 | 2016-06-01 | 联咏科技股份有限公司 | 用于图像传感装置的色彩滤波阵列及其制造方法 |
CN105635699B (zh) * | 2014-11-06 | 2019-10-18 | 联咏科技股份有限公司 | 用于图像传感装置的色彩滤波阵列及其制造方法 |
Also Published As
Publication number | Publication date |
---|---|
JP3988457B2 (ja) | 2007-10-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3988457B2 (ja) | 撮像装置及び固体撮像素子の信号処理方法 | |
US7126633B2 (en) | Solid-state image-pickup device having primary color and gray color filters and processing means thereof | |
US7236190B2 (en) | Digital image processing using white balance and gamma correction | |
US9160935B2 (en) | Sensor arrangement for transforming color space representation in a digital color image | |
US7173663B2 (en) | Automatic exposure control system for a digital camera | |
US7414630B2 (en) | Hexagonal color pixel structure with white pixels | |
US6924841B2 (en) | System and method for capturing color images that extends the dynamic range of an image sensor using first and second groups of pixels | |
RU2556022C2 (ru) | Устройство формирования цветного изображения | |
US20030184659A1 (en) | Digital color image pre-processing | |
US8564688B2 (en) | Methods, systems and apparatuses for white balance calibration | |
JP3989615B2 (ja) | 固体撮像装置 | |
US8111301B2 (en) | Method of performing auto white balance in YCbCr color space | |
JP2002064831A (ja) | 単板式カラーカメラの色分離回路 | |
US20110234844A1 (en) | Image sensing apparatus and method of controlling the apparatus | |
US7146040B2 (en) | Automatic white balance technique | |
JP2006333113A (ja) | 撮像装置 | |
US7394929B2 (en) | Digital picture image color conversion | |
JP4028395B2 (ja) | デジタルカメラ | |
JP4334150B2 (ja) | 画像補間装置 | |
JP4309505B2 (ja) | 撮像素子及び撮像装置 | |
JP2002095003A (ja) | 電子カメラ | |
JP4334151B2 (ja) | 画像補間装置 | |
JP2005086630A (ja) | 撮像装置 | |
JP4334152B2 (ja) | 画像補間装置 | |
JP2003087807A (ja) | 画像データ変換装置、画像データ変換方法、画像データ変換プログラムおよび画像データ変換プログラムを記録した媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041126 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061211 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070409 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070606 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070626 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070709 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100727 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100727 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110727 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120727 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130727 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |