JP2003199117A - 撮像装置及び固体撮像素子の信号処理方法 - Google Patents

撮像装置及び固体撮像素子の信号処理方法

Info

Publication number
JP2003199117A
JP2003199117A JP2001392548A JP2001392548A JP2003199117A JP 2003199117 A JP2003199117 A JP 2003199117A JP 2001392548 A JP2001392548 A JP 2001392548A JP 2001392548 A JP2001392548 A JP 2001392548A JP 2003199117 A JP2003199117 A JP 2003199117A
Authority
JP
Japan
Prior art keywords
gray
signal
pixel
filter
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001392548A
Other languages
English (en)
Other versions
JP3988457B2 (ja
Inventor
Shinichiro Saito
新一郎 斉藤
Takeshi Showa
武志 正和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2001392548A priority Critical patent/JP3988457B2/ja
Publication of JP2003199117A publication Critical patent/JP2003199117A/ja
Application granted granted Critical
Publication of JP3988457B2 publication Critical patent/JP3988457B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Of Color Television Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

(57)【要約】 【課題】 輝度のダイナミックレンジの拡大と色再現性
の向上を実現する撮像装置及び固体撮像素子の信号処理
方法を提供すること。 【解決手段】 可視光領域での感度がブルーフィルタよ
りも小さいグレイフィルタが配置されたGray画素を
有する固体撮像素子と、R、G、B各画素のそれぞれの
飽和していない出力信号と、Gray画素の出力信号と
の比に基づいて、Gray画素の出力信号にゲインを与
えて、R(Gray)信号、G(Gray)信号、B
(Gray)信号をそれぞれ算出するキャリアバランス
手段1と、R(Gray)信号、G(Gray)信号、
B(Gray)信号のそれぞれに基づいて、出力信号が
飽和後のR、G、B各画素のそれぞれの出力信号を算出
する補間手段4R、4G、4Bとを備えている。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、原色系のカラーフ
ィルタ配列を持つ単板式の固体撮像素子を備えた撮像装
置及びその固体撮像素子の信号処理方法に関する。更に
詳しくは、特定の位置のグリーンフィルタをグレイフィ
ルタに置き換え、そのグレイフィルタが配置された画素
からの出力信号を利用することで、ダイナミックレンジ
の拡大を図った撮像装置及び固体撮像素子の信号処理方
法に関する。
【0002】
【従来の技術】例えば、CCD( Charge Coupled Devi
ce)型固体撮像素子を用いたカラーカメラの撮像方式と
しては、CCD1個でカラー情報が得られる単板式と、
CCD3個で得られる3板式に大別できる。単板式には
さらに2方式がある。その1つとして、カラー情報が同
時に得られる同時式がある。これは、各画素(センサ
部)に対応してカラーフィルタ(オンチップカラーフィ
ルタ)が設けられている。
【0003】カラーフィルタのカラーコーディング(色
配列)には多数の種類がある。そのうち、R(赤)、G
(緑)、B(青)の原色系のカラーフィルタを用いた配
列で、例えば米国特許第3971065号に開示されて
いるベイヤー配列と呼ばれる配列がある。
【0004】このベイヤー配列を図7に示す。グリーン
(緑)フィルタGを市松状に配置し、残りの部分にレッ
ド(赤)フィルタRと、ブルー(青)フィルタBをさら
に市松状に配列したものである。すなわち、縦2画素×
横2画素の4画素で見ると、グリーンフィルタGが対角
位置の2箇所に配置され、残りの2箇所の一方にレッド
フィルタRが、他方にブルーフィルタBが配置されてい
る。全体として見るとグリーンフィルタGが斜め方向に
連続して並ぶ配列となっている。
【0005】このベイヤー配列の特徴は、輝度信号の合
成に寄与する割合の大きいグリーンフィルタGの配置さ
れたG画素が水平方向でみると各行ごとに存在し、また
垂直方向で見ても各列ごとに存在することで、水平及び
垂直の空間周波数特性が等方的で高い解像度が得られる
ことにある。しかし、以下のような問題点がある。
【0006】
【発明が解決しようとする課題】図9は、グリーンフィ
ルタG、レッドフィルタR、ブルーフィルタBそれぞれ
についての、可視光領域における光の透過特性を示す。
グリーンフィルタGは大きな感度(感度は各特性曲線
R、G、Bの積分値で与えられる)を有するので、グリ
ーンフィルタGが配置されたG画素の出力信号が最初に
飽和することになる。
【0007】すなわち、図8に示すように、先ず、露光
時間Sgの時点でG画素の出力信号が飽和し、次に感度
の大きいレッドフィルタRが配置されたR画素の出力信
号がSrの時点で飽和し、最後に最も感度の小さいブル
ーフィルタBが配置されたB画素の出力信号がSbの時
点で飽和する。なお、露光時間は(各画素への)入射光
量と比例関係にあるので入射光量と置き換えてもよい。
【0008】G画素の出力信号が飽和してしまうと、G
画素はそれ以上の光量を受けても飽和点より大きな信号
を出力することはできず、緑の色情報が欠落することに
なり、R画素やB画素の信号量が飽和していなくとも正
しい色再現が行えなくなる。すなわち、原色系ベイヤー
配列の場合、ダイナミックレンジがG画素の飽和特性で
決まってしまい、Sg以降の光量では、輝度信号に関し
ては光量依存性に対する直線性が低下し、色差信号に関
しては白色被写体に対して色付きが発生するなどの問題
が生じる。
【0009】本発明は上述の問題に鑑みてなされ、その
目的とするところは、輝度のダイナミックレンジの拡大
を実現する撮像装置及び固体撮像素子の信号処理方法を
提供することにある。
【0010】
【課題を解決するための手段】本発明の撮像装置は、レ
ッドフィルタが配置されたR画素と、グリーンフィルタ
が配置されたG画素と、ブルーフィルタが配置されたB
画素と、可視光領域での感度がブルーフィルタよりも小
さいグレイフィルタが配置されたGray画素とが2次
元的に配列された固体撮像素子と、R、G、B各画素の
それぞれの飽和していない出力信号と、Gray画素の
出力信号との比に基づいて、Gray画素の出力信号に
ゲインを与えて、R(Gray)信号、G(Gray)
信号、B(Gray)信号をそれぞれ算出するキャリア
バランス手段と、R(Gray)信号、G(Gray)
信号、B(Gray)信号のそれぞれに基づいて、出力
信号が飽和後のR、G、B各画素のそれぞれの出力信号
を算出する補間手段と、を備えている。
【0011】本発明の固体撮像素子の信号処理方法は、
レッドフィルタが配置されたR画素と、グリーンフィル
タが配置されたG画素と、ブルーフィルタが配置された
B画素と、可視光領域での感度がブルーフィルタよりも
小さいグレイフィルタが配置されたGray画素とが2
次元的に配列された固体撮像素子の信号処理方法であっ
て、R、G、B各画素のそれぞれの飽和していない出力
信号と、Gray画素の出力信号との比に基づいて、G
ray画素の出力信号にゲインを与えて、R(Gra
y)信号、G(Gray)信号、B(Gray)信号を
それぞれ算出し、R(Gray)信号、G(Gray)
信号、B(Gray)信号のそれぞれに基づいて、出力
信号が飽和後のR、G、B各画素のそれぞれの出力信号
を算出する。
【0012】グレイフィルタは、赤、緑、青の各色の全
てに対して広い範囲で感度を有する。また、RGB各画
素の出力信号が飽和していない領域では、RGB各画素
の出力信号とGray画素の出力信号は、露光時間に対
して、共に原点を一致させて直線的に変化するので、R
GB各画素の出力信号とGray画素の出力信号との間
には一定の相関関係がある。更にグレイフィルタは他の
RGBのカラーフィルタに比べて高い飽和特性をもって
いる。
【0013】従って、RGBのうちのあるカラーフィル
タが配置された画素の出力信号が飽和しても、まだ飽和
していないGray画素の出力信号から、その飽和した
画素の出力信号を算出できる。この算出は、飽和してい
ないときのRGB各画素の出力信号とGray画素の出
力信号との相関関係に基づいて行われる。
【0014】
【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して説明する。
【0015】本実施の形態による固体撮像素子のカラー
フィルタの配列を図1に示す。本実施の形態では、図7
に示した従来の原色系ベイヤー配列において、2画素×
2画素の単位区画で見ると、対角して位置していた2つ
のグリーンフィルタGのうちの一方をグレイフィルタG
rayに置き換えている。具体的には、レッドフィルタ
Rに水平方向で隣接するグリーンフィルタGをグレイフ
ィルタGrayに置き換えた配列となっている。
【0016】グレイフィルタGrayは、図9に示すよ
うに、可視光領域で比較的波長依存性の少ないほぼフラ
ットな透過特性を有している。そして、他のカラーフィ
ルタと同様に、グレイ(灰色)の染料や顔料の含有量を
変更することにより、透過率を調整でき、所望の感度に
設定することが可能である。本実施の形態では、可視光
領域における感度(積分値)が、ブルーフィルタBより
小さいグレイフィルタGrayを用いている。
【0017】以上のようなカラーフィルタ配列を有する
固体撮像素子(CCD)の出力信号は、図2に示す信号
処理回路にて処理される。レッドフィルタRが配置され
たR画素、グリーンフィルタGが配置されたG画素、ブ
ルーフィルタBが配置されたB画素、及びグレイフィル
タGrayが配置されたGray画素からの各出力信号
は、信号処理回路にて各種処理が行われ、各画素ごとに
輝度信号と色差信号が求められる。
【0018】以下、各処理ブロックごとに説明してい
く。
【0019】キャリアバランス手段1では、CCDから
の出力信号(R、G、B、Grayの各画素の出力信
号)を受け以下のような処理を行う。グレイフィルタG
rayは、図9に示すように、可視光領域の全ての色相
の光に対して応答をもつ。従って、RGB各画素の感度
と同等の出力信号となるように、Gray画素の出力信
号に所定のゲイン(利得)を与えることによって、Gr
ay画素の信号を、RGB各画素の出力信号として代用
可能である。すなわち、Gray画素から、新たにR信
号、G信号、B信号をそれぞれ生成できる。このような
処理をキャリアバランスと呼ぶ。以下、キャリアバラン
スについて具体的に説明する。
【0020】例えば、図1において、アドレス(3、
2)に位置するGray(3、2)画素についてキャリ
アバランスを行う場合を例として説明する。先ず、Gr
ay(3、2)画素からG信号を生成する場合を考え
る。
【0021】そのG信号を、Gray画素から生成され
たという意味で、G(Gray)信号と表記すると、G
(Gray)信号=α×{Gray(3、2)画素の出
力信号}で与えられる。αは、飽和する前のG画素の出
力信号とGray画素の出力信号との相関関係に基づい
て得られる。すなわち、図3に示すように、飽和する前
のG画素の出力信号とGray画素の出力信号との比が
一定であることを利用する。具体的には以下のようにし
て求められる。
【0022】Gray(3、2)画素自身の出力信号、
及びGray(3、2)画素の周囲に存在する他のGr
ay画素の出力信号の平均値をGray(Av.)とす
る。Gray(3、2)画素の周囲とは、Gray
(3、2)画素を中心とするm行×n列の範囲である。
その同じm行×n列の範囲内に存在するG画素の出力信
号の平均値をG(Av.)とする。
【0023】これらGray(Av.)とG(Av.)
との比から、αは、α=G(Av.)/Gray(A
v.)で求められる。
【0024】なお、G(Av.)の算出に際しては、飽
和していないG画素の出力信号のみが用いられる。すな
わち、G(Av.)は、m行×n列の範囲内に存在する
全てのG画素のうち、出力信号が飽和していないG画素
のみのその出力信号の平均として求められる。出力信号
が飽和しているかしていないかの判断は、CCDの製造
時に、このCCDについては例えば飽和点が500mV
というように既知の値として与えられているので、出力
された信号がその飽和点に達したかどうかの判断で容易
に行える。
【0025】次に、Gray(3、2)画素からR信号
を生成する場合について説明する。そのR信号を、R
(Gray)信号とすると、R(Gray)信号=β×
{Gray(3、2)画素の出力信号}で与えられる。
βは、飽和する前のR画素の出力信号とGray画素の
出力信号との相関関係に基づいて得られる。すなわち、
図3に示すように、飽和する前のR画素の出力信号とG
ray画素の出力信号との比が一定であることを利用す
る。具体的には以下のようにして求められる。
【0026】Gray(3、2)画素自身の出力信号、
及びGray(3、2)画素の周囲に存在する他のGr
ay画素の出力信号の平均値をGray(Av.)とす
る。Gray(3、2)画素の周囲とは、Gray
(3、2)画素を中心とするm行×n列の範囲である。
その同じm行×n列の範囲内に存在するR画素の出力信
号の平均値をR(Av.)とする。
【0027】これらGray(Av.)とR(Av.)
との比から、βは、β=R(Av.)/Gray(A
v.)で求められる。上述したG(Av.)の場合と同
様、R(Av.)は、m行×n列の範囲内に存在する全
てのR画素のうち、出力信号が飽和していないR画素の
みのその出力信号の平均として求められる。出力信号が
飽和しているかしていないかの判断は、G(Av.)の
場合と同様、既知の飽和点(例えば500mV)に達し
たかどうかの判断で行われる。
【0028】Gray(3、2)画素からB信号を生成
する場合についても同様に、そのB信号を、B(Gra
y)信号とすると、B(Gray)信号=γ×{Gra
y(3、2)画素の出力信号}で与えられる。γは、飽
和する前のB画素の出力信号とGray画素の出力信号
との相関関係に基づいて得られる。すなわち、図3に示
すように、飽和する前のB画素の出力信号とGray画
素の出力信号との比が一定であることを利用する。具体
的には以下のようにして求められる。
【0029】Gray(3、2)画素自身の出力信号、
及びGray(3、2)画素の周囲に存在する他のGr
ay画素の出力信号の平均値をGray(Av.)とす
る。Gray(3、2)画素の周囲とは、Gray
(3、2)画素を中心とするm行×n列の範囲である。
その同じm行×n列の範囲内に存在するB画素の出力信
号の平均値をB(Av.)とする。
【0030】これらGray(Av.)とB(Av.)
との比から、γは、γ=B(Av.)/Gray(A
v.)で求められる。この場合にも、B(Av.)は、
m行×n列の範囲内に存在する全てのB画素のうち、出
力信号が飽和していないB画素のみのその出力信号の平
均として求められる。出力信号が飽和しているかしてい
ないかの判断についても、やはり既知の飽和点(例えば
500mV)に達したかどうかの判断で行われる。
【0031】以上のことにより、図3に示すように、G
画素がSgで、R画素がSrで、B画素がsbでそれぞ
れ飽和した後でも、感度の小さいグレイフィルタを用い
たGray画素は飽和しておらず、よって、そのときの
Gray画素の出力信号(例えばS)に上述したような
ゲイン(×α、×β、×γ)を与えて、G、R、B各画
素の飽和後の出力信号(図3で一点鎖線で示す)を得る
ことができる。
【0032】なお、αを求めるにあたっては、G(A
v.)とGray(Av.)との比ではなく、上述した
m行×n列の範囲内に存在するGray画素の出力信号
の和と、その同じm行×n列の範囲内に存在するG画素
の出力信号の和との比で算出してもよい。ただし、この
場合には、和をとるべきGray画素とG画素の数を一
致させる必要がある。βとγについても同様のことが言
える。
【0033】次に、キャリアバランスの後に行われる、
ホワイトバランス手段2でのホワイトバランス処理につ
いて説明する。
【0034】例えば白い被写体を撮像した場合、本来
R、G、B各画素からの出力信号は同じレベル(R信
号:G信号:B信号=1:1:1)になるはずだが、R
GBの各カラーフィルタの分光特性の違いにより、必ず
しも同一レベルとはならない。このとき、R信号、G信
号、B信号のそれぞれに利得を与えることにより、白を
撮像した時に(R信号:G信号:B信号=1:1:1)
になるようにする。これにより、RGBの各画素ごとの
感度差を補正して白い被写体は白く見えるようにするこ
とができる。これをホワイトバランスと呼び、グレイフ
ィルタを用いていない通常のカラーフィルタ配列を有す
る撮像装置でも行われる処理である。
【0035】通常は、図4に示すように、R信号とB信
号をG信号に合わせることでホワイトバランスをとる。
図において、ホワイトバランスされたR信号をR’、B
信号をB’で表す。なお、R’信号とB’信号を明示す
るために、図では原点0からずらして示している。この
図4から明らかなように、従来通りのホワイトバランス
では、ホワイトバランス後のG信号、R’信号、B’信
号それぞれの最大レベルが異なる。すなわち、G信号が
飽和するまでの段階でしかホワイトバランスがとれない
ことになる。
【0036】そこで、本実施の形態では、図5に示すよ
うに、上述のキャリアバランスでGray画素から生成
されたG(Gray)信号、R(Gray)信号、B
(Gray)信号のホワイトバランスをとる。ホワイト
バランスされた信号をそれぞれR”、G”、B”で示す
(この場合も図示状わかりやすくするため原点0からず
らしている)。このことにより、飽和後の領域でも各信
号の最大レベルは変わらず同じ値をとらせることができ
る。
【0037】次に、画素補間処理について説明する。
【0038】単板式の撮像装置では、RGBの各画素か
らは、その画素に配置されたフィルタの色に対応する信
号のみが出力される。すなわち、レッドフィルタRが配
置されたR画素からはR成分のR信号は出力されるが、
G成分のG信号とB成分のB信号は出力されない。同様
に、G画素からはG信号のみが出力され、R信号及びB
信号は出力されず、B画素からはB信号のみが出力さ
れ、R信号及びG信号は出力されない。
【0039】しかし、後段において各画素の出力信号を
処理する際、各画素ごとにRGBの3つの信号が必要と
なる。すなわち、輝度信号と色差信号は、各画素ごとに
求められるが、その演算に際してはRGBの3つの信号
を必要とする。このため、各画素が持っている色信号以
外の色信号を生成して補間する必要がある。これを画素
補間と呼ぶ。
【0040】画素補間は従来より様々な方法があるが、
要は、補間対象画素の周囲の画素の出力信号を利用して
行う。例えばR画素にG信号を生成したい場合には、そ
の補間対象であるR画素の周囲に位置するG画素の出力
信号から推定して得られた値を、その補間対象R画素の
G信号とする。なお、G画素に限らず、周囲のRGB画
素全てを利用する方法もある。
【0041】このとき、補間演算に使われる画素(上記
例ではG画素)の出力信号が飽和していなければ、その
ままG画素の出力を利用して通常の補間処理が行われ
る。この処理は、図2における、Green標準領域補
間手段3Gで行われる。なお、ここで標準領域とは、出
力信号が飽和する前の領域、すなわちG画素について
は、図3において0〜Sgの範囲を意味する。なお、G
reen標準領域補間手段3Gでは、B画素にG信号を
補間する処理も行われる。
【0042】同様に、Red標準領域補間手段3Rで
は、G、B画素にR信号を補間する処理が、Blue標
準領域補間手段3Bでは、R、G画素にB信号を補間す
る処理が行われる。これら、Green標準領域補間手
段3G、Red標準領域補間手段3R、Blue標準領
域補間手段3Bで行われる処理は、補間演算に使う画素
の出力信号が飽和していない場合に行われる処理であ
る。
【0043】補間演算に使う画素の出力信号が飽和して
いた場合には(この判断は上述したキャリアバランスの
ときと同様にして既知の飽和点に達したかどうかで行わ
れる)、Green飽和領域補間手段4G、Red飽和
領域補間手段4R、Blue飽和領域補間手段4Bで、
画素補間が行われる。
【0044】例えば、Red飽和領域補間手段4Rに
て、G画素にR信号を補間する場合を考える。ここで、
補間演算に使うべきR画素が飽和していた場合には、そ
のR画素の水平方向に関しての両隣のGray画素の出
力信号を用いて、飽和後のR画素の出力信号を求める。
【0045】すなわち、R画素が飽和してしまうレベル
でも、感度の小さいGray画素は飽和せず、その飽和
していないGray画素の出力信号から、上述のキャリ
アバランスにて生成されたR(Gray)信号を用いて
飽和後のR画素の出力信号を求める。具体的には、R画
素の水平方向に関しての両隣のGray画素それぞれの
R(Gray)信号の平均値をR画素の出力信号とす
る。これにより、R画素が飽和していても、R画素が受
けた光量を正確に反映した出力信号が得られることにな
り、このR画素の出力信号を使うことで、補間対象画素
であるG画素に対する画素補間も正確に行える。
【0046】B画素が飽和していた場合には、例えば、
その垂直方向に関しての両隣のGray画素それぞれの
B(Gray)信号の平均値を、飽和後のB画素の出力
信号とする。G画素が飽和していた場合には、例えば、
そのG画素の対角位置の4つのGray画素それぞれの
G(Gray)信号の平均値を、飽和後のG画素の出力
信号とする。
【0047】なお、補間演算にはGray画素も使わ
れ、Gray画素の場合には、上述のキャリアバランス
にて、RGB各成分の信号、R(Gray)信号、G
(Gray)信号、B(Gray)信号が得られるの
で、これらをそのまま画素補間の演算に使う。もちろ
ん、Gray画素自身は、上述のキャリアバランスにて
単独でRGBの各信号が得られるので、周囲の画素を使
った画素補間を行う必要はない。
【0048】上述したように、Red標準領域補間手段
3R、Green標準領域補間手段3G、Blue標準
領域補間手段3Bで、RGBの各信号が得られればそれ
をそのまま後段の処理に使う。飽和している画素があっ
て、Red標準領域補間手段3R、Green標準領域
補間手段3G、Blue標準領域補間手段3Bでの演算
が行えない場合には、Red飽和領域補間手段4R、G
reen飽和領域補間手段4G、Blue飽和領域補間
手段4Bで得られたRGBの各信号を後段の処理に使
う。その選択制御を、輝度信号領域制御手段5と、色差
信号領域制御手段6で行う。
【0049】その後、輝度信号領域制御手段5から出力
されたRGBの各信号は輪郭補正手段7を介してガンマ
補正手段8に、色差信号領域制御手段6から出力された
RGBの各信号はガンマ補正手段8に供給される。
【0050】輪郭補正手段7では、画像のエッジ検出が
行われ、検出されたそのエッジを強調し、くっきり見せ
るための処理が行われる。
【0051】ガンマ補正手段8では、以下のような処理
が行われる。CRTディスプレイ(ブラウン管表示器)
は、非線形な入出力特性を持っており、低輝度側の発光
が入力信号に比例せず、小さく出る傾向がある。従っ
て、RGBの各信号を直接CRTディスプレイに表示し
た場合、低輝度側がつぶれたような、言い換えると暗く
見える。これをCRTディスプレイのガンマ特性と呼
ぶ。このとき、入力されるRGBの各信号にCRTディ
スプレイのガンマ特性と逆の特性を有する非線形処理を
することで、CRTディスプレイで見たときには自然な
コントラストにすることができる。これをガンマ補正と
呼ぶ。
【0052】ガンマ補正が行われたRGBの各信号は、
それぞれ輝度信号合成手段9と、色差信号合成手段10
に送られ、輝度信号合成手段では輝度信号が生成され、
色差信号合成手段10では色差信号が生成される。
【0053】以上述べたように、RGBの各画素が飽和
した後でも、Gray画素からRGBの各信号を生成す
ることができる。そして、そのGray画素から生成さ
れたR(Gray)信号、G(Gray)信号、B(G
ray)信号を用いて、輝度信号を求めることで、従
来、G信号の飽和特性で決まっていた輝度信号のダイナ
ミックレンジを拡大させることができる。Gray画素
に配置されるグレイフィルタとして、例えば白色光源下
でブルーフィルタの1/N(Nは整数)になるような感
度特性に設定した場合、Gray画素はB画素に対して
N倍のダイナミックレンジの拡大を実現できる。
【0054】更に、Gray画素から生成されたR(G
ray)信号、G(Gray)信号、B(Gray)信
号を用いて、色差信号を求めることで色再現性も向上さ
せることができる。
【0055】以上、本発明の実施の形態について説明し
たが、勿論、本発明はこれに限定されることなく、本発
明の技術的思想に基づいて種々の変形が可能である。
【0056】図7に示すベイヤー配列において、ブルー
フィルタBの水平隣のグリーンフィルタGをグレイフィ
ルタGrayに置き換えてもよい。更には、カラーフィ
ルタの配列はベイヤー配列には限定されず、その他の原
色系の色配列にも、本発明を適用することができる。
【0057】本発明が適用される他の色配列の例を図6
に示す。図6は、いわゆるGストライプと呼ばれる色配
列である。グリーンフィルタGを1列おきに縦一列に配
置し、グリーンフィルタGの各列の間の列にレッドフィ
ルタR及びブルーフィルタBが配置されている。レッド
フィルタR及びブルーフィルタBは市松配置となってい
る。この色配列に本発明を適用する場合には、例えば図
中*印を付したグリーンフィルタG、すなわちレッドフ
ィルタRの左隣のグリーンフィルタGをグレイフィルタ
に置き換えればよい。あるいは、*印を付していないグ
リーンフィルタG、すなわちレッドフィルタRの右隣の
グリーンフィルタGをグレイフィルタに置き換えてもよ
い。なお、Gストライプの色配列としては、レッドフィ
ルタR、ブルーフィルタBの他の配置も考えられる。
【0058】また、本発明は、CCD型固体撮像素子に
限らず、MOS型の固体撮像素子にも適用することがで
きる。
【0059】
【発明の効果】以上述べたように、本発明では、赤、
緑、青の各色の全てに対して広い範囲で感度を有し、ま
たRGBのカラーフィルタに比べて高い飽和特性をもっ
ているグレイフィルタを用いることで、RGBのうちの
あるカラーフィルタが配置された画素の出力信号が飽和
しても、まだ飽和していないグレイフィルタが配置され
たGray画素の出力信号から、その飽和した画素の出
力信号を算出できる。これにより、従来はG信号の飽和
特性で決まっていた輝度信号のダイナミックレンジを拡
大させることができる。更に、Gray画素から生成さ
れたR(Gray)信号、G(Gray)信号、B(G
ray)信号を用いてホワイトバランスをとることで、
元から備わっているRGBの各画素が飽和した後でも正
確にホワイトバランスがとれる。
【図面の簡単な説明】
【図1】本発明の実施の形態による固体撮像素子のカラ
ーフィルタ配列を示す図である。
【図2】本発明の実施の形態による撮像装置の構成を示
すブロック図である。
【図3】露光時間(入射光量)に対する、飽和前のG画
素、R画素、B画素、Gray画素の出力特性、及びG
画素、R画素、B画素の飽和後に、Gray画素から生
成されたG(Gray)信号、R(Gray)信号、B
(Gray)信号を示す図である。
【図4】従来の方法によるRGB各信号のホワイトバラ
ンス出力特性図である。
【図5】Gray画素から生成されたG(Gray)信
号、R(Gray)信号、B(Gray)信号のホワイ
トバランス出力特性図である。
【図6】本発明が適用されるカラーフィルタ配列の変形
例を示す図である。
【図7】ベイヤー配列を示す図である。
【図8】露光時間(入射光量)に対する、G画素、R画
素、B画素の出力特性図である。
【図9】図1に示す4色の各カラーフィルタの可視光領
域における透過特性を示す図である。
【符号の説明】
1……キャリアバランス手段、2……ホワイトバランス
手段、3R……Red標準領域補間手段、3G……Gr
een標準領域補間手段、3B……Blue標準領域補
間手段、4R……Red飽和領域補間手段、4G……G
reen飽和領域補間手段、4B……Blue飽和領域
補間手段、5……輝度信号領域制御手段、6……色差信
号領域制御手段、7……輪郭補正手段、8……ガンマ補
正手段、9……輝度信号合成手段、10……色差信号合
成手段。
フロントページの続き Fターム(参考) 4M118 AA02 AA10 AB01 BA10 FA06 FA50 GC09 GC14 GC20 5C065 AA01 BB02 BB12 BB48 CC01 DD02 DD15 EE06 EE10 GG13 GG15 GG22 5C066 AA01 CA07 EA14 GA01 GA02 JA01 KD02 KD06 KM05

Claims (5)

    【特許請求の範囲】
  1. 【請求項1】 レッドフィルタが配置されたR画素と、
    グリーンフィルタが配置されたG画素と、ブルーフィル
    タが配置されたB画素と、可視光領域での感度が前記ブ
    ルーフィルタよりも小さいグレイフィルタが配置された
    Gray画素とが2次元的に配列された固体撮像素子
    と、 前記R画素、前記G画素、前記B画素のそれぞれの飽和
    していない出力信号と、前記Gray画素の出力信号と
    の比に基づいて、前記Gray画素の出力信号にゲイン
    を与えて、R(Gray)信号、G(Gray)信号、
    B(Gray)信号をそれぞれ算出するキャリアバラン
    ス手段と、 前記R(Gray)信号、前記G(Gray)信号、前
    記B(Gray)信号のそれぞれに基づいて、前記出力
    信号が飽和後の前記R画素、前記G画素、前記B画素の
    それぞれの出力信号を算出する補間手段と、 を備えていることを特徴とする撮像装置。
  2. 【請求項2】 ベイヤー方式で配列された前記レッドフ
    ィルタの水平隣の前記グリーンフィルタ、あるいは前記
    ブルーフィルタの水平隣の前記グリーンフィルタが前記
    グレイフィルタに置き換えられていることを特徴とする
    請求項1に記載の撮像装置。
  3. 【請求項3】 前記R(Gray)信号、前記G(Gr
    ay)信号、前記B(Gray)信号を用いてホワイト
    バランス処理を行うホワイトバランス手段を備えている
    ことを特徴とする請求項1に記載の撮像装置。
  4. 【請求項4】 レッドフィルタが配置されたR画素と、
    グリーンフィルタが配置されたG画素と、ブルーフィル
    タが配置されたB画素と、可視光領域での感度が前記ブ
    ルーフィルタよりも小さいグレイフィルタが配置された
    Gray画素とが2次元的に配列された固体撮像素子の
    信号処理方法であって、 前記R画素、前記G画素、前記B画素のそれぞれの飽和
    していない出力信号と、前記Gray画素の出力信号と
    の比に基づいて、前記Gray画素の出力信号にゲイン
    を与えて、R(Gray)信号、G(Gray)信号、
    B(Gray)信号をそれぞれ算出し、 前記R(Gray)信号、前記G(Gray)信号、前
    記B(Gray)信号のそれぞれに基づいて、前記出力
    信号が飽和後の前記R画素、前記G画素、前記B画素の
    それぞれの出力信号を算出することを特徴とする固体撮
    像素子の信号処理方法。
  5. 【請求項5】 前記R(Gray)信号、前記G(Gr
    ay)信号、前記B(Gray)信号を用いてホワイト
    バランス処理を行うことを特徴とする請求項4に記載の
    固体撮像素子の信号処理方法。
JP2001392548A 2001-12-25 2001-12-25 撮像装置及び固体撮像素子の信号処理方法 Expired - Fee Related JP3988457B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001392548A JP3988457B2 (ja) 2001-12-25 2001-12-25 撮像装置及び固体撮像素子の信号処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001392548A JP3988457B2 (ja) 2001-12-25 2001-12-25 撮像装置及び固体撮像素子の信号処理方法

Publications (2)

Publication Number Publication Date
JP2003199117A true JP2003199117A (ja) 2003-07-11
JP3988457B2 JP3988457B2 (ja) 2007-10-10

Family

ID=27599828

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001392548A Expired - Fee Related JP3988457B2 (ja) 2001-12-25 2001-12-25 撮像装置及び固体撮像素子の信号処理方法

Country Status (1)

Country Link
JP (1) JP3988457B2 (ja)

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007194971A (ja) * 2006-01-20 2007-08-02 Hitachi Kokusai Electric Inc 画像処理装置および画像処理方法
JP2007281785A (ja) * 2006-04-05 2007-10-25 Toppan Printing Co Ltd 撮像素子
JP2008022521A (ja) * 2006-06-14 2008-01-31 Toshiba Corp 固体撮像素子
JPWO2006064564A1 (ja) * 2004-12-16 2008-06-12 富士通株式会社 撮像装置、撮像素子および画像処理方法
JP2008172289A (ja) * 2007-01-05 2008-07-24 Toshiba Corp 固体撮像装置
JP2008187249A (ja) * 2007-01-26 2008-08-14 Toshiba Corp 固体撮像装置
JP2009010936A (ja) * 2007-06-01 2009-01-15 Fujifilm Corp 撮像装置
JP2009033737A (ja) * 2007-06-28 2009-02-12 Fujifilm Corp 信号処理装置、撮像装置、及び同時化処理プログラム
WO2009035148A1 (en) * 2007-09-14 2009-03-19 Ricoh Company, Ltd. Imaging apparatus and imaging method
JP2009089355A (ja) * 2007-09-14 2009-04-23 Ricoh Co Ltd 撮像装置および撮像方法
JP2009089358A (ja) * 2007-09-14 2009-04-23 Ricoh Co Ltd 撮像装置および撮像方法
JP2009118158A (ja) * 2007-11-06 2009-05-28 Ricoh Co Ltd 撮像装置および撮像方法
JP2009201094A (ja) * 2008-01-22 2009-09-03 Ricoh Co Ltd 撮像装置および撮像方法
JP2009225252A (ja) * 2008-03-18 2009-10-01 Ricoh Co Ltd 撮像装置および撮像方法
JP2010074813A (ja) * 2008-08-20 2010-04-02 Ricoh Co Ltd 撮像装置および撮像方法
JP2010093780A (ja) * 2008-09-11 2010-04-22 Ricoh Co Ltd 撮像装置および撮像方法
JP2010525427A (ja) * 2007-03-30 2010-07-22 イーストマン コダック カンパニー パンクロマティック画素を使用するエッジマッピング
JP2010161557A (ja) * 2009-01-07 2010-07-22 Ricoh Co Ltd 撮像装置および撮像方法
US7847857B2 (en) 2006-04-17 2010-12-07 Sony Corporation Imaging device and exposure control method for imaging device
JP2011066637A (ja) * 2009-09-16 2011-03-31 Sony Corp 固体撮像装置及び電子機器
KR20110083888A (ko) * 2010-01-15 2011-07-21 삼성전자주식회사 신호를 베이어 패턴 변환하여 보간하는 이미지 보간 방법, 및 이를 기록한 기록 매체
US7990444B2 (en) 2008-02-26 2011-08-02 Sony Corporation Solid-state imaging device and camera
WO2013089036A1 (ja) * 2011-12-16 2013-06-20 ソニー株式会社 撮像装置
JP2014109853A (ja) * 2012-11-30 2014-06-12 Honda Motor Co Ltd 車両周辺監視装置
CN104299596A (zh) * 2013-07-15 2015-01-21 联咏科技股份有限公司 图像处理方法与使图像数据不饱和的方法与图像处理装置
CN105635699A (zh) * 2014-11-06 2016-06-01 联咏科技股份有限公司 用于图像传感装置的色彩滤波阵列及其制造方法
US9401127B2 (en) 2013-07-02 2016-07-26 Novatek Microelectronics Corp. Image processing method and anti-saturation method for image data and image processing device
US9787952B2 (en) 2014-10-27 2017-10-10 Novatek Microelectronics Corp. Color filter array and manufacturing method thereof

Cited By (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2006064564A1 (ja) * 2004-12-16 2008-06-12 富士通株式会社 撮像装置、撮像素子および画像処理方法
US7773137B2 (en) 2004-12-16 2010-08-10 Fujitsu Semiconductor Limited Imaging apparatus, imaging element, and image processing method
JP4536072B2 (ja) * 2004-12-16 2010-09-01 富士通セミコンダクター株式会社 撮像装置
JP2007194971A (ja) * 2006-01-20 2007-08-02 Hitachi Kokusai Electric Inc 画像処理装置および画像処理方法
JP4666681B2 (ja) * 2006-01-20 2011-04-06 株式会社日立国際電気 画像処理装置および画像処理方法
JP2007281785A (ja) * 2006-04-05 2007-10-25 Toppan Printing Co Ltd 撮像素子
US7847857B2 (en) 2006-04-17 2010-12-07 Sony Corporation Imaging device and exposure control method for imaging device
JP2008022521A (ja) * 2006-06-14 2008-01-31 Toshiba Corp 固体撮像素子
JP2008172289A (ja) * 2007-01-05 2008-07-24 Toshiba Corp 固体撮像装置
US8040413B2 (en) 2007-01-26 2011-10-18 Kabushiki Kaisha Toshiba Solid-state image pickup device
JP2008187249A (ja) * 2007-01-26 2008-08-14 Toshiba Corp 固体撮像装置
JP2010525427A (ja) * 2007-03-30 2010-07-22 イーストマン コダック カンパニー パンクロマティック画素を使用するエッジマッピング
US8274585B2 (en) 2007-06-01 2012-09-25 Fujifilm Corporation Imaging device with brightness correction
JP2009010936A (ja) * 2007-06-01 2009-01-15 Fujifilm Corp 撮像装置
JP2009033737A (ja) * 2007-06-28 2009-02-12 Fujifilm Corp 信号処理装置、撮像装置、及び同時化処理プログラム
JP2009089358A (ja) * 2007-09-14 2009-04-23 Ricoh Co Ltd 撮像装置および撮像方法
JP2009089355A (ja) * 2007-09-14 2009-04-23 Ricoh Co Ltd 撮像装置および撮像方法
WO2009035148A1 (en) * 2007-09-14 2009-03-19 Ricoh Company, Ltd. Imaging apparatus and imaging method
US8269852B2 (en) 2007-09-14 2012-09-18 Ricoh Company, Ltd. Imaging apparatus and imaging method
JP2009118158A (ja) * 2007-11-06 2009-05-28 Ricoh Co Ltd 撮像装置および撮像方法
JP2009201094A (ja) * 2008-01-22 2009-09-03 Ricoh Co Ltd 撮像装置および撮像方法
US7990444B2 (en) 2008-02-26 2011-08-02 Sony Corporation Solid-state imaging device and camera
JP2009225252A (ja) * 2008-03-18 2009-10-01 Ricoh Co Ltd 撮像装置および撮像方法
JP2010074813A (ja) * 2008-08-20 2010-04-02 Ricoh Co Ltd 撮像装置および撮像方法
JP2010093780A (ja) * 2008-09-11 2010-04-22 Ricoh Co Ltd 撮像装置および撮像方法
JP2010161557A (ja) * 2009-01-07 2010-07-22 Ricoh Co Ltd 撮像装置および撮像方法
JP2011066637A (ja) * 2009-09-16 2011-03-31 Sony Corp 固体撮像装置及び電子機器
US8848073B2 (en) 2009-09-16 2014-09-30 Sony Corporation Solid-state imaging device and electronic apparatus
US9288410B2 (en) 2009-09-16 2016-03-15 Sony Corporation Solid-state imaging device and electronic apparatus
KR20110083888A (ko) * 2010-01-15 2011-07-21 삼성전자주식회사 신호를 베이어 패턴 변환하여 보간하는 이미지 보간 방법, 및 이를 기록한 기록 매체
KR101652722B1 (ko) 2010-01-15 2016-09-01 삼성전자주식회사 신호를 베이어 패턴 변환하여 보간하는 이미지 보간 방법, 및 이를 기록한 기록 매체
WO2013089036A1 (ja) * 2011-12-16 2013-06-20 ソニー株式会社 撮像装置
CN103999458A (zh) * 2011-12-16 2014-08-20 索尼公司 图像捕获设备
US9681059B2 (en) 2011-12-16 2017-06-13 Sony Corporation Image-capturing device
JP2014109853A (ja) * 2012-11-30 2014-06-12 Honda Motor Co Ltd 車両周辺監視装置
US9401127B2 (en) 2013-07-02 2016-07-26 Novatek Microelectronics Corp. Image processing method and anti-saturation method for image data and image processing device
CN104299596A (zh) * 2013-07-15 2015-01-21 联咏科技股份有限公司 图像处理方法与使图像数据不饱和的方法与图像处理装置
US9787952B2 (en) 2014-10-27 2017-10-10 Novatek Microelectronics Corp. Color filter array and manufacturing method thereof
US10349016B2 (en) 2014-10-27 2019-07-09 Novatek Microelectronics Corp. Color filter array and manufacturing method thereof capable of enlarging a dynamic range of an image sensing device
CN105635699A (zh) * 2014-11-06 2016-06-01 联咏科技股份有限公司 用于图像传感装置的色彩滤波阵列及其制造方法
CN105635699B (zh) * 2014-11-06 2019-10-18 联咏科技股份有限公司 用于图像传感装置的色彩滤波阵列及其制造方法

Also Published As

Publication number Publication date
JP3988457B2 (ja) 2007-10-10

Similar Documents

Publication Publication Date Title
JP3988457B2 (ja) 撮像装置及び固体撮像素子の信号処理方法
US7126633B2 (en) Solid-state image-pickup device having primary color and gray color filters and processing means thereof
US7236190B2 (en) Digital image processing using white balance and gamma correction
US9160935B2 (en) Sensor arrangement for transforming color space representation in a digital color image
US7173663B2 (en) Automatic exposure control system for a digital camera
US7414630B2 (en) Hexagonal color pixel structure with white pixels
US6924841B2 (en) System and method for capturing color images that extends the dynamic range of an image sensor using first and second groups of pixels
RU2556022C2 (ru) Устройство формирования цветного изображения
US20030184659A1 (en) Digital color image pre-processing
US8564688B2 (en) Methods, systems and apparatuses for white balance calibration
JP3989615B2 (ja) 固体撮像装置
US8111301B2 (en) Method of performing auto white balance in YCbCr color space
JP2002064831A (ja) 単板式カラーカメラの色分離回路
US20110234844A1 (en) Image sensing apparatus and method of controlling the apparatus
US7146040B2 (en) Automatic white balance technique
JP2006333113A (ja) 撮像装置
US7394929B2 (en) Digital picture image color conversion
JP4028395B2 (ja) デジタルカメラ
JP4334150B2 (ja) 画像補間装置
JP4309505B2 (ja) 撮像素子及び撮像装置
JP2002095003A (ja) 電子カメラ
JP4334151B2 (ja) 画像補間装置
JP2005086630A (ja) 撮像装置
JP4334152B2 (ja) 画像補間装置
JP2003087807A (ja) 画像データ変換装置、画像データ変換方法、画像データ変換プログラムおよび画像データ変換プログラムを記録した媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061211

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070409

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070606

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070626

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070709

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100727

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100727

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110727

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120727

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130727

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees