JP2009010936A - 撮像装置 - Google Patents

Abstract

【課題】色検出用光電変換素子と輝度検出用光電変換素子とを有する撮像素子から得られる信号のホワイトバランスをとった場合でも、輝度検出用光電変換素子から得られる輝度信号のダイナミックレンジを拡大させることのできる撮像装置を提供する。
【解決手段】Ｒ光を検出する光電変換素子１と、Ｇ光を検出する光電変換素子２と、Ｂ光を検出する光電変換素子３と、輝度成分を検出する光電変換素子４とを含む撮像素子１０を有する撮像装置であって、光電変換素子１〜３の各々から得られるＲ信号，Ｇ信号，Ｂ信号及び光電変換素子４から得られるＷ信号のホワイトバランスを調整するＷＢ調整部１２と、ホワイトバランス調整後のＲ信号，Ｇ信号，Ｂ信号から、光電変換素子１〜３の各々に対応する輝度信号である輝度信号Ｙ_ｒｇｂを生成する輝度信号生成部１４と、ホワイトバランス調整後のW信号を、輝度信号Ｙ_ｒｇｂを用いて補正するW信号補正部１５とを備える。
【選択図】図２

Description

本発明は、それぞれ異なる光の色成分を検出する少なくとも３種類の色検出用光電変換素子と、光の輝度成分を検出する輝度検出用光電変換素子とを含む撮像素子を有する撮像装置に関する。

従来、受光面上に輝度フィルタが形成された輝度検出用光電変換素子と、受光面上に光の赤色（Ｒ）成分を透過するＲカラーフィルタが形成されたＲ光電変換素子と、受光面上に光の緑色（Ｇ）成分を透過するＧカラーフィルタが形成されたＧ光電変換素子と、受光面上に光の青色（Ｂ）成分を透過するＢカラーフィルタが形成されたＢ光電変換素子とを含む撮像素子が提案されている（特許文献１参照）。

特開２００３−３１８３７５号公報

上記撮像素子の輝度フィルタを、輝度検出用光電変換素子の受光面上方に何も設けないものとした例を考える。この場合、各光電変換素子から得られる信号の感度は図８の左側に示すようになる。輝度フィルタが全ての光を透過するものであることから、輝度検出用光電変換素子からの信号についてはＷ（ホワイト）で示してある。輝度検出用光電変換素子からの信号Ｗは、受光面上にフィルタが存在しないため、感度が最大となっている。又、一般的に、Ｇの感度はＲやＢよりも高い。このため、感度は、図示したように、Ｗ＞Ｇ＞Ｒ＞Ｂとなっている。

この撮像素子から得られる信号のホワイトバランスを調整する場合、各信号の感度差を補うために、どれかの信号にレベルを合わせる必要がある。色再現性を考慮すると、Ｇ信号を基準にするのが一般的である。図８の右側に示したように、Ｇ信号に合わせるようにＲ信号とＢ信号とＷ信号にそれぞれゲインをかけると、各光電変換素子の飽和レベルは同一であるため、Ｒ信号とＢ信号の飽和レベルは、ゲインを掛けた分だけ大きくなるが、Ｗ信号の飽和レベルは、ゲインを掛けた分だけ小さくなってしまう。

本発明は、上記事情に鑑みてなされたものであり、色検出用光電変換素子と輝度検出用光電変換素子とを有する撮像素子から得られる信号のホワイトバランスをとった場合でも、輝度検出用光電変換素子から得られる輝度信号のダイナミックレンジを拡大させることのできる撮像装置を提供することを目的とする。

本発明の撮像装置は、それぞれ異なる光の色成分を検出する少なくとも３種類の色検出用光電変換素子と、光の輝度成分を検出する輝度検出用光電変換素子とを含む撮像素子を有する撮像装置であって、前記少なくとも３種類の色検出用光電変換素子の各々から得られる色信号及び前記輝度検出用光電変換素子から得られる輝度信号のレベルを調整するレベル調整手段と、前記レベル調整後の色信号から、１つの前記色検出用光電変換素子に対応させて、それぞれ異なる少なくとも３つの色信号を生成し、当該少なくとも３つの色信号を重み付け加算して、前記色検出用光電変換素子に対応する信号である合成信号を生成する合成信号生成手段と、前記レベル調整後の前記輝度信号を前記合成信号を用いて補正する輝度信号補正手段とを備える。

本発明の撮像装置は、前記輝度信号補正手段が、前記レベル調整後の前記輝度信号と、当該輝度信号に対応する前記輝度検出用光電変換素子の周囲にある前記色検出用光電変換素子に対応する前記合成信号とを所定の割合で加算して得られた信号を補正後の輝度信号とする。

本発明の撮像装置は、前記輝度信号補正手段が、前記レベル調整後の前記輝度信号の高周波成分と、当該輝度信号に対応する前記輝度検出用光電変換素子の周囲にある前記色検出用光電変換素子に対応する前記合成信号の低周波成分とを合成し、合成して得られた信号を補正後の輝度信号とする。

本発明の撮像装置は、前記輝度信号補正手段が、前記レベル調整後の前記輝度信号が飽和した際に、当該輝度信号に対応する前記輝度検出用光電変換素子の周囲にある前記色検出用光電変換素子に対応する前記合成信号が当該輝度信号のレベルよりも高い場合には、当該輝度信号の飽和レベル以上のレベルを、当該合成信号のレベルに置き換える補正を行う。

本発明の撮像装置は、前記輝度信号補正手段が、前記レベル調整後の前記輝度信号が前記輝度検出用光電変換素子の飽和レベルよりも低い所定レベルに達しており、当該輝度信号に対応する前記輝度検出用光電変換素子の周囲にある前記色検出用光電変換素子に対応する前記合成信号が、前記所定レベルよりも高い場合には、前記所定レベル以上の当該輝度信号を、当該輝度信号と、前記所定レベルよりも高い当該合成信号とを合成した信号に置き換える補正を行う。

本発明の撮像装置は、前記輝度信号が欠陥信号であった場合、前記輝度信号に対応する少なくとも前記輝度検出用光電変換素子の周囲にある前記色検出用光電変換素子に対応する前記合成信号を用いて、前記欠陥信号を補正する。

本発明の撮像装置は、前記輝度信号が欠陥信号であった場合、前記輝度信号の高周波成分を“０”とすることで前記欠陥信号を補正する。

本発明の撮像装置は、前記撮像素子が、前記色検出用光電変換素子からなる第１のグループと前記輝度検出用光電変換素子からなる第２のグループとを備え、前記第１のグループに含まれる各光電変換素子は、前記第２のグループに含まれる各光電変換素子の位置を基準にした場合に、前記第２のグループに含まれる各光電変換素子に前記第１のグループに含まれる１つの光電変換素子が隣接するように、前記基準の位置から所定の方向にずれた位置に配置されている。

本発明の撮像装置は、前記撮像素子に含まれる前記色検出用光電変換素子が、赤色成分の光を検出する光電変換素子と、緑色成分の光を検出する光電変換素子と、青色成分の光を検出する光電変換素子の３種類である。

本発明によれば、色検出用光電変換素子と輝度検出用光電変換素子とを有する撮像素子から得られる信号のホワイトバランスをとった場合でも、輝度検出用光電変換素子から得られる輝度信号のダイナミックレンジを拡大させることのできる撮像装置を提供することができる。

以下、本発明の実施形態について図面を参照して説明する。

（第一実施形態）
図１は、本発明の第一実施形態である撮像装置に搭載される撮像素子の概略平面模式図である。
図１に示す撮像素子１０は、半導体基板上の行方向Ｘとこれに直交する列方向Ｙに正方格子状に配列された多数の光電変換素子（１，２，３）からなる第１のグループと、半導体基板上の行方向Ｘと列方向Ｙに正方格子状に配列された多数の光電変換素子（４）からなる第２のグループとを備える。第１のグループを構成する光電変換素子と第２のグループを構成する光電変換素子との数は同一となっている。

第１のグループに含まれる各光電変換素子は、第２のグループに含まれる各光電変換素子４の位置を基準にした場合に、第２のグループに含まれる各光電変換素子４に第１のグループに含まれる１つの光電変換素子が隣接するように、該基準の位置から所定の方向（図１の例では、斜め左上４５度の方向）にずれた位置に配置されており、全ての光電変換素子がいわゆるハニカム状に配列された構成となっている。

光電変換素子１〜４は、それぞれ同一構造となっており、それぞれの受光面上方に形成されるフィルタによって、それぞれの検出する光の成分が異なるものとなっている。

光電変換素子１は、光の赤色（Ｒ）成分を透過するＲカラーフィルタが受光面上に形成されており、これにより、光のＲ成分を検出する光電変換素子として機能する。光電変換素子２は、光の緑色（Ｇ）成分を透過するＧカラーフィルタが受光面上に形成されており、これにより、光のＧ成分を検出する光電変換素子として機能する。光電変換素子３は、光の青色（Ｂ）成分を透過するＢカラーフィルタが受光面上に形成されており、これにより、光のＢ成分を検出する光電変換素子として機能する。光電変換素子４は、光の輝度成分と相関のある分光特性を持った輝度フィルタが受光面上に形成されており、これにより、光の輝度成分を検出する光電変換素子として機能する。

輝度フィルタは、ＮＤフィルタや、透明フィルタ、白色フィルタ、グレーのフィルタ等が該当するが、光電変換素子４の受光面の上方に何も設けずに光が直接受光面に入射する構成も、輝度フィルタを設けたということができる。

以下では、光電変換素子１から得られる赤色成分の撮像信号をＲ信号、光電変換素子２から得られる緑色成分の撮像信号をＧ信号、光電変換素子３から得られる青色成分の撮像信号をＢ信号、光電変換素子４から得られる輝度信号をＷ信号と言う。光電変換素子１〜４の各々から出力される信号の感度の大小関係は、例えば、Ｗ信号＞Ｇ信号＞Ｒ信号＞Ｂ信号となっている。

第１のグループの各光電変換素子の受光面上方に形成されたカラーフィルタはベイヤー配列となっている。つまり、第１のグループの各光電変換素子は、光電変換素子１と光電変換素子２とがこの順番でＸ方向に交互に配列されたＲＧ光電変換素子行と、光電変換素子２と光電変換素子３とがこの順番でＸ方向に交互に配列されたＧＢ光電変換素子行とが、Ｙ方向に交互に配列された配置となっている。

図２は、本発明の第一実施形態である撮像装置の概略構成を示すブロック図である。
図２に示す撮像装置は、図１に示した撮像素子１０と、撮像素子１０から出力されるアナログ信号に所定のアナログ信号処理及びデジタル変換処理を行うＡＦＥ１１と、ＡＦＥ１１から出力される信号のホワイトバランスを調整するＷＢ調整部１２と、１つの撮像点にＲＧＢ３色の色信号を持たせる同時化処理を行う同時化処理部１３と、輝度信号生成部１４と、Ｗ信号補正部１５とを少なくとも備える。

ＷＢ調整部１２は、Ｒ信号、Ｇ信号、Ｂ信号、及びＷ信号の各々に所定のホワイトバランスゲインを乗じて、各信号の感度差（レベル差）を補う調整を行う。例えば、Ｒ信号感度、Ｂ信号感度、及びＷ信号感度の各々とＧ信号感度との感度差を補うようなホワイトバランスゲインを、Ｒ信号、Ｂ信号、及びＷ信号の各々に乗じることで、ホワイトバランスの調整を行う。

尚、この調整により、Ｒ信号の飽和レベルとＢ信号の飽和レベルは、Ｇ信号の飽和レベルよりも大きくなってしまい、高輝度領域で紫色の偽色が発生してしまう。そこで、ＷＢ調整部１２は、この偽色を防ぐために、Ｒ信号の飽和レベルとＢ信号の飽和レベルを、Ｇ信号の飽和レベルにクリップする。

図３は、ＷＢ調整部１２によるホワイトバランス調整後の各信号の状態の一例を示した図である。図３に示すように、Ｒ信号とＧ信号とＢ信号の飽和レベルは同一となっており、Ｗ信号の飽和レベルはＧ信号の飽和レベルよりも低くなっている。

同時化処理部１３は、ＷＢ調整部１２から出力されるレベル調整後のＲ信号、Ｇ信号、及びＢ信号から、メモリ上の光電変換素子１〜４の各々に対応する画素位置に、該各々からは得られない色信号を、該各々の周囲の光電変換素子から得られた色信号を用いて補間生成する同時化処理を行う。

例えば、光電変換素子１に対応する画素位置には、該光電変換素子１の周囲にある光電変換素子２，３から得られたＧ信号とＢ信号を用いてＧ信号及びＢ信号を補間生成し、光電変換素子２に対応する画素位置には、該光電変換素子２の周囲にある光電変換素子１，３から得られたＲ信号とＢ信号を用いてＲ信号及びＢ信号を補間生成し、光電変換素子３に対応する画素位置には、該光電変換素子３の周囲にある光電変換素子１，２から得られたＲ信号とＧ信号を用いてＲ信号及びＧ信号を補間生成し、光電変換素子４に対応する画素位置には、該光電変換素子４の周囲にある光電変換素子１，２，３から得られたＲ信号とＧ信号とＢ信号を用いてＲ信号、Ｇ信号、及びＢ信号を補間生成する。

輝度信号生成部１４は、第１のグループの各光電変換素子に対応する画素位置に生成されたＲ信号、Ｇ信号、及びＢ信号を、下記式（１）に示すように、所定の係数（α、β、γ）で重み付け加算して、該画素位置に対応する輝度信号Ｙ_ｒｇｂを生成する。
輝度信号Ｙ_ｒｇｂ＝α×Ｒ信号＋β×Ｇ信号＋γ×Ｂ信号・・・（１）

輝度信号生成部１４での輝度信号生成処理により、図４に示すように、メモリ上の光電変換素子１，２，３の各々に対応する画素位置には、輝度信号生成部１４で生成された輝度信号Ｙ_ｒｇｂが配置され、光電変換素子４に対応する画素位置には、該光電変換素子４から得られてホワイトバランス調整されたＷ信号が配置された状態となる。

Ｗ信号補正部１５は、Ｗ信号の飽和レベルを上げてダイナミックレンジを拡大するために、Ｗ信号を、輝度信号Ｙ_ｒｇｂを用いて補正する処理を行う。Ｗ信号補正部１５は、例えば、W信号と、該W信号に対応する光電変換素子４の周囲にある光電変換素子に対応する輝度信号Ｙ_ｒｇｂとを所定の割合で加算することで、補正後の輝度信号Ｗ’を求める。

例えば、図４に示した任意の位置にあるW信号と、その左上にある輝度信号Ｙ_ｒｇｂとの平均（（W＋Ｙ_ｒｇｂ）／２）を求め、これを輝度信号W’とする。又は、図４に示した任意の位置にあるW信号とその周囲の４つの輝度信号Ｙ_ｒｇｂとに、図５に示すような係数を持つフィルタを用いて下記式（２）に示すようなフィルタ演算を行って輝度信号Ｗ’を求める。
Ｗ’＝（４×W＋１×Ｙ_ｒｇｂ＋１×Ｙ_ｒｇｂ＋１×Ｙ_ｒｇｂ＋１×Ｙ_ｒｇｂ）／（４＋１＋１＋１＋１）・・・（２）

図６は、任意の画素位置にあるＷ信号と、その画素位置の左上に近接する画素位置にある輝度信号Ｙ_ｒｇｂと、そのＷ信号の補正後の輝度信号W’との関係を示した図である。輝度信号Ｗ’は、Ｗ信号と輝度信号Ｙ_ｒｇｂとが所定の割合で加算された信号となるため、その飽和レベルは、図６に示したように、Ｇ信号の飽和レベルとＷ信号の飽和レベルとの間のレベルまで上昇する。

このように、本実施形態の撮像装置によれば、ホワイトバランス調整によって下がってしまったＷ信号の飽和レベルを、輝度信号Ｙ_ｒｇｂを用いた補正によって上昇させることができる。したがって、光電変換素子４から得られる輝度信号のダイナミックレンジを拡大することができ、この信号を利用して画像データを生成することで、白とびや黒つぶれ等を効果的に防いだ撮影が可能となる。一方で、色再現性は、ホワイトバランス調整を行ったＲ信号、Ｇ信号、及びＢ信号によって決まるが、Ｒ信号、Ｇ信号、及びＢ信号は従来と変わらないレベルを維持しているため、色再現性に影響を与えることなく、ダイナミックレンジの拡大が可能となる。

尚、以上の説明では、第１のグループに含まれる多数の光電変換素子が、ＲＧＢの３つの異なる色成分を検出する光電変換素子からなるものとしたが、これらの色成分は、これらの色成分から輝度信号が生成できれば良い。つまり、ＲＧＢの原色系に限らず、補色系の色やその他の色であっても良いし、色成分の数についても、３つに限らず、４つ以上であっても良い。

又、以上の説明では、輝度信号を得るための光電変換素子４と、色信号を得るための光電変換素子１，２，３とがそれぞれ正方格子状に配列されて、全ての光電変換素子でハニカム配列となっているが、光電変換素子の配列はこれに限らない。多数の光電変換素子が、それぞれ異なる色信号を得るための少なくとも３種類の光電変換素子と、少なくとも３種類の光電変換素子の各々に隣接して設けられた輝度信号を得るための光電変換素子とを含む構成であれば、上述した効果を得ることができる。

又、以上の説明では、最終的な画像データの生成方法までは説明していないが、この方法としては、例えば、各光電変換素子１〜４に対応する画素位置にあるＲ信号、Ｇ信号、Ｂ信号、及び輝度信号Ｙ_ｒｇｂ（又は輝度信号Ｗ’）から、各画素位置に色差信号を生成する方法や、各光電変換素子１〜３に対応する画素位置に、その周囲にある輝度信号Ｗ’を用いて輝度信号を補間生成し、補間生成した輝度信号と色信号とから各画素位置に色差信号を生成する方法等が考えられる。

又、本実施形態において、光電変換素子４に構造上何らかの欠陥があり、輝度信号Ｗが欠陥信号となっていた場合には、この欠陥信号を、その周囲にある輝度信号Ｗを用いて補正するのではなく、その周囲にある少なくとも１つの輝度信号Ｙ_ｒｇｂを用いて補正することが好ましい。例えば、輝度信号Ｗが欠陥信号であった場合、その輝度信号Ｗを、その輝度信号Ｗに対応する光電変換素子４の周囲にある４つの光電変換素子１〜３の各々に対応する輝度信号Ｙ_ｒｇｂの平均を求めて、その平均で置換する方法や、その輝度信号Ｗを、その輝度信号Ｗに対応する光電変換素子４の周囲にある４つの光電変換素子１〜３のいずれかに対応する輝度信号Ｙ_ｒｇｂで置換する方法等が考えられる。

このような欠陥補正を行うことで、輝度信号Ｗをその周囲の輝度信号Ｗで補正する場合と比べて、補正対象となる輝度信号Ｗにより近い位置にある色信号から生成された信号によって補正が行われるため、解像低下を防ぐことができる。
尚、上記欠陥補正は、Ｗ信号補正部１５が行っても良いし、撮像装置内に別途欠陥補正部を設け、ここで行うようにしても良い。

（第二実施形態）
本実施形態では、図２のＷ信号補正部１５の補正処理の第二の例について説明する。
Ｗ信号補正部１５は、例えば、W信号の高周波成分と、該W信号に対応する光電変換素子４の周囲にある光電変換素子４とは異なる種類の光電変換素子に対応する輝度信号Ｙ_ｒｇｂの低周波成分とを合成することで、輝度信号Ｗ’を求める。

輝度信号Ｗ’を生成するための式の例を以下に列挙する。以下の式において、ＬＰＦ（信号）は、（）内の信号にローパスフィルタ処理を行って得られる値であり、ＨＰＦ（信号）は、（）内の信号にハイパスフィルタ処理を行って得られる値である。
（ａ） Ｗ’＝ＬＰＦ（Ｙ_ｒｇｂ）＋（Ｗ−ＬＰＦ（Ｗ））
（ｂ） Ｗ’＝ＬＰＦ（Ｙ_ｒｇｂ−Ｗ）＋Ｗ
（ｃ） Ｗ’＝ＨＰＦ（Ｗ）＋（Ｙ_ｒｇｂ−ＨＰＦ（Ｙ_ｒｇｂ））
（ｄ） Ｗ’＝ＨＰＦ（Ｗ−Ｙ_ｒｇｂ）＋Ｙ_ｒｇｂ

上記式において、Ｙ_ｒｇｂは、例えば、Ｗ信号のある画素位置の左上に近接した画素位置にある信号を使ったり、Ｗ信号のある画素位置の周囲の４つの画素位置にある４つの信号の平均を使ったりすることができる。

Ｗ信号は、輝度成分を検出する光電変換素子４から得られたものであり、光電変換素子４は全光電変換素子のうちの半分を占める。このため、Ｗ信号の周波数特性（解像感）は輝度信号Ｙ_ｒｇｂよりも良好となるが、Ｗ信号の色再現性は輝度信号Ｙ_ｒｇｂよりも落ちる。一方、輝度信号Ｙ_ｒｇｂは、各色成分を検出する光電変換素子１，２，３から得られたものである。このため、輝度信号Ｙ_ｒｇｂの色再現性はＷ信号よりも良好となるが、輝度信号Ｙ_ｒｇｂの周波数特性はＷ信号よりも落ちる。つまり、Ｗ信号も輝度信号Ｙ_ｒｇｂもそれぞれ一長一短の特性を持っている。

本実施形態では、Ｗ信号補正部１５が、Ｗ信号の高周波成分と輝度信号Ｙ_ｒｇｂの低周波成分とを合成して輝度信号Ｗ’を生成する。つまり、解像に影響する高周波成分は周波数特性の良好なＷ信号を用い、色再現性に影響する低周波成分は輝度信号Ｙ_ｒｇｂを用いることにより、Ｗ信号の利点と輝度信号Ｙ_ｒｇｂとの利点を兼ね備えた輝度信号Ｗ’を得ることができる。又、信号の合成処理を行っているため、単純に複数の輝度信号を所定の割合で加算する第一実施形態の場合よりも、Ｗ信号の飽和レベルを上昇させることができる。

尚、Ｗ信号の高周波成分と、輝度信号Ｙ_ｒｇｂの低周波成分のそれぞれの周波数成分の範囲は、得ようとする画質に応じて最適に決定すれば良い。解像感のよい画像を得たければ、Ｗ信号の高周波成分の範囲を広めにすれば良いし、色再現性のよい画像を得たければ、輝度信号Ｙ_ｒｇｂの低周波成分の範囲を広めにすれば良い。このような範囲の設定は、撮影時に設定された画質に応じてＷ信号補正部１５が行うようにすれば良い。

又、本実施形態において、光電変換素子４に構造上何らかの欠陥があり、輝度信号Ｗが欠陥信号となっていた場合には、この輝度信号Ｗの高周波成分を“０”とすることで、欠陥補正を行うことが好ましい。このようにすることで、欠陥信号の補正を、周辺にある他の信号を用いて補間したり、他の信号で置換したりするといった演算を行う必要がなくなるため、コストを削減することができる。又、輝度信号Ｗの高周波成分を“０”にした場合でも、輝度信号Ｗ’には、輝度信号Ｙ_ｒｇｂの低周波成分が含まれるため、最低限、色再現性を確保することができる。
尚、上記欠陥補正は、Ｗ信号補正部１５が行っても良いし、撮像装置内に別途欠陥補正部を設け、ここで行うようにしても良い。

（第三実施形態）
本実施形態では、図２のＷ信号補正部１５の補正処理の第三の例について説明する。
Ｗ信号補正部１５は、ホワイトバランス調整後のＷ信号が飽和した際に、該Ｗ信号に対応する光電変換素子４の周囲にある光電変換素子４とは異なる光電変換素子に対応する輝度信号Ｙ_ｒｇｂが該Ｗ信号のレベルよりも高い場合には、該Ｗ信号の飽和レベル以上のレベルを、該輝度信号Ｙ_ｒｇｂのレベルに置き換えることで、Ｗ信号の補正を行う。

図７は、第三実施形態で説明する補正方法による補正結果を示した図である。
図７に示すように、入射光量が高輝度領域に入り、Ｗ信号が飽和しているにも関わらず、輝度信号Ｙ_ｒｇｂの信号レベルが上昇してＷ信号の飽和レベルを超えると、Ｗ信号補正部１５は、Ｗ信号の飽和レベル以上のレベルを、輝度信号Ｙ_ｒｇｂのレベルに置き換える。これにより、輝度信号Ｗ’の飽和レベルは、Ｗ信号が飽和レベル以上となる高輝度領域では、輝度信号Ｙ_ｒｇｂの飽和レベルと同じになる。したがって、第一実施形態の補正方法と比較してダイナミックレンジをより拡大することが可能となる。又、信号の置き換えによって補正を行うため、第一実施形態や第二実施形態の補正方法のような演算が不要となり、第一実施形態や第二実施形態の補正方法よりも簡単に補正を行うことができる。

Ｗ信号が所定レベルよりも大きいときに、該輝度信号Ｗを、その周囲の色信号を重み付け加算した信号で置換する方法も知られているが（例えば特開２００８−２２５２１号公報参照）、この方法では、色信号とＷ信号との分光特性の違いや被写体の色等により、Ｗ信号よりも色信号を重み付け加算した信号のレベルが低くなることがある。このため、Ｗ信号を該重み付け加算した信号で置換してしまうと、Ｗ信号のレベルが下がってしまう。例えばグラデーション部分では、レベル低下が偽輪郭となり画質が低下する。
これに対し、本実施形態によれば、飽和レベルまではＷ信号を用い、飽和レベル以上では輝度信号Ｙ_ｒｇｂを用いることで、Ｗ信号のレベル低下を防ぐことができる。
更に、Ｗ信号が飽和レベルではなく、飽和レベルよりも低い所定レベルに達している場合に、輝度信号Ｙ_ｒｇｂのレベルがその所定レベルを上回っているときには、その所定レベル以上のＷ信号を、その所定レベル以上のＷ信号と、その所定レベル以上の輝度信号Ｙ_ｒｇｂとを重み付け加算した信号に置き換えることにより、Ｗ信号を所定レベルの前後において滑らかに変化させることができ、補正によるつながりの改善が可能となる。
上記所定レベルは、求める画質に応じて適宜設定すれば良い。

尚、Ｗ信号補正部１５が判断に用いる輝度信号Ｙ_ｒｇｂは、例えば、補正対象となるＷ信号のある画素位置の左上に近接した画素位置にある信号を使ったり、補正対象となるＷ信号のある画素位置に近接する周囲４つの画素位置にある４つの信号の平均を使ったりすることができる。

尚、上述してきた飽和レベルは、撮像素子等の製造ばらつきを考慮し、実際の飽和レベルよりも低く設定する場合も含まれる。

本発明の第一実施形態である撮像装置に搭載される撮像素子の概略平面模式図 本発明の第一実施形態である撮像装置の概略構成を示すブロック図 図２に示すＷＢ調整部によるホワイトバランス調整後の各信号の状態の一例を示した図 画像データの画素位置に対応して生成された輝度信号を示す図 フィルタ係数の一例を示す図 第一実施形態で説明する補正方法による補正結果を示した図 第三実施形態で説明する補正方法による補正結果を示した図 ホワイトバランス調整処理を説明するための図

符号の説明

１，２，３ 色検出用光電変換素子
４ 輝度検出用光電変換素子
１２ ホワイトバランス調整部
１４ 輝度信号生成部
１５ W信号補正部

Claims (9)

1. それぞれ異なる光の色成分を検出する少なくとも３種類の色検出用光電変換素子と、光の輝度成分を検出する輝度検出用光電変換素子とを含む撮像素子を有する撮像装置であって、
   前記少なくとも３種類の色検出用光電変換素子の各々から得られる色信号及び前記輝度検出用光電変換素子から得られる輝度信号のレベルを調整するレベル調整手段と、
   前記レベル調整後の色信号から、１つの前記色検出用光電変換素子に対応させて、それぞれ異なる少なくとも３つの色信号を生成し、当該少なくとも３つの色信号を重み付け加算して、前記色検出用光電変換素子に対応する合成信号を生成する合成信号生成手段と、
   前記レベル調整後の前記輝度信号を前記合成信号を用いて補正する輝度信号補正手段とを備える撮像装置。
2. 請求項１記載の撮像装置であって、
   前記輝度信号補正手段が、前記レベル調整後の前記輝度信号と、当該輝度信号に対応する前記輝度検出用光電変換素子の周囲にある前記色検出用光電変換素子に対応する前記合成信号とを所定の割合で加算して得られた信号を補正後の輝度信号とする撮像装置。
3. 請求項１記載の撮像装置であって、
   前記輝度信号補正手段が、前記レベル調整後の前記輝度信号の高周波成分と、当該輝度信号に対応する前記輝度検出用光電変換素子の周囲にある前記色検出用光電変換素子に対応する前記合成信号の低周波成分とを合成し、合成して得られた信号を補正後の輝度信号とする撮像装置。
4. 請求項１記載の撮像装置であって、
   前記輝度信号補正手段が、前記レベル調整後の前記輝度信号が飽和した際に、当該輝度信号に対応する前記輝度検出用光電変換素子の周囲にある前記色検出用光電変換素子に対応する前記合成信号が当該輝度信号のレベルよりも高い場合には、当該輝度信号の飽和レベル以上のレベルを、当該合成信号のレベルに置き換える補正を行う撮像装置。
5. 請求項１記載の撮像装置であって、
   前記輝度信号補正手段が、前記レベル調整後の前記輝度信号が前記輝度検出用光電変換素子の飽和レベルよりも低い所定レベルに達しており、当該輝度信号に対応する前記輝度検出用光電変換素子の周囲にある前記色検出用光電変換素子に対応する前記合成信号が、前記所定レベルよりも高い場合には、前記所定レベル以上の当該輝度信号を、当該輝度信号と、前記所定レベルよりも高い当該合成信号とを合成した信号に置き換える補正を行う撮像装置。
6. 請求項１記載の撮像装置であって、
   前記輝度信号が欠陥信号であった場合、前記輝度信号に対応する少なくとも前記輝度検出用光電変換素子の周囲にある前記色検出用光電変換素子に対応する前記合成信号を用いて、前記欠陥信号を補正する撮像装置。
7. 請求項３記載の撮像装置であって、
   前記輝度信号が欠陥信号であった場合、前記輝度信号の高周波成分を“０”とすることで前記欠陥信号を補正する撮像装置。
8. 請求項１〜７のいずれか１項記載の撮像装置であって、
   前記撮像素子が、前記色検出用光電変換素子からなる第１のグループと前記輝度検出用光電変換素子からなる第２のグループとを備え、
   前記第１のグループに含まれる各光電変換素子は、前記第２のグループに含まれる各光電変換素子の位置を基準にした場合に、前記第２のグループに含まれる各光電変換素子に前記第１のグループに含まれる１つの光電変換素子が隣接するように、前記基準の位置から所定の方向にずれた位置に配置されている撮像装置。
9. 請求項１〜８のいずれか１項記載の撮像装置であって、
   前記撮像素子に含まれる前記色検出用光電変換素子が、赤色成分の光を検出する光電変換素子と、緑色成分の光を検出する光電変換素子と、青色成分の光を検出する光電変換素子の３種類である撮像装置。

Images