JP2010245851A - 固体撮像装置及びホワイトバランス処理方法 - Google Patents

Abstract

【課題】極端な色温度の照明条件であっても適切なホワイトバランス処理を行う。
【解決手段】本発明に係る固体撮像装置１００は、ＸＹＺ表色系のＸ信号１１２とＹ信号１１３とＺ信号１１４とを出力する撮像素子１０２と、ホワイトバランス処理部１０５とを備える。ホワイトバランス処理部１０５は、Ｘ信号１３５から、Ｘ信号１３５に含まれる赤色信号成分１３５Ｂ及び青色信号成分１３５Ａの一方に相当するＢ信号１７２を減算することにより、他方に相当する（Ｘ−Ｂ）信号１７１を算出する減算部１６１と、（Ｘ−Ｂ）信号１７１に係数Ｋ１が乗算された（Ｘ−Ｂ）信号１７３を生成する乗算部１６３と、Ｂ信号１７２に係数Ｋ３を乗算することによりＢ信号１７４を生成する乗算部１６６と、（Ｘ−Ｂ）信号１７３とＢ信号１７４とを加算することにより補正後のＸ信号１３８を生成する加算部１６７とを備える。
【選択図】図１

Description

本発明は、固体撮像装置及びホワイトバランス処理方法に関し、特に、ＸＹＺ表色系のＸ信号とＹ信号とＺ信号とを出力する撮像素子と、当該Ｘ信号、Ｙ信号及びＺ信号にホワイトバランス処理を行うホワイトバランス処理部とを備える固体撮像装置に関する。

人間の目の分光感度をＲＧＢ三原色で表現すると、図２２に示すような等色関数と呼ばれる負の感度を持つ分光感度となる。一方、撮像素子には、ＲＧＢ三原色を透過させるための色フィルタが積層されており、当該色フィルタの分光感度は図２３のようになる。図２３に示すように撮像素子の感度は正の値をとり、図２２の感度とは異なっている。つまり、従来の撮像素子で撮像した画像データでは、図２２に示す等色関数を完全には表現できない。

そこで図２４に示すようなＸＹＺフィルタという概念の色フィルタ特性が提案され、また、規格化されている。このＸＹＺフィルタは、フィルタの透過率を全て正の値とし、さらに人間の目の赤色を感じる視神経が青緑色に対して負の感度を持つことを考慮した色フィルタ特性である。すなわちＸＹＺ表色系の信号を線形変換することで図２２の等色関数を表現できる。

このように、ＸＹＺ表色系の信号を線形変換することにより、視感度の感度特性に近づけることができる。すなわち、ＸＹＺフィルタの感度特性は、ルーター条件に近い。このことにより、ＸＹＺフィルタを用いることで、正しく色再現できる上に、線形変換において少ない変換量で計算がすむために演算によるノイズの拡大が低減できる。

また、ディスプレイ、及びカラープリンタ等の画像出力装置で出力可能な色空間は、ＲＧＢ等の３原色のような正の出力値である。これにより、画像出力装置は、色度図においてスペクトル軌跡内の三角形内の色のみを表現できる。そのため、画像出力装置が表現できる色域は人間の感じる色域より狭くなるという問題がある。

一方、近年、ＬＥＤなどの発色材料の進歩により、発光原色を増やした画像出力装置、例えば６原色で出画するディスプレイなども登場しつつある（例えば非特許文献１参照。）。こういった多原色でのディスプレイで表現可能な色域は、色度図において原色の数だけ頂点を持つような多角形になる。つまり、多原色でのディスプレイでは表現可能な色域は、人間が感じることのできる、スペクトル軌跡内の色域に近づく。このように、多原色の画像出力装置の登場により、画像出力装置が表現可能な色空間がさらに拡大している。

逆に、このような画像出力装置の性能を引き出すためには、撮影装置側で被写体に対する人間が感じる色域に過不足の少ない効率的な撮像を行えるフィルタが必要である。すなわち、視感度である等色関数を線形変換して得られる、全波長で正の感度を持つＸＹＺフィルタを用いて撮像する撮像素子が最も効率的に全ての色を捉えることができる。

例えば、ＸＹＺフィルタを撮像素子に簡易に作成できるフィルタ構造が特許文献１に記載されている。特許文献１では、シリコン酸化膜とチタン酸化膜との積層膜によりＸＹＺフィルタを実現している。また、特許文献１記載のＸＹＺフィルタは、この積層膜を少ない膜数で実現できる。さらに、特許文献１記載のＸＹＺフィルタは、Ｘフィルタ、Ｙフィルタ、及びＺフィルタのそれぞれにおいて膜厚が異なる膜の数を少なくできる。

一方で、撮像装置では、光源によって原色信号に補正係数を乗算するホワイトバランス処理を行う必要がある。

以下、従来のＲＧＢ原色系のカラーフィルタを配置した撮像素子について説明する。

図２５及び図２６は、異なる照明条件におけるＲＧＢフィルタの分光感度特性を示す図である。

例えば色温度が６０００Ｋ前後の色温度の高い照明条件であれば図２５に示すように、ＲＧＢフィルタの分光感度特性は、青色領域の感度が高く、かつ、赤色領域の感度が低くなる。この照明条件で取得されたＲ、Ｇ、Ｂそれぞれの信号量に対して適切な補正係数、例えば１．３、１、０．８などを掛けることで白色が白色と表現される。言い換えると、Ｒ、Ｇ、Ｂそれぞれの信号量に対して適切な補正係数を掛けることにより、図２５に示す分光感度特性を図２３に示す分光感度特性に近づける。この処理は、ホワイトバランス処理と呼ばれる。

また、例えば色温度が３０００Ｋ前後の色温度の低い照明条件であれば図２６に示すように、ＲＧＢフィルタの分光感度特性は、青色領域の感度が低く、かつ、赤色領域の感度が高くなる。この場合には、取得されたＲ、Ｇ、Ｂそれぞれの信号量に補正係数、０．８、１、１．３などを乗算することで同様に白色を白色と表現できる。

一方、Ｘフィルタの透過率は青色領域と赤色領域とに透過率を有している。このようなＸＹＺフィルタでは照明環境によってＸフィルタを透過した光の量が変化してしまうという課題がある。

図２７及び図２８は、異なる照明条件におけるＸＹＺフィルタの分光感度特性を示す図である。また、Ｘフィルタの透過波長領域のうち青色領域をＡと示し、赤色領域をＢと示している。

ここで、ＸフィルタのＡ部分、及びＢ部分の透過率に起因するそれぞれの積分信号量をＳＡ、及びＳＢとする。例えば、図２７に示すように色温度が６０００Ｋ前後と高い場合、色温度が４０００Ｋ程度の光源であった場合と比較してＳＡは大きくなり、ＳＢは小さくなる。逆に図２８に示すように色温度は３０００Ｋ前後と低い場合、ＳＡは小さくなり、ＳＢは大きくなる。

ここで、撮像素子により出力されるＸフィルタを透過した光に対応する信号量は、常にＳＡとＳＢとが加算された信号量である。よって、ＳＡとＳＢとの大きさの違いが、被写体反射率による違いにより生じているのか、光源の違いにより生じているのかが不明となる。これにより、色の不一致が発生してしまう。結果的に、ホワイトバランス処理に用いる適正な係数をＸ、Ｙ、Ｚ信号に乗算しようとしてもＸ信号に関しては正しく補正できないという課題が生じる。

これに対して、この課題を改善する方法が特許文献２において提案されている。特許文献２に記載の撮像素子は、フィルタの点を色度図上で最適な位置に置く。具体的には、スペクトル軌跡に外接し、また、実質的にほぼ正の透過率で、かつＸフィルタのＳＡの部分をＳＢに対して３パーセント又は１パーセントまで低く設定したフィルタを用いる。このように、特許文献２記載の撮像素子は、ＸフィルタのＳＡの部分の影響はきわめて小さくすることにより、色温度補正を容易に行える。

長瀬章裕、「６原色表示技術を用いた広色域ＰＴＶの開発」、電子情報通信学会技術研究報告、ＥＩＤ、電子ディスプレイ、社団法人電子情報通信学会、２００７、ｖｏｌ．１０７、ｎｏ．２４７、ｐｐ．２１−２４

特願２００７−１５３２８９号公報 特開２００４−１５１９５２号公報

しかしながら、特許文献２記載の撮像素子では、色温度が極端に高い時、又は低い時には実質的にＳＡとＳＢとの比率は正しく認識できない。これにより、特許文献２記載の撮像素子は、正しくホワイトバランス処理できないという課題がある。また、特許文献２記載のフィルタは、ＸＹＺフィルタ特性から外れた特性になる。つまり、特許文献２記載のフィルタは、ルーター条件から外れたフィルタとなるため、色域の効率が落ちてしまうという課題がある。

本発明は、上記課題に鑑み、ＸＹＺフィルタを備える固体撮像装置であって、極端な色温度の照明条件であっても適切なホワイトバランス処理を行える固体撮像装置、及び極端な色温度の照明条件であっても適切なホワイトバランス処理を行えるホワイトバランス処理方法を提供することを目的とする。

上記目的を達成するために、本発明に係る固体撮像装置は、ＸＹＺ表色系のＸ信号とＹ信号とＺ信号とを出力する撮像素子と、前記Ｘ信号、前記Ｙ信号及び前記Ｚ信号にホワイトバランス処理を行うことにより、補正後Ｘ信号、補正後Ｙ信号及び補正後Ｚ信号を生成するホワイトバランス処理部とを備える固体撮像装置であって、前記Ｘ信号は、赤色領域に対応する赤色信号成分と、青色領域に対応する青色信号成分とを含み、前記ホワイトバランス処理部は、前記Ｘ信号から、前記赤色信号成分及び前記青色信号成分の一方に相当する第１信号を減算することにより、前記赤色信号成分及び前記青色信号成分の他方に相当する第２信号を算出する第１減算部と、前記第１信号に第１係数が乗算された補正後第１信号を生成する第１乗算部と、前記第２信号に前記第１係数と異なる第２係数を乗算することにより補正後第２信号を生成する第２乗算部と、前記Ｙ信号に第３係数を乗算することにより前記補正後Ｙ信号を生成する第３乗算部と、前記Ｚ信号に第４係数を乗算することにより前記補正後Ｚ信号を生成する第４乗算部と、前記補正後第１信号と前記補正後第２信号とを加算することにより前記補正後Ｘ信号を生成する第１加算部とを備える。

この構成によれば、本発明に係る固体撮像装置は、Ｘ信号に含まれる青色信号成分と赤色信号成分とを分離したうえで、分離した青色信号成分と赤色信号成分とに異なる係数を乗算したうえで加算することにより、Ｘ信号のホワイトバランス処理を行う。これにより、本発明に係る固体撮像装置は、極端な色温度の照明条件であってもホワイトバランス処理を高精度で行える。

また、前記ホワイトバランス処理部は、さらに、前記Ｚ信号に第５係数を乗算することにより、前記青色信号成分に相当する前記第１信号を生成する第５乗算部を備え、前記第１減算部は、前記Ｘ信号から、前記第５乗算部により生成された前記第１信号を減算することにより、前記赤色信号成分に相当する前記第２信号を算出してもよい。

この構成によれば、本発明に係る固体撮像装置は、Ｚ信号を用いてＸ信号に含まれる青色信号成分を生成する。これにより、本発明に係る固体撮像装置は、Ｘ信号、Ｙ信号及びＺ信号のみを用いて、当該Ｘ信号、Ｙ信号及びＺ信号のホワイトバランス処理を行える。

また、前記第１乗算部は、前記第１信号に前記第１係数を乗算することにより前記補正後第１信号を生成してもよい。

また、前記第１係数は、前記第４係数と同じ値でもよい。

また、前記固体撮像装置は、さらに、前記Ｘ信号、前記Ｙ信号及び前記Ｚ信号を用いて、輝度信号を生成する輝度演算部を備え、前記輝度演算部は、前記Ｚ信号に第６係数を乗算することにより、前記青色信号成分に相当する第３信号を生成する第６乗算部と、前記Ｘ信号から前記第３信号を減算することにより、前記赤色信号成分に相当する第４信号を生成する第２減算部と、前記第４信号に第７係数を乗算することにより第５信号を生成する第７乗算部と、前記Ｙ信号に第８係数を乗算することにより第６信号を生成する第８乗算部と、前記Ｚ信号に第９係数を乗算することにより第７信号を生成する第９乗算部と、前記第５信号と前記第６信号と前記第７信号とを加算することにより、前記輝度信号を生成する第２加算部とを備えてもよい。

この構成によれば、本発明に係る固体撮像装置は、Ｘ信号、Ｙ信号及びＺ信号を用いて、適切な輝度を算出できる。

また、前記撮像素子は、さらに、前記赤色信号成分に相当する、ＲＧＢ表色系のＲ信号を出力し、前記第１減算部は、前記Ｘ信号から、前記Ｒ信号を減算することにより前記青色信号成分に相当する前記第２信号を算出し、前記第１乗算部は、前記第１信号に前記第１係数を乗算することにより前記補正後第１信号を生成してもよい。

この構成によれば、本発明に係る固体撮像装置は、Ｘ信号からＲ信号を減算することにより、Ｘ信号に含まれる青色信号を生成できる。

また、前記撮像素子は、前記Ｘ信号を生成する複数のＸ画素と、前記Ｙ信号を生成する複数のＹ画素と、前記Ｚ信号を生成する複数のＺ画素と、前記Ｒ信号を生成する複数のＲ画素とを備え、前記Ｙ画素の数は、前記Ｚ画素の数より多く、前記Ｚ画素の数は、前記Ｘ画素の数より多く、前記Ｘ画素の数は、前記Ｒ画素の数より多い、又は等しくてもよい。

この構成によれば、輝度への影響が大きい緑色成分を主成分とするＹ信号を生成するＹ画素の数が最も多くなる。また、Ｘ信号及びＲ信号は、共に赤色領域に対応するので、Ｘ信号及びＲ信号を用いて赤色の輝度成分を算出できる。一方、青色の輝度成分は、Ｚ信号のみを用いて算出される。よって、Ｚ画素より、Ｘ画素及びＲ画素の数をそれぞれ少なくする。以上の画素配置により、精度良く輝度を算出できる。

また、前記撮像素子は、４画素×４画素の単位画素セルが規則的に配置された画素アレイを有し、前記単位画素セルは、２個の前記Ｘ画素と、８個の前記Ｙ画素と、４個の前記Ｚ画素と、２個の前記Ｒ画素とを含み、前記単位画素セルにおいて、各Ｙ画素に斜め方向に隣接する画素は全てＹ画素であり、前記単位画素セルにおいて、各Ｚ画素から横方向に２画素隣の画素、及び縦方向に２画素隣の画素は全てＺ画素であり、前記単位画素セルにおいて、各Ｘ画素から斜め方向へ２画素隣の画素は全てＸ画素であり、前記単位画素セルにおいて、各Ｒ画素から斜め方向へ２画素隣の画素は全てＲ画素であってもよい。

また、前記撮像素子は、２画素×２画素の単位画素セルが規則的に配置された画素アレイを有し、前記単位画素セルは、前記Ｘ信号を生成する１個のＸ画素と、前記Ｙ信号を生成する１個のＹ画素と、前記Ｚ信号を生成する１個のＺ画素と、前記Ｒ信号を生成する１個のＲ画素とを含んでもよい。

この構成によれば、単位画素セルが４画素で構成される。これにより、空間的に画素種による違いがないので、信号の取り扱いが容易になる。

また、前記第２係数は、前記第４係数と同じ値でもよい。

また、前記固体撮像装置は、さらに、前記Ｘ信号、前記Ｙ信号、前記Ｚ信号及び前記Ｒ信号を用いて、輝度信号を生成する輝度演算部を備え、前記輝度演算部は、前記Ｚ信号に第５係数を乗算することにより、前記青色信号成分に相当する第３信号を生成する第５乗算部と、前記Ｘ信号から前記第３信号を減算することにより、前記赤色信号成分に相当する第４信号を生成する第２減算部と、前記第４信号に第６係数を乗算することにより第５信号を生成する第６乗算部と、前記Ｙ信号に第７係数を乗算することにより第６信号を生成する第７乗算部と、前記Ｚ信号に第８係数を乗算することにより第７信号を生成する第８乗算部と、前記Ｒ信号に第９係数を乗算することにより第８信号を生成する第９乗算部と、前記第５信号と前記第６信号と前記第７信号と前記第８信号とを加算することにより、前記輝度信号を生成する第２加算部とを備えてもよい。

この構成によれば、本発明に係る固体撮像装置は、Ｘ信号、Ｙ信号、Ｚ信号及びＲ信号を用いて、適切な輝度を算出できる。

また、前記ホワイトバランス処理部は、さらに、被写界の色温度を判定する色温度判定部と、前記色温度判定部により判定された色温度が予め定められた範囲外の場合、当該ホワイトバランス処理部が前記ホワイトバランス処理を行った前記補正後Ｘ信号、前記補正後Ｙ信号及び前記補正後Ｚ信号を出力し、前記色温度判定部により判定された色温度が予め定められた範囲内の場合、前記Ｘ信号、前記Ｙ信号及び前記Ｚ信号をそのまま前記補正後Ｘ信号、前記補正後Ｙ信号及び前記補正後Ｚ信号として出力する切り替え部とを備えてもよい。

この構成によれば、本発明に係る固体撮像装置は、色温度が所定の範囲内にある場合には、ホワイトバランス処理を行わないことにより、演算によるノイズを低減できる。

なお、本発明は、このような固体撮像装置として実現できるだけでなく、固体撮像装置が備えるホワイトバランス処理部に含まれる特徴的な手段をステップとするホワイトバランス処理方法として実現したり、そのような特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。

さらに、本発明は、このような固体撮像装置の機能の一部又は全てを実現する半導体集積回路（ＬＳＩ）として実現したり、このような固体撮像装置を備えるカメラとして実現したりできる。

以上より、本発明は、ＸＹＺフィルタを備える固体撮像装置であって、極端な色温度の照明条件であっても適切なホワイトバランス処理を行える固体撮像装置、及び極端な色温度の照明条件であっても適切なホワイトバランス処理を行えるホワイトバランス処理方法を提供できる。

本発明の実施の形態１に係る固体撮像装置の構成を示すブロック図である。 本発明の実施の形態１に係る固体撮像装置の画素配列の一例を示す図である。 本発明の実施の形態１に係る信号処理部の構成を示すブロック図である。 本発明の実施の形態１に係るホワイトバランス処理部の構成を示す図である。 本発明の実施の形態１に係るホワイトバランス処理を説明するための図である。 本発明の実施の形態１に係るホワイトバランス処理部の変形例の構成を示す図である。 本発明の実施の形態１に係る輝度演算部の構成を示す図である。 本発明の実施の形態１に係る輝度演算処理を説明するための図である。 本発明の実施の形態１に係る固体撮像装置による処理の流れを示すフローチャートである。 本発明の実施の形態１に係るホワイトバランス処理の流れを示すフローチャートである。 本発明の実施の形態２に係る固体撮像装置の構成を示すブロック図である。 本発明の実施の形態２に係る固体撮像装置の画素配列の一例を示す図である。 本発明の実施の形態２に係る固体撮像装置の画素配列の一例を示す図である。 本発明の実施の形態２に係る固体撮像装置の画素配列の一例を示す図である。 本発明の実施の形態２に係る固体撮像装置の画素配列の一例を示す図である。 本発明の実施の形態２に係る信号処理部の構成を示すブロック図である。 本発明の実施の形態２に係るホワイトバランス処理部の構成を示す図である。 本発明の実施の形態２に係るホワイトバランス処理を説明するための図である。 本発明の実施の形態２に係る輝度演算部の構成を示す図である。 本発明の実施の形態２に係る輝度演算処理を説明するための図である。 本発明の実施の形態２に係るホワイトバランス処理の流れを示すフローチャートである。 人間の目の分光感度をＲＧＢ三原色で表現した等色関数を示す図である。 ＲＧＢ三原色を透過させる色フィルタの分光感度を示す図である。 ＸＹＺフィルタの透過特性を示す図である。 高色温度時のＲＧＢフィルタの分光感度特性を示す図である。 低色温度時のＲＧＢフィルタの分光感度特性を示す図である。 高色温度時のＹＸＺフィルタの分光感度特性を示す図である。 低色温度時のＹＸＺフィルタの分光感度特性を示す図である。

以下、本発明に係る実施の形態について、図面を参照しながら説明する。なお、本発明について、以下の実施の形態及び添付の図面を用いて説明を行うが、これは例示を目的としており、本発明がこれらに限定されることを意図しない。

（実施の形態１）
本発明の実施の形態１に係る固体撮像装置は、Ｚ信号を用いてＸ信号の青色領域に相当する信号を生成する。さらに、本発明の実施の形態１に係る固体撮像装置は、Ｘ信号から当該青色領域に相当する信号を減算することで、Ｘ信号の赤色領域に相当する信号を生成する。また、本発明の実施の形態１に係る固体撮像装置は、生成したＸ信号の青色領域に相当する信号と、赤色領域に相当する信号とに異なる係数を乗算したうえで加算することにより、Ｘ信号のホワイトバランス処理を行う。これにより、本発明の実施の形態１に係る固体撮像装置は、極端な色温度の照明条件であってもホワイトバランス処理を高精度で行える。

図１は、本発明の実施の形態１に係る固体撮像装置１００の全体の構成を示すブロック図である。

図１に示す固体撮像装置１００は、例えば、デジタルスチルカメラ、又はデジタルビデオカメラ等に搭載される。この固体撮像装置１００は、入射光１１０を電気信号に変換することにより、出力画像信号１１１を生成する。また、固体撮像装置１００は、レンズ１０１と、撮像素子１０２と、信号処理部１０３と、データ変換部１０４とを備える。

レンズ１０１は、固体撮像装置１００に入射された入射光１１０を撮像素子１０２に集光する。

撮像素子１０２は、レンズ１０１により集光された入射光１１０を光電変換することにより、Ｘ信号１１２、Ｙ信号１１３及びＺ信号１１４を生成し、生成したＸ信号１１２、Ｙ信号１１３及びＺ信号１１４を出力する。撮像素子１０２は、例えば、ＣＣＤイメージセンサ又はＭＯＳイメージセンサである。

この時、被写体の反射率と、照明の分光強度と、入射光１１０が通過する光の経路に存在する光学素子の透過率との積で決定される分光特性の積分量が画素毎に光電変換される光の情報である。また、入射光１１０が通過する光の経路に存在する光学素子とは、レンズ１０１、撮像素子１０２が備える保護ガラス、撮像素子１０２が備える赤外カットフィルタ、撮像素子１０２が備えるＸ、Ｙ、Ｚフィルタ等である。この光の情報は画素の光電変換特性に従って電気信号へ変換される。

図２は、撮像素子１０２の画素の配列の一例を示す図である。また、図２では、４画素×４画素の１６画素の配列例を示す。例えば、撮像素子１０２は、図２に示すように２画素×２画素の４画素の単位画素セルが規則的に配置された画素アレイを有する。この単位画素セルは、１つのＸ画素３０１と、２つのＹ画素３０２と、１つのＺ画素３０３とを含む。また、２つのＹ画素は単位画素セルの対角線上に配置される。

ここで、Ｘ画素３０１は、ＸＹＺ表色系のＸフィルタを備え、当該Ｘフィルタを透過した光を光電変換することによりＸ信号１１２を生成する。また、Ｙ画素３０２は、ＸＹＺ表色系のＹフィルタを備え、当該Ｙフィルタを透過した光を光電変換することによりＹ信号１１３を生成する。また、Ｚ画素３０３は、ＸＹＺ表色系のＺフィルタを備え、当該Ｚフィルタを透過した光を光電変換することによりＺ信号１１４を生成する。

また、例えば、これらＸフィルタ、Ｙフィルタ、及びＺフィルタはそれぞれ、図２４に示すＸ、Ｙ、Ｚのフィルタ透過率を有する。

ここで、Ｘフィルタ、Ｙフィルタ及びＺフィルタの分光感度特性は、ＣＩＥ（国際照明委員会）により定められたＸＹＺ表色系の分光感度特性に相当する。なお、当該Ｘフィルタ、Ｙフィルタ及びＺフィルタは、ＣＩＥにより定められたＸＹＺ表色系の分光感度特性を完全に再現するものでなくてもよく、類似する分光感度特性を有するものでよいことは言うまでもない。つまり、Ｙフィルタは、緑色領域の光を透過するフィルタであり、Ｚフィルタは、青色領域の光を透過するフィルタである。また、Ｘフィルタは、青色領域の光と赤色領域の光とを透過するフィルタである。また、Ｘフィルタの青色領域の透過率のピークは、Ｚフィルタの透過率のピークより低い。例えば、Ｘフィルタの青色領域の透過率のピークは、Ｚフィルタの透過率のピークの７０％以下であることが好ましく、１０％以上かつ５０％以下であることがより好ましい。また、Ｘフィルタの青色領域の透過率のピークは、当該Ｘフィルタの赤色領域の透過率のピークより低い。例えば、Ｘフィルタの青色領域の透過率のピークは、当該Ｘフィルタの赤色領域の透過率のピークの７０％以下であることが好ましく、１０％以上かつ５０％以下であることがより好ましい。

信号処理部１０３は、撮像素子１０２により出力されたＸ信号１１２、Ｙ信号１１３及びＺ信号１１４に所定の信号処理を施したうえで、Ｒ信号１１５、Ｇ信号１１６及びＢ信号１１７に変換する。この信号処理部１０３は、ホワイトバランス処理部１０５を備える。

データ変換部１０４は、信号処理部１０３により出力されたＲ信号１１５、Ｇ信号１１６及びＢ信号１１７を１つの出力画像信号１１１に変換する。

以下、信号処理部１０３の詳細な構成について説明する。

図３は、信号処理部１０３の構成を示すブロック図である。図３に示すように、信号処理部１０３は、ＯＢ（オプティカル・ブラック）処理部１２１と、輝度演算部１２２と、色処理部１２３と、原信号生成部１２４と、ガンマ処理部１２５とを備える。

ＯＢ処理部１２１は、Ｘ信号１１２、Ｙ信号１１３及びＺ信号１１４の黒レベルを補正する。具体的には、ＯＢ処理部１２１は、Ｘ信号１１２、Ｙ信号１１３及びＺ信号１１４のそれぞれから、暗電流に相当する信号レベルを減算することにより、Ｘ信号１３１、Ｙ信号１３２及びＺ信号１３３を生成する。ここで、暗電流に相当する信号レベルとは、例えば、撮像領域の周辺領域に配置された、遮光された画素群の出力の平均値、又は当該平均値に近い値である。また、ＯＢ処理部１２１は、撮像素子の温度に応じて、この信号レベルを変化させてもよい。

色処理部１２３は、ＯＢ処理部１２１により生成されたＸ信号１３１、Ｙ信号１３２及びＺ信号１３３に色処理を行うことにより、Ｃｒ信号１４６及びＣｂ信号１４７を生成する。

この色処理部１２３は、ＬＰＦ（低域通過フィルタ）１２６と、ホワイトバランス処理部１０５と、補正部１２７と、変換部１２８と、ゲイン調整部１２９とを備える。なお、色処理部１２３は、少なくともホワイトバランス処理部１０５を備えればよく、他の処理部を必ずしも備えなくてもよい。

ＬＰＦ１２６は、Ｘ信号１３１、Ｙ信号１３２及びＺ信号１３３の空間周波数を低下させることにより、Ｘ信号１３５、Ｙ信号１３６及びＺ信号１３７を生成する。例えば、ＬＰＦ１２６は、ある着目画素に対しての周辺の同種類のフィルタ（Ｘフィルタ、Ｙフィルタ、Ｚフィルタ）の画素出力の平均値を算出することにより、Ｘ信号１３５、Ｙ信号１３６及びＺ信号１３７を生成する。なお、ＬＰＦ１２６は、周辺の同種類のフィルタの画素出力に、着目している画素からの距離に対して比重をかけたうえで、平均値を算出してもよい。なお、ＬＰＦ１２６は、色処理部１２３の初段にあることが好ましいが、色処理部１２３内であればどの段に配置されてもよい。

ホワイトバランス処理部１０５は、ＬＰＦ１２６により生成されたＸ信号１３５、Ｙ信号１３６及びＺ信号１３７に、照明条件に応じた補正係数を乗算することにより、白レベルを補正する、所謂ホワイトバランス処理を行うことにより、Ｘ信号１３８、Ｙ信号１３９、Ｚ信号１４０を生成する。

図４は、ホワイトバランス処理部１０５の構成を示す図である。図４に示すようにホワイトバランス処理部１０５は、演算部１６０と、切り替え部１８０と、色温度判定部１８５とを備える。

演算部１６０は、Ｘ信号１３５、Ｙ信号１３６及びＺ信号１３７に、ホワイトバランス処理を行うことにより、Ｘ信号１３８、Ｙ信号１３９、Ｚ信号１４０を生成する。この演算部１６０は、減算部１６１と、乗算部１６２〜１６６と、加算部１６７とを備える。

図５は、演算部１６０によるホワイトバランス処理の説明図である。なお、図５は色温度が低い時を想定した図であるが、色温度が高い時であっても、同様にホワイトバランス処理を行うことができる。

また、図５には、色温度の低い照明が被写体に照射されている場合の、Ｘ信号１３５、Ｙ信号１３６及びＺ信号１３７の一例を示す。言い換えると、図５に示すＸ信号１３５、Ｙ信号１３６及びＺ信号１３７は、Ｘ画素３０１、Ｙ画素３０２、及びＺ画素３０３の分光感度に相当する。

また、Ｘ信号１３５は、青色領域（ＲＧＢ表色系のＢ信号）に対応する青色信号成分１３５Ａと、赤色領域（ＲＧＢ表色系のＲ信号）に対応する赤色信号成分１３５Ｂとを含む。

乗算部１６２は、Ｚ信号１３７に係数Ｋ４を乗算することにより、Ｂ信号１７２を生成する。ここで、Ｂ信号１７２は、Ｘ信号１３５の青色信号成分１３５Ａに相当する信号である。言い換えると、係数Ｋ４は、Ｚ信号１３７を青色信号成分１３５Ａで除算した値である。ここで、Ｘフィルタの青色領域の透過率とＺフィルタの透過率との比率は色温度に依存せずに一定である。よって、乗算部１６２は、色温度に依存しない一定の係数Ｋ４を、Ｚ信号１３７に乗算することにより、青色信号成分１３５Ａに相当するＢ信号１７２を生成できる。

減算部１６１は、Ｘ信号１３５からＢ信号１７２を減算することにより、（Ｘ−Ｂ）信号１７１を生成する。ここで、（Ｘ−Ｂ）信号１７１は、Ｘ信号１３５の赤色信号成分１３５Ｂに相当する。

乗算部１６３は、（Ｘ−Ｂ）信号１７１に係数Ｋ１を乗算することにより、（Ｘ−Ｂ）信号１７３を生成する。

乗算部１６４は、Ｙ信号１３６に係数Ｋ２を乗算することにより、Ｙ信号１３９を生成する。

乗算部１６５は、Ｚ信号１３７に係数Ｋ３を乗算することにより、Ｚ信号１４０を生成する。

乗算部１６６は、Ｂ信号１７２に係数Ｋ３を乗算することにより、Ｂ信号１７４を生成する。また、乗算部１６５及び乗算部１６６は共に、青色領域の信号に対して係数を乗算するので、同一の係数Ｋ３を用いる。

加算部１６７は、（Ｘ−Ｂ）信号１７３とＢ信号１７４とを加算することにより、Ｘ信号１３８を生成する。

色温度判定部１８５は、被写界の色温度を判定する。具体的には、色温度判定部１８５は、色温度検出素子で検出された色温度を用いて色温度を判定する。または、色温度判定部１８５は、Ｙ信号１３６、Ｚ信号１３７、及び（Ｘ−Ｂ）１７１信号を、ＲＧＢ表色系のＧ信号、Ｂ信号及びＲ信号と見立てて、一般的なＲＧＢ処理による色温度算出アルゴリズムに従って色温度を算出する。例えば、色温度判定部１８５は、Ｂ信号のレベルが大きい場合には色温度が高いと判定し、Ｒ信号のレベルが大きい場合には色温度が低いと判定する。

また、上述した係数Ｋ１、Ｋ２、Ｋ３は、色温度判定部１８５により判定された色温度に基づき、手動又は自動で一意に決定される。例えば、色温度が低い状態であれば、係数Ｋ１、Ｋ２及びＫ３は、０．７、１．０及び１．３である。なお、ここでは、乗算部１６５及び１６６は、同一の係数Ｋ３を用いているが異なる係数を用いてもよい。

また、色温度判定部１８５は、色温度が所定の範囲内であるか否か、すなわち、色温度が特に高い、又は特に低い場合であるか否かを判定する。また、色温度判定部１８５は、当該判定結果を示すＦＬＧ信号１８６を生成する。例えば、色温度判定部１８５は、色温度が所定の範囲外である場合、ＨレベルのＦＬＧ信号１８６を出力し、色温度が所定の範囲内である場合、ＬレベルのＦＬＧ信号１８６を出力する。また、所定の色範囲とは、例えば、４０００Ｋ〜５０００Ｋである。

切り替え部１８０は、色温度判定部１８５により出力されたＦＬＧ信号１８６に応じて、Ｘ信号１３５、Ｙ信号１３６及びＺ信号１３７を演算部１６０に出力するか、演算部１６０を経由せずにそのままＸ信号１３８、Ｙ信号１３９及びＺ信号１４０として出力するかを切り替える。

この切り替え部１８０は、スイッチ１８１ａ〜１８２ｃと、反転器１８３とを備える。

スイッチ１８１ａ〜１８１ｃのゲートには、ＦＬＧ信号１８６が接続される。反転器１８３は、ＦＬＧ信号１８６の論理を反転することにより反転ＦＬＧ信号１８４を生成する。

スイッチ１８２ａ〜１８２ｃのゲートには、反転ＦＬＧ信号１８４が接続される。

以上の構成により、ＦＬＧ信号１８６がＨレベルの場合、つまり、色温度が所定の範囲外にある場合には、スイッチ１８１ａ〜１８１ｃがオンし、かつ、スイッチ１８２ａ〜１８２ｃがオフする。これにより、Ｘ信号１３５、Ｙ信号１３６及びＺ信号１３７が、演算部１６０に供給される。つまり、この場合、切り替え部１８０は、演算部１６０によりホワイトバランス処理が行われた補正後の信号を、Ｘ信号１３８、Ｙ信号１３９及びＺ信号１４０として出力させる。

一方、ＦＬＧ信号１８６がＬレベルの場合、つまり、色温度が所定の範囲内にある場合には、スイッチ１８１ａ〜１８１ｃがオフし、かつ、スイッチ１８２ａ〜１８２ｃがオンする。これにより、切り替え部１８０は、Ｘ信号１３５、Ｙ信号１３６及びＺ信号１３７を、そのままＸ信号１３８、Ｙ信号１３９及びＺ信号１４０として出力する。

ここで、色温度が４０００Ｋ〜５０００Ｋ程度であれば、上記のようなホワイトバランス処理を実施しなくても良い。よって、上記のように、本発明の実施の形態１に係る固体撮像装置１００は、色温度が所定の範囲内にある場合には、ホワイトバランス処理を行わないことにより、演算によるノイズを低減できる。

なお、図４に示す演算部１６０を以下のように変形してもよい。

図６は、演算部１６０の変形例である演算部１６０Ａを含むホワイトバランス処理部１０５の構成を示す図である。なお、図４と同様の要素には同一の符号を付している。

図６に示すように演算部１６０Ａは、乗算部１６６の代わりに、乗算部１６８を備える。

乗算部１６８は、Ｚ信号１４０に係数Ｋ４を乗算することにより、Ｂ信号１７４を生成する。

上記の構成でも、図４に示す構成と同様のＢ信号１７４が生成される。つまり、Ｂ信号１７４は、Ｚ信号１３７に係数Ｋ３及び係数Ｋ４が乗算された信号であればよい。

再び、図３を参照して説明を行う。

補正部１２７は、撮像素子１０２の製造バラつきなどを含めた個体間のバラつきを補正する。具体的には、補正部１２７は、Ｘ信号１３８、Ｙ信号１３９及びＺ信号１４０に、和積演算による線形処理、又は非線形な演算による非線形処理を行うことによりＸ信号１４１、Ｙ信号１４２及びＺ信号１４３を生成する。

変換部１２８は、Ｘ信号１４１、Ｙ信号１４２及びＺ信号１４３を、色信号Ｃｂ、Ｃｒへ変換することにより、Ｃｒ信号１４４及びＣｂ信号１４５を生成する。具体的には、変換部１２８は、下記（式１）及び（式２）を用いる。

ここで、例えば、行列Ｍ₁に含まれる係数ａ１〜ａ６は、ａ１＝−０．３５、ａ２＝−０．８２、ａ３＝１．０６、ａ４＝２．８３、ａ５＝−２．１６、ａ６＝−０．４９などの値である。ただしこの値は、一例であり、これに類する値でも変換が可能である。

ゲイン調整部１２９は、変換部１２８により出力されたＣｒ信号１４４及びＣｂ信号１４５にゲイン調整を行うことにより、Ｃｒ信号１４６及びＣｂ信号１４７を生成する。なお、ゲイン調整部１２９は、Ｃｒ信号１４４及びＣｂ信号１４５に線形なゲインを加えてもよいし、撮像系、表示系、及び照明条件などを考慮した非線形なゲインを加えてもよい。

輝度演算部１２２は、ＯＢ処理部１２１により出力されたＸ信号１３１、Ｙ信号１３２、及びＺ信号１３３を用いて、輝度信号１３４（Ｙ）を生成する。

図７は、輝度演算部１２２の構成を示す図である。

図７に示すように、輝度演算部１２２は、減算部１９１と、乗算部１９２〜１９５と、加算部１９６とを備える。

また、図８は、輝度演算部１２２の処理を模式的に示す図である。なお、図８は色温度が低い時を想定した図であるが、色温度が高い時であっても、同様に輝度演算処理を行うことができる。

図８には、色温度の低い照明が被写体に照射されている場合の、Ｘ信号１３１、Ｙ信号１３２及びＺ信号１３３の一例を示す。言い換えると、図８に示すＸ信号１３１、Ｙ信号１３２及びＺ信号１３３は、Ｘ画素３０１、Ｙ画素３０２、及びＺ画素３０３の分光感度に相当する。

また、Ｘ信号１３１は、青色領域（ＲＧＢ表色系のＢ信号）に対応する青色信号成分１３１Ａと、赤色領域（ＲＧＢ表色系のＲ信号）に対応する赤色信号成分１３１Ｂとを含む。

輝度演算部１２２は、Ｘ信号１３１の赤色信号成分１３１ＢをＲＧＢ表色系のＲ信号とみなし、ＲＧＢ表色系のＹ信号１３２をＧ信号とみなし、Ｚ信号１３３をＲＧＢ表色系のＢ信号とみなし、輝度演算処理を行う。

乗算部１９２は、Ｚ信号１３３に係数Ｋ４を乗算することにより、Ｂ信号１７５を生成する。ここで、Ｂ信号１７５は、Ｘ信号１３１の青色信号成分１３１Ａに相当する信号である。例えば、乗算部１９２が用いる係数Ｋ４は、上述したホワイトバランス処理部１０５の乗算部１６２が用いる係数Ｋ４と同じである。

減算部１９１は、Ｘ信号１３１からＢ信号１７５を減算することにより、（Ｘ−Ｂ）信号１７６を生成する。ここで、（Ｘ−Ｂ）信号１７６は、Ｘ信号１３１の赤色信号成分１３１Ｂに相当する。

乗算部１９３は、（Ｘ−Ｂ）信号１７６に係数Ｋ５を乗算することにより、（Ｘ−Ｂ）信号１７７を生成する。

乗算部１９４は、Ｙ信号１３２に係数Ｋ６を乗算することにより、Ｙ信号１７８を生成する。

乗算部１９５は、Ｚ信号１３３に係数Ｋ７を乗算することにより、Ｚ信号１７９を生成する。

加算部１９６は、（Ｘ−Ｂ）信号１７７とＹ信号１７８とＺ信号１７９とを加算することにより、輝度信号１３４（Ｙ）を生成する。

なお、係数Ｋ５〜Ｋ７は、例えば、輝度信号１３４（Ｙ）が最終的に下記（式３）の関係を満たすように決定することが好ましい。

例えば、図２に示す画素構成の場合には、係数Ｋ５は０．２９９であり、係数Ｋ６は０．５８７／２であり、係数Ｋ７は０．１１４である。

なお、輝度演算部１２２は、Ｚ信号１３３と、Ｘ信号１３１の青色信号成分１３１Ａとの和をＲＧＢ表色系のＢ信号とみなし、輝度演算処理を行ってもよい。

再び、図３を参照して説明を行う。

原信号生成部１２４は、色処理部１２３から出力されたＣｒ信号１４６及びＣｂ信号１４７と、輝度演算部１２２により出力された輝度信号１３４（Ｙ）と合成することにより、ＲＧＢ表色系の３原色に対応するＲ信号１４８、Ｇ信号１４９及びＢ信号１５０を生成する。具体的には、原信号生成部１２４は、下記（式４）及び（式５）を用いて、Ｃｒ信号１４６、Ｃｂ信号１４７、及び輝度信号１３４（Ｙ）を、Ｒ信号１４８、Ｇ信号１４９及びＢ信号１５０に変換する。

ここで行列式Ｍ₂に含まれる係数ｂ１〜ｂ９は、例えば、ｂ１＝１、ｂ２＝０、ｂ３＝１、ｂ４＝１、ｂ５＝−１．９４、ｂ６＝−０．５１、ｂ７＝１、ｂ８＝１、ｂ９＝０に類する値である。

また、信号処理部１０３の出力は、その他の多原色出力であってもよい。例えば、原信号生成部１２４は、Ｃｒ信号１４６、Ｃｂ信号１４７、及び輝度信号１３４（Ｙ）を、ＲＧＢに加え、イエロー、マジェンタ、シアンなどを含む多原色出力信号に変換してもよい。

ガンマ処理部１２５は、原信号生成部１２４により出力されるＲ信号１４８、Ｇ信号１４９及びＢ信号１５０にガンマ処理を行うことにより、Ｒ信号１１５、Ｇ信号１１６及びＢ信号１１７を生成する。なお、本実施例ではガンマ処理の工程は、信号処理部１０３の最終段で行っているが、撮像素子１０２の特性に応じて、処理工程の場所が代わってもよい。

また、信号処理部１０３は、ＸＹＺを、一旦Ｃｂ、Ｃｒへ変換するのでなく、伝送系の規格、保存ファイル形式などに合わせて、別の色空間に変換してもよい。例えば、別の色空間とは、ＣＩＥ １９７６（Ｌｕｖ）空間、ＣＩＥ １９７６（Ｌａｂ）空間、ＹＵＶ、ＹＩＱ、及びＸＶＹＣＣなどである。

次に、固体撮像装置１００の処理の流れを説明する。

図９は、固体撮像装置１００による処理の流れを示すフローチャートである。

まず、撮像素子１０２は、入射光１１０を光電変換することにより、Ｘ信号１１２、Ｙ信号１１３及びＺ信号１１４を生成する（Ｓ１０１）。

次に、ＯＢ処理部１２１は、Ｘ信号１１２、Ｙ信号１１３及びＺ信号１１４のそれぞれから、暗電流に相当する信号レベルを減算することにより、Ｘ信号１３１、Ｙ信号１３２及びＺ信号１３３を生成する（Ｓ１０２）。

次に、ＬＰＦ１２６は、Ｘ信号１３１、Ｙ信号１３２及びＺ信号１３３の空間周波数を低下させることにより、Ｘ信号１３５、Ｙ信号１３６及びＺ信号１３７を生成する（Ｓ１０３）。

次に、ホワイトバランス処理部１０５は、Ｘ信号１３５、Ｙ信号１３６及びＺ信号１３７にホワイトバランス処理を行うことにより、Ｘ信号１３８、Ｙ信号１３９、Ｚ信号１４０を生成する（Ｓ１０４）。

以下、ホワイトバランス処理（ステップＳ１０４）について詳細に説明する。

図１０は、ホワイトバランス処理部１０５によるホワイトバランス処理（Ｓ１０４）の流れを示すフローチャートである。

図１０に示すように、まず、色温度判定部１８５は、被写界の色温度を判定する（Ｓ１２１）。

次に、色温度判定部１８５は、色温度が所定の範囲内であるか否かを判定する（Ｓ１２２）。

色温度が所定の色範囲内にない場合（Ｓ１２２でＮｏ）、切り替え部１８０は、Ｘ信号１３５、Ｙ信号１３６及びＺ信号１３７を演算部１６０に出力する。

次に、乗算部１６２は、Ｚ信号１３７に係数Ｋ４を乗算することにより、Ｂ信号１７２を生成する（Ｓ１２３）。

次に、減算部１６１は、Ｘ信号１３５からＢ信号１７２を減算することにより、（Ｘ−Ｂ）信号１７１を生成する（Ｓ１２４）。

次に、乗算部１６３〜１６６は、（Ｘ−Ｂ）信号１７１、Ｙ信号１３６、Ｚ信号１３７、Ｂ信号１７２に、それぞれ係数Ｋ１、Ｋ２、Ｋ３及びＫ３を乗算することにより、（Ｘ−Ｂ）信号１７３、Ｙ信号１３９、Ｚ信号１４０、Ｂ信号１７４を生成する（Ｓ１２５）。

次に、加算部１６７は、（Ｘ−Ｂ）信号１７３とＢ信号１７４とを加算することにより、Ｘ信号１３８を生成する（Ｓ１２６）。

以上の処理により、ホワイトバランス処理されたＸ信号１３８、Ｙ信号１３９及びＺ信号１４０が生成される。

一方、色温度が所定の色範囲内である場合（Ｓ１２２でＹｅｓ）、切り替え部１８０は、Ｘ信号１３５、Ｙ信号１３６及びＺ信号１３７を、Ｘ信号１３８、Ｙ信号１３９、Ｚ信号１４０として出力する。つまり、ホワイトバランス処理部１０５は、ホワイトバランス処理を行わない（Ｓ１２７）。

再度、図９を参照して説明を行う。

ホワイトバランス処理（Ｓ１０４）の後、補正部１２７は、撮像素子１０２の個体間のバラつきを補正することにより、Ｘ信号１４１、Ｙ信号１４２及びＺ信号１４３を生成する（Ｓ１０５）。

次に、変換部１２８は、Ｘ信号１４１、Ｙ信号１４２及びＺ信号１４３を、Ｃｒ信号１４４及びＣｂ１４５に変換する（Ｓ１０６）。

次に、ゲイン調整部１２９は、Ｃｒ信号１４４及びＣｂ信号１４５にゲイン調整を行うことにより、Ｃｒ信号１４６及びＣｂ信号１４７を生成する（Ｓ１０７）。

また、輝度演算部１２２は、Ｘ信号１３１、Ｙ信号１３２、及びＺ信号１３３を用いて、輝度信号１３４（Ｙ）を算出する（Ｓ１０８）。

次に、原信号生成部１２４は、Ｃｒ信号１４６、Ｃｂ信号１４７及び輝度信号１３４（Ｙ）を、Ｒ信号１４８、Ｇ信号１４９及びＢ信号１５０に変換する（Ｓ１０９）。

次に、ガンマ処理部１２５は、Ｒ信号１４８、Ｇ信号１４９及びＢ信号１５０にガンマ処理を行うことにより、Ｒ信号１１５、Ｇ信号１１６及びＢ信号１１７を生成する（Ｓ１１０）。

次に、データ変換部１０４は、信号処理部１０３により出力されたＲ信号１１５、Ｇ信号１１６及びＢ信号１１７を出力画像信号１１１に変換する（Ｓ１１１）。

以上のように、本発明の実施の形態１に係る固体撮像装置１００は、Ｚ信号１３７に所定の係数Ｋ４を乗算することにより、Ｘ信号１３５の青色信号成分１３５Ａに相当するＢ信号１７２を生成する。さらに、固体撮像装置１００は、Ｘ信号１３５からＢ信号１７２を減算することにより、Ｘ信号の赤色信号成分１３５Ｂに相当する（Ｘ−Ｂ）信号１７１を生成する。さらに、固体撮像装置１００は、（Ｘ−Ｂ）信号１７１及びＢ信号１７２に、それぞれ異なる係数を乗算したうえで加算することにより、ホワイトバランス処理された補正後のＸ信号１３８を生成する。

このように、固体撮像装置１００は、色温度に応じて分光感度特性の傾向が異なる、青色領域のＢ信号１７２と、赤色領域の（Ｘ−Ｂ）信号１７１とに異なる係数を乗算する。これにより、固体撮像装置１００は、極端な色温度の照明条件であってもホワイトバランス処理を高精度で行える。

なお、図９及び図１０に示す処理順序は、一例であり、これ以外の順序であってもよい。例えば、図９に示す輝度算出処理（Ｓ１０８）は、ＯＢ処理（Ｓ１０２）の後、かつＹＣｒＣｂからＲＧＢへの変換処理（Ｓ１０９）の前であれば、任意のタイミングで行ってよい。

（実施の形態２）
本発明の実施の形態２に係る固体撮像装置２００は、Ｘ画素３０１、Ｙ画素３０２、Ｚ画素３０３に加え、赤色領域の光をＲ信号に変換するＲ画素３０４を備える。また、本発明の実施の形態２に係る固体撮像装置２００は、Ｘ信号１１２からＲ信号を減算することで、Ｘ信号の青色領域に相当する信号を生成する。また、本発明の実施の形態２に係る固体撮像装置は、生成したＸ信号の青色領域に相当する信号と、Ｒ信号とに異なる係数を乗算したうえ加算することにより、Ｘ信号のホワイトバランス処理を行う。これにより、本発明の実施の形態２に係る固体撮像装置は、極端な色温度の照明条件であってもホワイトバランス処理を高精度で行える。

図１１は、本発明の実施の形態２に係る固体撮像装置２００の構成を示す図である。なお、図１に示す固体撮像装置１００と同様の要素には同一の符号を付しており、重複する説明は省略する。

図１１に示す固体撮像装置２００は、固体撮像装置１００に対して、撮像素子２０２、及び信号処理部２０３の構成が異なる。

撮像素子２０２は、Ｘ信号１１２、Ｙ信号１１３及びＺ信号１１４に加え、さらに、Ｒ信号２１０を生成し、生成したＸ信号１１２、Ｙ信号１１３、Ｚ信号１１４及びＲ信号２１０を出力する。

図１２は、撮像素子１０２の画素の配列の一例を示す図である。また、図１２では、４画素×４画素の１６画素の配列例を示す。例えば、撮像素子２０２は、図１２に示すように４画素×４画素の１６画素の単位画素セルが規則的に配置された画素アレイを有する。この単位画素セルは、２つのＸ画素３０１と、８つのＹ画素３０２と、４つのＺ画素３０３と、２つのＲ画素３０４を含む。

ここで、Ｒ画素３０４は、ＲＧＢ表色系のＲフィルタを備え、当該Ｒフィルタを透過した光を光電変換することによりＲ信号２１０を生成する。

また、例えば、Ｒフィルタは、図２３に示すＲの透過率を有する。つまり、Ｒフィルタは、赤色領域の光を透過するフィルタである。また、Ｘフィルタは、Ｒフィルタの透過波長領域（赤色領域）を含有する。つまり、Ｒ信号２１０は、Ｘ信号１３５の赤色信号成分１３５Ｂに相当する。

また、８つのＹ画素３０２は千鳥状に配置される。また、４つのＺ画素３０３は、２画素×２画素の４画素に対して１つ配置され、また、当該４画素において同一の位置（図１２では左下）に配置される。また、Ｘ画素３０１及びＲ画素３０４は、２画素×２画素の４画素に対していずれか一方が１つ配置され、また、当該４画素において同一の位置（図１２では右上）に配置される。また、２画素×２画素の４画素単位でみた場合、Ｘ画素３０１を含む４画素単位と、Ｒ画素３０４を含む４画素単位とは、千鳥状に配置される。

言い換えると、単位画素セルにおいて、各Ｙ画素３０２に斜め方向に隣接する画素は全てＹ画素３０２である。また、単位画素セルにおいて、各Ｚ画素３０３から横方向に２画素隣の画素、及び縦方向に２画素隣の画素は全てＺ画素３０３である。また、単位画素セルにおいて、各Ｘ画素３０１から斜め方向へ２画素隣の画素は全てＸ画素３０１である。また、単位画素セルにおいて、各Ｒ画素３０４から斜め方向へ２画素隣の画素は全てＲ画素３０４である。

また、図１２に示す配列は、Ｘ画素３０１とＲ画素３０４とが互いに補間するような配列である。つまり、Ｒフィルタと、当該Ｒフィルタの透過波長領域を含有するＸフィルタとを補間配列することにより、赤色領域の光を光電変換するＸ画素３０１及びＲ画素３０４の割合を、全画素の四分にできる。また、輝度信号を生成するためのＹ画素３０２を全画素の半分に配置できるので、図１２に示す配列を用いることで、解像度の低下を抑制できる。

なお、撮像素子２０２の画素配列は、図１２に示す配列に限定されないが、Ｙ画素３０２の数をＺ画素３０３の数より多くし、Ｚ画素３０３の数をＸ画素３０１の数より多くし、Ｘ画素３０１の数をＲ画素３０４の数より多くする、又は等しくすることが好ましい。つまり、Ｙ画素３０２の数を最も多くし、次に、Ｚ画素３０３の数を多くし、また、Ｘ画素３０１及びＲ画素３０４の数を少なくすることが好ましい。

なぜなら、Ｙ信号１１３の主成分である緑色成分は、輝度への影響が最も大きいので、Ｙ画素３０２の数を最も多くすることで、精度良く輝度を算出できる。また、詳細は後述するが、固体撮像装置２００では輝度演算部において、Ｘ信号１１２及びＲ信号２１０を用いて赤色の輝度成分を算出する。一方、青色の輝度成分は、Ｚ信号１１４のみを用いて算出される。よって、Ｚ画素３０３より、Ｘ画素３０１及びＲ画素３０４の数をそれぞれ少なくする。なお、Ｘ画素３０１の数とＲ画素３０４の数との和が、Ｚ画素３０３の数とほぼ等しくなることがより好ましい。また、Ｒ画素３０４は、本実施例において、追加された画素であるので、最も数が少ないＸ画素３０１と同数又はそれ以下であることが好ましい。

また、異なる配列のパターンとしては、図１３、図１４、又は図１５のような画素構成を用いてもよい。例えば、撮像素子２０２は、図１３、図１４及び図１５に示すような２画素×２画素の単位画素セルが規則的に配置された画素アレイを有する。また、この単位画素セルは、１個のＸ画素３０１と、１個のＹ画素３０２と、１個のＺ画素３０３と、１個のＲ画素３０４とを含む。これにより、後段の信号処理部２０３において、１単位画素セルが１６画素の場合、つまり、１単位画素セルに含まれる各画素の比率が異なる場合と比べて信号処理が簡易になるという利点がある。

信号処理部２０３は、撮像素子１０２により出力されたＸ信号１１２、Ｙ信号１１３、Ｚ信号１１４及びＲ信号２１０に所定の信号処理を施したうえで、Ｒ信号１１５、Ｇ信号１１６及びＢ信号１１７に変換する。

図１６は、信号処理部２０３の構成を示すブロック図である。なお、図３と同様の要素には、同一の符号を付しており詳細な説明は省略する。

信号処理部２０３は、図３に示す信号処理部１０３に対して、ＯＢ処理部２２１の構成と、色処理部２２３に含まれる輝度演算部２２２、ＬＰＦ２２６、及びホワイトバランス処理部２０５の構成とが異なる。

ＯＢ処理部２２１は、さらに、Ｒ信号２１０の黒レベルを補正する。つまり、ＯＢ処理部２２１は、Ｘ信号１１２、Ｙ信号１１３、Ｚ信号１１４及びＲ信号２１０のそれぞれから、暗電流に相当する信号レベルを減算することにより、Ｘ信号１３１、Ｙ信号１３２、Ｚ信号１３３及びＲ信号２１１を生成する。

ＬＰＦ２２６は、Ｘ信号１３１、Ｙ信号１３２、Ｚ信号１３３及びＲ信号２１１の空間周波数を低下させることにより、Ｘ信号１３５、Ｙ信号１３６、Ｚ信号１３７及びＲ信号２１２を生成する。

ホワイトバランス処理部２０５は、Ｒ信号２１２を用いてＸ信号１３５、Ｙ信号１３６及びＺ信号１３７にホワイトバランス処理を行うことにより、Ｘ信号１３８、Ｙ信号１３９、Ｚ信号１４０を生成する。

図１７は、ホワイトバランス処理部２０５の構成を示す図である。なお、図４と同様の要素には、同一の符号を付しており説明は省略する。

図１７に示すようにホワイトバランス処理部２０５は、演算部２６０と、切り替え部２８０と、色温度判定部１８５とを備える。

演算部２６０は、Ｒ信号２１２を用いてＸ信号１３５、Ｙ信号１３６及びＺ信号１３７に、ホワイトバランス処理を行うことにより、Ｘ信号１３８、Ｙ信号１３９、Ｚ信号１４０を生成する。この演算部２６０は、減算部２６１と、乗算部２６３〜２６６と、加算部２６７とを備える。

図１８は、演算部２６０によるホワイトバランス処理の説明図である。なお、図１８は色温度が低い時を想定した図であるが、色温度が高い時であっても、同様にホワイトバランス処理を行うことができる。

図１８には、色温度の低い照明が被写体に照射されている場合の、Ｘ信号１３５、Ｙ信号１３６、Ｚ信号１３７及びＲ信号２１２の一例を示す。言い換えると、図１８に示すＸ信号１３５、Ｙ信号１３６、Ｚ信号１３７及びＲ信号２１２は、Ｘ画素３０１、Ｙ画素３０２、Ｚ画素３０３及びＲ画素３０４の分光感度に相当する。

減算部２６１は、Ｘ信号１３５からＲ信号２１２を減算することにより、（Ｘ−Ｒ）信号２７１を生成する。ここで、（Ｘ−Ｒ）信号２７１は、Ｘ信号１３５の青色信号成分１３５Ａに相当する。

乗算部２６３は、（Ｘ−Ｒ）信号２７１に係数Ｋ３を乗算することにより、（Ｘ−Ｒ）信号２７３を生成する。

乗算部２６４は、Ｙ信号１３６に係数Ｋ２を乗算することにより、Ｙ信号１３９を生成する。

乗算部２６５は、Ｚ信号１３７に係数Ｋ３を乗算することにより、Ｚ信号１４０を生成する。

乗算部２６６は、Ｒ信号２１２に係数Ｋ１を乗算することにより、Ｒ信号２７４を生成する。また、乗算部２６３及び乗算部２６５は共に、青色領域の信号に対して係数を乗算するので、同一の係数Ｋ３を用いる。

加算部２６７は、（Ｘ−Ｒ）信号２７３とＲ信号２７４とを加算することにより、Ｘ信号１３８を生成する。

色温度判定部１８５は、被写界の色温度を判定する。具体的には、色温度判定部１８５は、色温度検出素子で検出された色温度を用いて色温度を判定する。または、色温度判定部１８５は、Ｙ信号１３６、Ｚ信号１３７、及びＲ信号２１２を、ＲＧＢ表色系のＧ信号、Ｂ信号及びＲ信号と見立てて、一般的なＲＧＢ処理による色温度算出アルゴリズムに従って色温度を算出する。

また、上述した係数Ｋ１、Ｋ２、Ｋ３は、色温度判定部１８５により判定された色温度に基づき、手動又は自動で一意に決定される。例えば、色温度が低い状態であれば、係数Ｋ１、Ｋ２及びＫ３は、０．７、１．０及び１．３である。なお、ここでは、乗算部２６３及び２６５は、同一の係数Ｋ３を用いているが異なる係数を用いてもよい。

また、色温度判定部１８５は、色温度が所定の範囲内であるか否か、すなわち、色温度が特に高い、又は特に低い場合であるか否かを判定する。

切り替え部２８０は、色温度判定部１８５により出力されたＦＬＧ信号１８６に応じて、Ｘ信号１３５、Ｙ信号１３６、Ｚ信号１３７及びＲ信号２１２を演算部２６０に出力するか、Ｘ信号１３５、Ｙ信号１３６、及びＺ信号１３７を、演算部２６０を経由せずにそのままＸ信号１３８、Ｙ信号１３９及びＺ信号１４０として出力するかを切り替える。

この切り替え部２８０は、スイッチ１８１ａ〜１８２ｃ及び２８１と、反転器１８３とを備える。

スイッチ１８１ａ〜１８１ｃ及び２８１のゲートには、ＦＬＧ信号１８６が接続される。反転器１８３は、ＦＬＧ信号１８６の論理を反転することにより反転ＦＬＧ信号１８４を生成する。

スイッチ１８２ａ〜１８２ｃのゲートには、反転ＦＬＧ信号１８４が接続される。

以上の構成により、ＦＬＧ信号１８６がＨレベルの場合、つまり、色温度が所定の範囲外にある場合には、スイッチ１８１ａ〜１８１ｃ及び２８１がオンし、かつ、スイッチ１８２ａ〜１８２ｃがオフする。これにより、Ｘ信号１３５、Ｙ信号１３６、Ｚ信号１３７及びＲ信号２１２が、演算部２６０に供給される。つまり、この場合、切り替え部１８０は、演算部２６０によりホワイトバランス処理が行われた補正後の信号を、Ｘ信号１３８、Ｙ信号１３９及びＺ信号１４０として出力させる。

一方、ＦＬＧ信号１８６がＬレベルの場合、つまり、色温度が所定の範囲内にある場合には、スイッチ１８１ａ〜１８１ｃ及び２８１がオフし、かつ、スイッチ１８２ａ〜１８２ｃがオンする。これにより、切り替え部１８０は、Ｘ信号１３５、Ｙ信号１３６及びＺ信号１３７を、そのままＸ信号１３８、Ｙ信号１３９及びＺ信号１４０として出力する。

輝度演算部２２２は、ＯＢ処理部２２１により出力されたＸ信号１３１、Ｙ信号１３２、Ｚ信号１３３及びＲ信号２１１を用いて、輝度信号１３４（Ｙ）を生成する。

図１９は、輝度演算部２２２の構成を示す図である。なお、図７と同様の要素には同一の符号を付しており、説明は省略する。

図１９に示すように、輝度演算部２２２は、図７に示す輝度演算部１２２に対し、さらに、乗算部２９３を備える。また、加算部２９６の構成が異なる。

また、図２０は、輝度演算部２２２の処理を模式的に示す図である。なお、図２０は色温度が低い時を想定した図であるが、色温度が高い時であっても、同様に輝度演算処理を行うことができる。

輝度演算部２２２は、Ｘ信号１３１の赤色信号成分１３１ＢとＲ信号２１１との和をＲＧＢ表色系のＲ信号とみなし、ＲＧＢ表色系のＹ信号１３２をＢ信号とみなし、Ｚ信号１３３をＲＧＢ表色系のＢ信号とみなし、輝度演算処理を行う。

乗算部２９３は、Ｒ信号２１１に係数Ｋ５を乗算することにより、Ｒ信号２７７を生成する。ここで、例えば、乗算部２９３が用いる係数Ｋ５は、乗算部１９３が用いる係数Ｋ５と同じである。

加算部２９６は、（Ｘ−Ｂ）信号１７７とＹ信号１７８とＺ信号１７９とＲ信号２７７とを加算することにより、輝度信号１３４（Ｙ）を生成する。

なお、係数Ｋ５〜Ｋ７は、例えば、輝度信号１３４（Ｙ）が最終的に上記（式３）の関係を満たすように決定することが好ましい。

例えば、図１２に示す画素構成の場合には、係数Ｋ５は０．２９９であり、係数Ｋ６は０．５８７／２であり、係数Ｋ７は０．１１４である。

なお、輝度演算部２２２は、Ｚ信号１３３と、Ｘ信号１３１の青色信号成分１３１Ａとの和をＲＧＢ表色系のＢ信号とみなし、輝度演算処理を行ってもよい。

次に、固体撮像装置２００の処理の流れを説明する。

なお、固体撮像装置２００により処理の全体の流れは、図９とほぼ同様であるので、図９を用いて説明を行う。

まず、撮像素子２０２は、入射光１１０を光電変換することにより、Ｘ信号１１２、Ｙ信号１１３、Ｚ信号１１４及びＲ信号２１０を生成する（Ｓ１０１）。

次に、ＯＢ処理部２２１は、Ｘ信号１１２、Ｙ信号１１３、Ｚ信号１１４及びＲ信号２１０のそれぞれから、暗電流に相当する信号レベルを減算することにより、Ｘ信号１３１、Ｙ信号１３２、Ｚ信号１３３及びＲ信号２１１を生成する（Ｓ１０２）。

次に、ＬＰＦ２２６は、Ｘ信号１３１、Ｙ信号１３２、Ｚ信号１３３及びＲ信号２１１の空間周波数を低下させることにより、Ｘ信号１３５、Ｙ信号１３６、Ｚ信号１３７及びＲ信号２１２を生成する（Ｓ１０３）。

次に、ホワイトバランス処理部２０５は、Ｘ信号１３５、Ｙ信号１３６及びＺ信号１３７に、Ｒ信号２１２を用いてホワイトバランス処理を行うことにより、Ｘ信号１３８、Ｙ信号１３９、Ｚ信号１４０を生成する（Ｓ１０４）。

以下、ホワイトバランス処理（ステップＳ１０４）について詳細に説明する。

図２１は、ホワイトバランス処理部２０５によるホワイトバランス処理（Ｓ１０４）の流れを示すフローチャートである。

図２１に示すように、まず、色温度判定部１８５は、被写界の色温度を判定する（Ｓ２２１）。

次に、色温度判定部１８５は、色温度が所定の範囲内であるか否かを判定する（Ｓ２２２）。

色温度が所定の色範囲内にない場合（Ｓ２２２でＮｏ）、切り替え部２８０は、Ｘ信号１３５、Ｙ信号１３６、Ｚ信号１３７、Ｒ信号２１２を演算部２６０に出力する。

次に、減算部２６１は、Ｘ信号１３５からＲ信号２１２を減算することにより、（Ｘ−Ｒ）信号２７１を生成する（Ｓ２２３）。

次に、乗算部２６３〜２２６は、（Ｘ−Ｒ）信号２７１、Ｙ信号１３６、Ｚ信号１３７及びＲ信号２１２にそれぞれ係数Ｋ３、Ｋ２、Ｋ３、Ｋ１を乗算することにより、（Ｘ−Ｒ）信号２７３、Ｙ信号１３９、Ｚ信号１４０、Ｒ信号２７４を生成する（Ｓ２２４）。

次に、加算部２６７は、（Ｘ−Ｒ）信号２７３とＲ信号２７４とを加算することにより、Ｘ信号１３８を生成する（Ｓ２２５）。

以上の処理により、ホワイトバランス処理されたＸ信号１３８、Ｙ信号１３９及びＺ信号１４０が生成される。

一方、色温度が所定の色範囲内である場合（Ｓ２２２でＹｅｓ）、切り替え部２８０は、Ｘ信号１３５、Ｙ信号１３６及びＺ信号１３７を、Ｘ信号１３８、Ｙ信号１３９、Ｚ信号１４０として出力する。つまり、ホワイトバランス処理部２０５は、ホワイトバランス処理を行わない（Ｓ２２６）。

なお、図９に示すステップＳＳ１０５以降の処理は、実施の形態１と同様であり説明は省略する。

以上のように、本発明の実施の形態２に係る固体撮像装置２００は、Ｒ画素３０４を備え、Ｘ信号１３５の赤色信号成分１３５Ｂに相当するＲ信号２１２を生成する。さらに、固体撮像装置２００は、Ｘ信号１３５からＲ信号２１２を減算することにより、Ｘ信号の青色信号成分１３５Ａに相当する（Ｘ−Ｒ）信号２７１を生成する。さらに、固体撮像装置２００は、（Ｘ−Ｒ）信号２７１及びＲ信号２１２に、それぞれ異なる係数を乗算したうえで加算することにより、ホワイトバランス処理された補正後のＸ信号１３８を生成する。

このように、固体撮像装置２００は、色温度に応じて分光感度特性の傾向が異なる、赤色領域のＲ信号２１２と、青色領域の（Ｘ−Ｒ）信号２７１とに異なる係数を乗算する。これにより、固体撮像装置２００は、極端な色温度の照明条件であってもホワイトバランス処理を高精度で行える。

また、上記実施の形態１又は２に係る固体撮像装置１００及び２００に含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又はすべてを含むように１チップ化されてもよい。

ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、固体撮像装置１００及び２００に含まれる信号処理部１０３、２０３、及びデータ変換部１０４は、ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて各処理部の集積化を行ってもよい。

また、本発明の実施の形態１又は２に係る固体撮像装置１００及び２００に含まれる信号処理部１０３、２０３、及びデータ変換部１０４の機能の一部又は全てを、ＣＰＵ等のプロセッサがプログラムを実行することにより実現してもよい。

さらに、本発明は上記プログラムであってもよいし、上記プログラムが記録された記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。

また、本発明は、上記固体撮像装置１００又は２００を備える、デジタルスチルカメラ及びデジタルビデオカメラ等のカメラとして実現してもよい。

また、上記実施の形態１又は２に係る固体撮像装置１００、２００、及びその変形例の機能のうち少なくとも一部を組み合わせてもよい。

本発明は、固体撮像装置に適用でき、特に、デジタルスチルカメラ及びデジタルビデオカメラ等のカメラに適用できる。

１００、２００ 固体撮像装置
１０１ レンズ
１０２、２０２ 撮像素子
１０３、２０３ 信号処理部
１０４ データ変換部
１０５、２０５ ホワイトバランス処理部
１１０ 入射光
１１１ 出力画像信号
１１２、１３１、１３５、１３８、１４１ Ｘ信号
１１３、１３２、１３６、１３９、１４２、１７８ Ｙ信号
１１４、１３３、１３７、１４０、１４３、１７９ Ｚ信号
１１５、１４８、２１０、２１１、２１２、２７４、２７７ Ｒ信号
１１６、１４９ Ｇ信号
１１７、１５０、１７５ Ｂ信号
１２１、２２１ ＯＢ処理部
１２２、２２２ 輝度演算部
１２３、２２３ 色処理部
１２４ 原信号生成部
１２５ ガンマ処理部
１２６、２２６ ＬＰＦ
１２７ 補正部
１２８ 変換部
１２９ ゲイン調整部
１３１Ａ、１３５Ａ 青色信号成分
１３１Ｂ、１３５Ｂ 赤色信号成分
１３４ 輝度信号
１４４、１４６ Ｃｒ信号
１４５、１４７ Ｃｂ信号
１６０、１６０Ａ、２６０ 演算部
１６１、１９１、２６１ 減算部
１６２、１６３、１６４、１６５、１６６、１６８、１９２、１９３、１９４、１９５、２６３、２６４、２６５、２６６、２９３ 乗算部
１６７、１９６、２６７、２９６ 加算部
１７１、１７３、１７６、１７７ （Ｘ−Ｂ）信号
１７２、１７４ Ｂ信号
１８０、２８０ 切り替え部
１８１ａ、１８１ｂ、１８１ｃ、１８２ａ、１８２ｂ、１８２ｃ、２８１、２８２ スイッチ
１８３ 反転器
１８４ 反転ＦＬＧ信号
１８５ 色温度判定部
１８６ ＦＬＧ信号
２７１、２７３ （Ｘ−Ｒ）信号
３０１ Ｘ画素
３０２ Ｙ画素
３０３ Ｚ画素
３０４ Ｒ画素

Claims (15)

1. ＸＹＺ表色系のＸ信号とＹ信号とＺ信号とを出力する撮像素子と、
   前記Ｘ信号、前記Ｙ信号及び前記Ｚ信号にホワイトバランス処理を行うことにより、補正後Ｘ信号、補正後Ｙ信号及び補正後Ｚ信号を生成するホワイトバランス処理部とを備える固体撮像装置であって、
   前記Ｘ信号は、赤色領域に対応する赤色信号成分と、青色領域に対応する青色信号成分とを含み、
   前記ホワイトバランス処理部は、
   前記Ｘ信号から、前記赤色信号成分及び前記青色信号成分の一方に相当する第１信号を減算することにより、前記赤色信号成分及び前記青色信号成分の他方に相当する第２信号を算出する第１減算部と、
   前記第１信号に第１係数が乗算された補正後第１信号を生成する第１乗算部と、
   前記第２信号に前記第１係数と異なる第２係数を乗算することにより補正後第２信号を生成する第２乗算部と、
   前記Ｙ信号に第３係数を乗算することにより前記補正後Ｙ信号を生成する第３乗算部と、
   前記Ｚ信号に第４係数を乗算することにより前記補正後Ｚ信号を生成する第４乗算部と、
   前記補正後第１信号と前記補正後第２信号とを加算することにより前記補正後Ｘ信号を生成する第１加算部とを備える
   固体撮像装置。
2. 前記ホワイトバランス処理部は、さらに、
   前記Ｚ信号に第５係数を乗算することにより、前記青色信号成分に相当する前記第１信号を生成する第５乗算部を備え、
   前記第１減算部は、前記Ｘ信号から、前記第５乗算部により生成された前記第１信号を減算することにより、前記赤色信号成分に相当する前記第２信号を算出する
   請求項１記載の固体撮像装置。
3. 前記第１乗算部は、前記第１信号に前記第１係数を乗算することにより前記補正後第１信号を生成する
   請求項２記載の固体撮像装置。
4. 前記第１係数は、前記第４係数と同じ値である
   請求項２記載の固体撮像装置。
5. 前記固体撮像装置は、さらに、
   前記Ｘ信号、前記Ｙ信号及び前記Ｚ信号を用いて、輝度信号を生成する輝度演算部を備え、
   前記輝度演算部は、
   前記Ｚ信号に第６係数を乗算することにより、前記青色信号成分に相当する第３信号を生成する第６乗算部と、
   前記Ｘ信号から前記第３信号を減算することにより、前記赤色信号成分に相当する第４信号を生成する第２減算部と、
   前記第４信号に第７係数を乗算することにより第５信号を生成する第７乗算部と、
   前記Ｙ信号に第８係数を乗算することにより第６信号を生成する第８乗算部と、
   前記Ｚ信号に第９係数を乗算することにより第７信号を生成する第９乗算部と、
   前記第５信号と前記第６信号と前記第７信号とを加算することにより、前記輝度信号を生成する第２加算部とを備える
   請求項２記載の固体撮像装置。
6. 前記撮像素子は、さらに、前記赤色信号成分に相当する、ＲＧＢ表色系のＲ信号を出力し、
   前記第１減算部は、前記Ｘ信号から、前記Ｒ信号を減算することにより前記青色信号成分に相当する前記第２信号を算出し、
   前記第１乗算部は、前記第１信号に前記第１係数を乗算することにより前記補正後第１信号を生成する
   請求項１記載の固体撮像装置。
7. 前記撮像素子は、
   前記Ｘ信号を生成する複数のＸ画素と、
   前記Ｙ信号を生成する複数のＹ画素と、
   前記Ｚ信号を生成する複数のＺ画素と、
   前記Ｒ信号を生成する複数のＲ画素とを備え、
   前記Ｙ画素の数は、前記Ｚ画素の数より多く、
   前記Ｚ画素の数は、前記Ｘ画素の数より多く、
   前記Ｘ画素の数は、前記Ｒ画素の数より多い、又は等しい
   請求項６記載の固体撮像装置。
8. 前記撮像素子は、４画素×４画素の単位画素セルが規則的に配置された画素アレイを有し、
   前記単位画素セルは、２個の前記Ｘ画素と、８個の前記Ｙ画素と、４個の前記Ｚ画素と、２個の前記Ｒ画素とを含み、
   前記単位画素セルにおいて、各Ｙ画素に斜め方向に隣接する画素は全てＹ画素であり、
   前記単位画素セルにおいて、各Ｚ画素から横方向に２画素隣の画素、及び縦方向に２画素隣の画素は全てＺ画素であり、
   前記単位画素セルにおいて、各Ｘ画素から斜め方向へ２画素隣の画素は全てＸ画素であり、
   前記単位画素セルにおいて、各Ｒ画素から斜め方向へ２画素隣の画素は全てＲ画素である
   請求項７記載の固体撮像装置。
9. 前記撮像素子は、２画素×２画素の単位画素セルが規則的に配置された画素アレイを有し、
   前記単位画素セルは、
   前記Ｘ信号を生成する１個のＸ画素と、
   前記Ｙ信号を生成する１個のＹ画素と、
   前記Ｚ信号を生成する１個のＺ画素と、
   前記Ｒ信号を生成する１個のＲ画素とを含む
   請求項６記載の固体撮像装置。
10. 前記第２係数は、前記第４係数と同じ値である
    請求項６記載の固体撮像装置。
11. 前記固体撮像装置は、さらに、
    前記Ｘ信号、前記Ｙ信号、前記Ｚ信号及び前記Ｒ信号を用いて、輝度信号を生成する輝度演算部を備え、
    前記輝度演算部は、
    前記Ｚ信号に第５係数を乗算することにより、前記青色信号成分に相当する第３信号を生成する第５乗算部と、
    前記Ｘ信号から前記第３信号を減算することにより、前記赤色信号成分に相当する第４信号を生成する第２減算部と、
    前記第４信号に第６係数を乗算することにより第５信号を生成する第６乗算部と、
    前記Ｙ信号に第７係数を乗算することにより第６信号を生成する第７乗算部と、
    前記Ｚ信号に第８係数を乗算することにより第７信号を生成する第８乗算部と、
    前記Ｒ信号に第９係数を乗算することにより第８信号を生成する第９乗算部と、
    前記第５信号と前記第６信号と前記第７信号と前記第８信号とを加算することにより、前記輝度信号を生成する第２加算部とを備える
    請求項６記載の固体撮像装置。
12. 前記ホワイトバランス処理部は、さらに、
    被写界の色温度を判定する色温度判定部と、
    前記色温度判定部により判定された色温度が予め定められた範囲外の場合、当該ホワイトバランス処理部が前記ホワイトバランス処理を行った前記補正後Ｘ信号、前記補正後Ｙ信号及び前記補正後Ｚ信号を出力し、前記色温度判定部により判定された色温度が予め定められた範囲内の場合、前記Ｘ信号、前記Ｙ信号及び前記Ｚ信号をそのまま前記補正後Ｘ信号、前記補正後Ｙ信号及び前記補正後Ｚ信号として出力する切り替え部とを備える
    請求項１記載の固体撮像装置。
13. 撮像素子により出力されたＸＹＺ表色系のＸ信号、Ｙ信号及びＺ信号にホワイトバランス処理を行うことにより、補正後Ｘ信号、補正後Ｙ信号及び補正後Ｚ信号を生成するホワイトバランス処理方法であって、
    前記Ｘ信号は、赤色領域に対応する赤色信号成分と、青色領域に対応する青色信号成分とを含み、
    前記ホワイトバランス処理方法は、
    前記Ｘ信号から、前記赤色信号成分及び前記青色信号成分の一方に相当する第１信号を減算することにより、前記赤色信号成分及び前記青色信号成分の他方に相当する第２信号を算出する第１減算ステップと、
    前記第１信号に第１係数が乗算された補正後第１信号を生成する第１乗算ステップと、
    前記第２信号に前記第１係数と異なる第２係数を乗算することにより補正後第２信号を生成する第２乗算ステップと、
    前記Ｙ信号に第３係数を乗算することにより前記補正後Ｙ信号を生成する第３乗算ステップと、
    前記Ｚ信号に第４係数を乗算することにより前記補正後Ｚ信号を生成する第４乗算ステップと、
    前記補正後第１信号と前記補正後第２信号とを加算することにより前記補正後Ｘ信号を生成する第１加算ステップとを含む
    ホワイトバランス処理方法。
14. 前記ホワイトバランス処理方法は、さらに、
    前記Ｚ信号に第５係数を乗算することにより、前記青色信号成分に相当する前記第１信号を生成する第５乗算ステップを含み、
    前記第１減算ステップでは、前記Ｘ信号から、前記第５乗算ステップで生成された前記第１信号を減算することにより、前記赤色信号成分に相当する前記第２信号を算出する
    請求項１３記載のホワイトバランス処理方法。
15. 前記撮像素子は、さらに、前記赤色信号成分に相当する、ＲＧＢ表色系のＲ信号を出力し、
    前記第１減算ステップでは、前記Ｘ信号から、前記Ｒ信号を減算することにより、前記青色信号成分に相当する前記第２信号を算出し、
    前記第１乗算ステップでは、前記第１信号に前記第１係数を乗算することにより前記補正後第１信号を生成する
    請求項１３記載のホワイトバランス処理方法。

Images