JP2006203457A - カラー画像生成方法 - Google Patents

Abstract

【課題】偽色を抑えたカラー画像データを生成することが可能なカラー画像生成方法を提供する。
【解決手段】信号電荷蓄積部３に蓄積される信号電荷に応じたカラー画像データの全画素データに対応する数の緑色信号と、Ｒ光電変換素子２から得られるカラー画像データの全画素データの一部に対応する数の赤色信号と、Ｂ光電変換素子４から得られる該一部以外に対応する数の青色信号とを取得するステップと、該色信号の同一サンプル点の赤色信号又は青色信号から緑色信号を減算して色信号ｘを生成するステップと、色信号ｘに基づいて、サンプル点に存在していないカラー画像データの１画素データを構成する色信号を生成するステップとを含むカラー画像生成方法。
【選択図】図１

Description

本発明は、被写体を撮像して得られる少なくとも３種類の色信号からカラー画像データを生成するカラー画像生成方法に関する。

従来、カラーフィルタを用いない構成の固体撮像素子として、例えば特許文献１記載の積層型固体撮像素子が提案されている。この積層型固体撮像素子は、半導体基板上方に赤色（Ｒ），緑色（Ｇ），青色（Ｂ）の光を検出する３つの有機材料からなる光電変換膜を積層し、各膜で発生した信号電荷を半導体基板上に形成された蓄積ダイオードに蓄積し、蓄積ダイオードに蓄積した信号電荷を、半導体基板上に形成されている垂直ＣＣＤ及び水平ＣＣＤ等の信号読み出し回路で読み出して転送するという構成になっている。この積層型固体撮像素子によれば、光利用効率を向上させ、偽色を抑えて、高画質のカラー画像を生成することが可能となる。

上記積層型固体撮像素子は、半導体基板上方に積層した各光電変換膜を挟む２つの電極膜の一方と半導体基板上に形成された蓄積ダイオードとを接続するコンタクト配線が必要となる。このコンタクト配線の材料は、タングステン、銅、モリブテン等の金属であり、配線構造を形成するためには３００度以上の高温が必要となる。一方、半導体基板上方に積層される光電変換膜は、有機材料で構成されているため、２００度以上の高温にさらされると明らかに性能が劣化してしまう。上記積層型固体撮像素子は、例えば、コンタクト配線を形成した後、光電変換膜を形成するという製造工程を３度繰り返すため、先に形成した光電変換膜の性能が、コンタクト配線の形成時の温度によって劣化してしまうという問題があった。

そこで、このような問題を解決する固体撮像素子として、半導体基板上にＲとＢを検出するシリコンからなる光電変換素子を集積すると共に、その半導体基板上方にＧを検出する有機材料からなる光電変換膜を１つ積層したハイブリッド型のものが提案されている（例えば特許文献２参照）。このハイブリッド型の固体撮像素子は、シリコンが３００度以上の高温であっても性能劣化しないことから、下層部（光電変換素子やコンタクト配線）を高温プロセスで先に形成した後、光電変換膜を低温プロセスで形成することで製造が可能であり、光電変換膜の性能劣化を防ぐことができる。

特開２００２−８３９４６号公報 特開２００３−３３２５５１号公報（段落００３５）

上記ハイブリッド型の固体撮像素子では、カラー画像データの１画素データを構成するＲ，Ｇ，Ｂの３つの色信号を同一位置から得ることができない。このため、カラー画像データを生成する際、ＲとＢの色信号については、もともと得られた色信号を用いて信号補間を行う必要があり、偽色が目立ってしまうという問題がある。

本発明は、上記事情に鑑みてなされたものであり、偽色を抑えたカラー画像データを生成することが可能なカラー画像生成方法を提供することを目的とする。

本発明のカラー画像生成方法は、被写体を撮像して得られる少なくとも３種類の色信号からカラー画像データを生成するカラー画像生成方法であって、前記３種類の色信号は、前記カラー画像データの全画素データに対応する数の第１の色信号と、前記カラー画像データの全画素データの一部に対応する数の第２の色信号と、前記一部以外に対応する数の第３の信号とを含み、前記第１の色信号、前記第２の色信号、及び前記第３の色信号を取得する色信号取得ステップと、前記色信号の同一サンプル点の前記第２の色信号から前記第１の色信号を減算して第４の色信号を生成する第４の色信号生成ステップと、前記色信号の同一サンプル点の前記第３の色信号から前記第１の色信号を減算して第５の色信号を生成する第５の色信号生成ステップと、前記第４及び第５の色信号に基づいて、前記カラー画像データの１画素データを構成する色信号を生成する色信号生成ステップとを含む。

本発明のカラー画像生成方法は、記色信号生成ステップが、前記第４の色信号の存在しない点であってかつ前記第５の色信号の存在する点に、該点の周辺にある前記第４の色信号を用いて、前記第４の色信号を補間する第１の補間ステップと、前記第５の色信号の存在しない点であってかつ前記第４の色信号の存在する点に、該点の周辺にある前記第５の色信号を用いて、前記第５の色信号を補間する第２の補間ステップと、もともと前記第４の色信号が存在していなかったサンプル点に補間した前記第４の色信号と、該サンプル点の周辺にある前記第４の色信号とを所定の割合で加算して、該サンプル点に第６の色信号を生成する第６の色信号生成ステップと、もともと前記第５の色信号が存在していなかったサンプル点に補間した前記第５の色信号と、該サンプル点の周辺にある前記第５の色信号とを所定の割合で加算して、該サンプル点に第７の色信号を生成する第７の色信号生成ステップと、前記色信号の同一サンプル点にある前記第６の色信号又は前記第７の色信号と前記第１の色信号とを加算する加算ステップとを含み、前記加算ステップによって、前記１画素データを構成する色信号を生成する。

本発明のカラー画像生成方法は、前記色信号生成ステップが、前記第４の色信号の存在しない点であってかつ前記第５の色信号の存在する点に、該点の周辺にある前記第４の色信号を用いて、前記第４の色信号を補間する第１の補間ステップと、前記第５の色信号の存在しない点であってかつ前記第４の色信号の存在する点に、該点の周辺にある前記第５の色信号を用いて、前記第５の色信号を補間する第２の補間ステップと、各サンプル点にある前記第４の色信号と、各サンプル点の周辺にある前記第４の色信号とを所定の割合で加算して、各サンプル点に第６の色信号を生成する第６の色信号生成ステップと、各サンプル点にある前記第５の色信号と、各サンプル点の周辺にある前記第５の色信号とを所定の割合で加算して、各サンプル点に第７の色信号を生成する第７の色信号生成ステップと、前記色信号の同一サンプル点にある前記第６の色信号と前記第１の色信号とを加算し、前記色信号の同一サンプル点にある前記第７の色信号と前記第１の色信号とを加算する加算ステップとを含み、前記加算ステップによって、前記１画素データを構成する色信号を生成する。

本発明のカラー画像生成方法は、前記第２の色信号と、前記第２の色信号の存在するサンプル点の周辺のサンプル点にある同一種類の色信号とを所定の割合で加算して、該サンプル点に新たな前記第２の色信号を生成するステップと、前記第３の色信号と、前記第３の色信号の存在するサンプル点の周辺のサンプル点にある同一種類の色信号とを所定の割合で加算して、該サンプル点に新たな前記第３の色信号を生成するステップとを有し、前記第４の色信号生成ステップは、前記第２の色信号の代わりに、前記新たな第２の色信号を用いて前記第４の色信号を生成し、前記第５の色信号生成ステップは、前記第３の色信号の代わりに、前記新たな第３の色信号を用いて前記第５の色信号を生成する。

本発明のカラー画像生成方法は、前記第１〜第３の色信号が、半導体基板上方に積層された１つの光電変換膜と、前記光電変換膜で発生した信号電荷を蓄積する前記半導体基板表面に形成された信号電荷蓄積部と、前記半導体基板表面に形成されたそれぞれ異なる色を検出する２種類の光電変換素子とを含む固体撮像素子から得られるものであり、前記信号電荷蓄積部は、前記カラー画像データの全画素データに対応する数だけ形成され、前記２種類の光電変換素子は、それぞれを合わせて前記カラー画像データの全画素データに対応する数だけ形成され、前記第１の色信号は、前記信号電荷蓄積部に蓄積された信号電荷に応じた信号であり、前記第２の色信号は、前記２種類の光電変換素子の一方で発生した信号電荷に応じた信号であり、前記第３の色信号は、前記２種類の光電変換素子の他方で発生した信号電荷に応じた信号である。

本発明によれば、偽色を抑えたカラー画像データを生成することが可能なカラー画像生成方法を提供することができる。

以下、本発明の実施形態について図面を参照して説明する。

（第一実施形態）
図１は、本発明の第一実施形態を説明するための固体撮像素子１００の表面模式図である。図２は、図１のI―I線断面模式図である。
半導体基板１の表面部には、シリコンからなる複数の光電変換素子２，４及び複数の信号電荷蓄積部３が、行方向（図１のＸ方向）及び列方向（図１のＹ方向）に配列されている。本実施形態において、光電変換素子２と光電変換素子４とを併せた数は、信号電荷蓄積部３の数と等しいものとする。信号電荷蓄積部３の数は、固体撮像素子１００から得られる色信号に基づいて生成可能なカラー画像データの最大画素データ数に等しい。

図１に示すように、奇数行には、赤色（Ｒ）を検出すると共に、それに応じた赤色の信号電荷を発生して蓄積する光電変換素子（フォトダイオード、以下Ｒ光電変換素子という）２と、青色（Ｂ）を検出すると共に、それに応じた青色の信号電荷を発生して蓄積する光電変換素子（フォトダイオード、以下Ｂ光電変換素子という）４とが交互に配列されており、偶数行には緑色の信号電荷を蓄積する信号電荷蓄積部３（蓄積ダイオード）が配列されている。奇数行は、Ｒ光電変換素子２から配列が開始される行と、Ｂ光電変換素子４から配列が開始される行とが列方向に交互に配列されている。奇数行と偶数行とは、それぞれの行方向の配列ピッチの略１／２だけ行方向にずらして配列されている。

半導体基板１の表面の上方には、緑色の光を検出すると共に、それに応じた緑色の信号電荷を発生する光電変換膜１９（図２参照）が積層されている。光電変換膜１９に設けられた画素電極膜５は、信号電荷蓄積部３と、それに隣接するＲ光電変換素子２またはＢ光電変換素子４とを覆うように設けられている。光電変換膜１９は、有機材料を含んで構成される。

半導体基板１の表面部には、光電変換素子２，４及び信号電荷蓄積部３に蓄積された信号電荷をＹ方向に転送する垂直転送路６（垂直ＣＣＤ）が設けられており、半導体基板１の下辺部には垂直転送路６から転送されてきた信号電荷をＸ方向に転送する水平転送路７（水平ＣＣＤ）と、記水平転送路７から転送されてきた信号電荷に応じた色信号を出力する出力部８とが設けられている。

垂直転送路６は、Ｘ方向に配列される光電変換素子２，４の間と、Ｘ方向に配列される信号電荷蓄積部３の間に、それぞれ２つづつ設けられ、且つ、光電変換素子列と信号電荷蓄積部列の間を蛇行してＹ方向に延びるように形成されている。

このような構成にすることにより、Ｘ方向に隣り合う垂直転送路６同士が、光電変換素子又は信号電荷蓄積部同士の間で隣接することができるため、ここの部分に垂直転送路同士を接続する配線を設けることができる。したがって、インターラインＣＣＤのような構成に比べて、垂直転送路６の信号電荷転送容量を大きくすることができ、光電変換素子２，４や信号電荷蓄積部３に蓄積される信号電荷量の増大にも十分対応することができる。

尚、図１に示す垂直転送路６の構成は、特開平１０―１３６３９１号公報に詳細が記載されているため、これを参照されたい。

Ｒ光電変換素子２，信号電荷蓄積部３，Ｂ光電変換素子４に蓄積された信号電荷は、読み出しゲート２０（図１では模式的に矢印で示してある）から垂直転送路６に読み出されて水平転送路７まで転送され、その後に水平転送路７によって出力部８まで転送された後、出力部８から各信号電荷に応じた色信号（赤色信号，緑色信号，青色信号）が出力される。このようにして、固体撮像素子１００から赤色信号，緑色信号，青色信号が読み出される。

Ｒ光電変換素子２、Ｂ光電変換素子４、及び信号電荷蓄積部３の各読み出しゲート２０は、Ｒ光電変換素子２、Ｂ光電変換素子４、及び信号電荷蓄積部３のそれぞれの左側に配置された垂直転送路６側に設けられる。つまり、信号電荷蓄積部３の左側に配置された垂直転送路６は、緑色の信号電荷のみを転送するための専用の転送路となり、光電変換素子２,４の左側に配置された垂直転送路６は、赤色及び青色の信号電荷のみを転送するための専用の転送路となる。

図２に示すように、ｎ型半導体基板１の表面部にはｐウェル層１１が形成され、ｐウェル層１１の表面部の青色（Ｂ）画素領域にはｎ領域４が形成され、ｐウェル層１１とｎ領域４との間に、Ｂ光電変換素子４としてのフォトダイオードが形成され、発生した信号電荷は、ｎ領域４に蓄積される。

図示の例では、２つのｎ領域４の間のｐウェル層１１の表面部にｎ領域３が形成され、このｎ領域３が、緑色の信号電荷蓄積部３となる。各ｎ領域３,４の右側には、夫々少し離間してｎ領域６が設けられ、夫々のｎ領域６が、図１に示す垂直転送路６を構成する。ｎ領域６の表面部にはｎ領域３，４まで達する読み出し電極１２を兼用する転送電極が形成され、各転送電極の上には、遮光膜１３が設けられている。読み出し電極１２と重なるｐウェル層１１の部分が、図１の読み出しゲート２０に相当する。

各ｎ領域３，４の左側面部及び表面部にはｐ＋領域１４が設けられ、隣接垂直転送路６との分離が図られると共に、表面部の欠陥準位低減が図られる。半導体基板１の最表面には、図示しない酸化シリコン膜が形成され、その上に、上記の転送電極１２が形成される。

ｎ領域４の上方の遮光膜１３の開口位置の上部には、青色を透過するカラーフィルタ１５が設けられる。カラーフィルタ１５及び遮光膜１３，転送電極１２は透明の絶縁層１７内に埋設される。

絶縁層１７の表面には、図１で説明した透明の画素電極膜５が区分けして形成され、各画素電極膜５とｎ領域３とは、縦配線１８によって接続される。この縦配線１８は、接続される画素電極膜５及びｎ領域３以外とは電気的に絶縁される。各画素電極膜５の上には、半導体基板１全面にわたる光電変換膜１９が積層され、その上に、共通の透明の対向電極膜２０が形成される。画素電極膜５は、光電変換膜１９における光電変換領域を決定するものであり、対向電極膜２０と画素電極膜５で挟まれた光電変換膜１９の領域が、光電変換領域となる。そして、信号電荷蓄積部３には、この光電変換領域で発生した信号電荷が蓄積される。

尚、図２はＢ光電変換素子４と信号電荷蓄積部３とを含む部分の断面を示したが、Ｒ光電変換素子２と信号電荷蓄積部３とを含む部分の断面については、図２においてｎ領域４がｎ領域２となり、カラーフィルタ１５が赤色を透過する赤色用カラーフィルタになる以外は同様の構成であるため、その説明を省略する。

斯かる構成の固体撮像素子１００に光が入射すると、入射光の内の緑色の波長領域の光は光電変換膜１９に吸収され、緑色の信号電荷が光電変換膜１９内に発生するが、この信号電荷は、画素電極膜５にバイアス電位を印加することで、縦配線１８を通ってｎ領域３に流れ込み、ここで蓄積される。

入射光のうちの赤色（Ｒ）及び青色（Ｂ）の波長領域の光は光電変換膜１９を透過し、赤色光は赤色用カラーフィルタを透過してｎ領域２に入射する。これにより、赤色光の光量に応じた信号電荷が発生しｎ領域２に蓄積される。同様に、青色光はカラーフィルタ１５を透過してｎ領域４に入射し、青色光の光量に応じた信号電荷がｎ領域４に蓄積される。

各ｎ領域２，３，４に蓄積された赤色，緑色，青色の各信号電荷は、読み出し電極１２に高電位が加わることで垂直転送路６に読み出され、ここから水平転送路７まで転送され、水平転送路７において出力部８まで転送された後、出力部８から各信号電荷に応じた色信号が出力される。

以上のように、本実施形態の固体撮像素子１００によれば、垂直転送路６の電荷転送容量を、インターライン型ＣＣＤよりも大きくすることができる。図２に示すような構成の固体撮像素子１００において、信号読み出し回路として電荷転送容量の大きい垂直転送路を採用することは、画素電極膜５の面積や光電変換素子の大きさの拡大を図ることに繋がり、より高品質のカラー画像データを生成することが可能になる。

又、本実施形態の固体撮像素子１００によれば、既存のＣＣＤ型イメージセンサの信号読み出し方式をそのまま適用可能となり、製造コストの低減を図ることができる。

又、本実施形態の固体撮像素子１００によれば、半導体基板１として、既存の単板式カラーＣＣＤ型イメージセンサやＣＭＯＳ型イメージセンサの設計をそのまま利用して半導体基板１を製造し、既存のセンサで設ける必要のある緑色のカラーフィルタの代わりに縦配線１８を形成し、上層部に画素電極膜５，光電変換膜１９，対向電極膜２０を形成するだけで製造することができるため、製造コストの低減を図ることができる。

尚、本実施形態の固体撮像素子１００においては、図３に示すように、対向電極膜２０の上部にマイクロレンズ５０を搭載し、赤色，青色の入射光を各ｎ領域２，４の遮光膜１３開口内側に集光するのが好ましい。又、図４に示すように、カラーフィルタ１５及び赤色カラーフィルタと画素電極膜５との間にマイクロレンズ６０を搭載し、赤色，青色の入射光を各ｎ領域２，４の遮光膜１３開口内側に集光するのが好ましい。

又、Ｒ光電変換素子２，Ｂ光電変換素子４，信号電荷蓄積部３の配置や、Ｒ光電変換素子２，Ｂ光電変換素子４，画素電極膜５の大きさや形状等は、図１に示したものに限らず、図５に示したような構成をとることもできる。図５において図１と同様の構成には同一符号を付してある。

図５に示した構成は、Ｒ光電変換素子２及びＢ光電変換素子４と、画素電極膜５とが重ならないようにしたものである。このような構成にした場合には、画素電極膜５と光電変換素子２，４とが重ならないため、画素電極膜５をアルミニウムやタングステン等の透明でない金属で形成することが可能になり、その製造が容易になるという利点がある。又、図５のような構成にした場合には、緑色信号の重心位置が、信号電荷蓄積部３の位置と完全に一致するため、信号処理が容易であるという利点がある。

又、本実施形態では、固体撮像素子１００の半導体基板に、赤色を検出する光電変換素子と、青色を検出する光電変換素子の２種類の光電変換素子を設けた構成としているが、これに限らず、２種類以上の光電変換素子を設けた構成であっても良い。

又、本実施形態では、信号読み出し回路をＣＣＤ型イメージセンサと同様に電荷転送路で構成したが、各ｎ領域２，３，４の脇に信号読み出し用のＭＯＳトランジスタを形成し、従来のＣＭＯＳ型イメージセンサと同様に各ｎ領域２，３，４から色信号を読み出すことも可能である。

固体撮像素子１００は、図２に示すように、下層部に設けられたＲ光電変換素子２やＢ光電変換素子４の開口率が、上層部に設けられた光電変換膜１９の開口率よりも遥かに低い。又、一定光量の入射光が固体撮像素子１００に入射した場合、下層部に設けられたＲ光電変換素子２やＢ光電変換素子４に入射する光の量は、カラーフィルタ、遮光膜１３、縦配線１８、及び開口率等の影響により、光電変換膜１９に入射する光の量よりも少なくなる。このため、上層部で得られる色信号の感度と下層部で得られる色信号の感度にばらつきが生じたり、下層部で得られる色信号のＳ／Ｎ（信号対雑音比）が劣化したりして、固体撮像素子１００から得られる色信号を用いてカラー画像データを生成した場合、その品質が低下してしまう。以下、上記感度ばらつきやＳ／Ｎの劣化を防ぐことが可能な撮像装置について説明する。

本発明の第一実施形態を説明するための撮像装置は、被写体を撮影してカラー画像データを生成することが可能なものであり、例えばデジタルカメラである。

図６は、本発明の第一実施形態を説明するためのデジタルカメラの概略構成を示す図である。
図６のデジタルカメラは、撮像部３１と、アナログ信号処理部３２と、Ａ／Ｄ変換部３３と、駆動部３４と、ストロボ３５と、デジタル信号処理部３６と、圧縮／伸張処理部３７と、表示部３８と、システム制御部３９と、内部メモリ４０と、メディアインタフェース４１と、記録メディア４２と、操作部４３とを備える。デジタル信号処理部３６、圧縮／伸張処理部３７、表示部３８、システム制御部３９、内部メモリ４０、及びメディアインタフェース４１は、システムバス４４に接続されている。

撮像部３１は、撮影レンズ等の光学系及び図１に示した固体撮像素子１００によって被写体の撮影を行うものであり、アナログの色信号（赤色信号、青色信号、及び緑色信号）を出力する。アナログ信号処理部３２は、撮像部３１で得られた色信号に所定のアナログ信号処理を施す。Ａ／Ｄ変換部３３は、アナログ信号処理部３２で処理後のアナログの色信号をデジタル変換する。

撮影に際しては、駆動部３４を介して光学系及び固体撮像素子１００の制御が行われる。固体撮像素子１００は、操作部４３の一部であるレリーズボタン（図示せず）の操作によるレリーズスイッチ（図示せず）オンを契機として、所定のタイミングで、駆動部３４に含まれるタイミングジェネレータ（図６ではＴＧと記載）からの駆動信号によって駆動され、Ｒ光電変換素子２，Ｂ光電変換素子４，信号電荷蓄積部３に蓄積された信号電荷に応じたアナログの色信号がアナログ信号処理部３２に出力される。本実施形態では、固体撮像素子１００からの色信号の読み出しを、固体撮像素子１００の奇数行と偶数行の２回に分けて読み出すインターレース読み出しにより行うが、奇数行と偶数行とを一緒に読み出すプログレッシブ読み出しを採用することも可能である。駆動部３４は、システム制御部３９によって所定の駆動信号を出力する。

デジタル信号処理部３６は、Ａ／Ｄ変換部３３からのデジタルの色信号に対して、操作部４３によって設定された動作モードに応じたデジタル信号処理を行う。デジタル信号処理部３６が行う処理には、黒レベル補正処理（ＯＢ処理）、リニアマトリクス補正処理、ホワイトバランス調整処理、ガンマ補正処理、カラー画像データ生成処理、及びＹ／Ｃ変換処理等が含まれる。デジタル信号処理部３６は、例えばＤＳＰで構成される。

圧縮／伸張処理部３７は、デジタル信号処理部３６で得られたＹ／Ｃデータに対して圧縮処理を施すとともに、記録メディア４２から得られた圧縮画像データに対して伸張処理を施す。

表示部３８は、例えばＬＣＤ表示装置を含んで構成され、撮影されてデジタル信号処理を経たカラー画像データに基づくカラー画像を表示する。記録メディア４２に記録された圧縮画像データを伸張処理して得た画像データに基づく画像の表示も行う。また、撮影時のスルー画像、デジタルカメラの各種状態、操作に関する情報の表示等も可能である。

内部メモリ４０は、例えばＤＲＡＭであり、デジタル信号処理部３６やシステム制御部３９のワークメモリとして利用される他、記録メディア４２に記録される撮影画像データを一時的に記憶するバッファメモリや表示部３８への表示画像データのバッファメモリとしても利用される。メディアインタフェース４１は、メモリカード等の記録メディア４２との間のデータの入出力を行うものである。

システム制御部３９は、所定のプログラムによって動作するプロセッサを主体に構成され、撮影動作を含むデジタルカメラ全体の制御を行う。

操作部４３は、デジタルカメラ使用時の各種操作を行うものである。

図６に示すデジタルカメラは、カラー画像データの１画素データを構成する緑色信号については、固体撮像素子１００の上層部から得られる緑色信号をそのまま用い、カラー画像データの１画素データを構成する赤色信号，青色信号については、下層部から得られる赤色信号，青色信号を用いてカラー画像データの画素数分の赤色信号，青色信号を生成することで、カラー画像データを生成する。つまり、本実施形態のデジタルカメラは、カラー画像データの画素数に等しい数の緑色信号のみを出力する固体撮像素子と、カラー画像データの画素数に等しい数の赤色信号及び青色信号のみを出力する固体撮像素子の２つの固体撮像素子を用いてカラー画像データを生成するデジタルカメラと同じ処理を行うものであり、公知の２板式や３板式ＣＣＤ型イメージセンサを備えるデジタルカメラと同様の処理によってカラー画像データを生成する。

以下、図６に示すデジタルカメラの動作について説明する。
レリーズスイッチがオンとなると、駆動部３４によって固体撮像素子１００が駆動され、固体撮像素子１００により被写体の撮像が行われる。まず、Ｒ光電変換素子２，Ｂ光電変換素子４に蓄積された信号電荷に応じた赤色信号及び青色信号が固体撮像素子１００からアナログ信号処理部３２に出力され、次に、信号電荷蓄積部３に蓄積された信号電荷に応じた緑色信号が固体撮像素子１００からアナログ信号処理部３２に出力される。赤色信号，青色信号，緑色信号は、アナログ信号処理部３２、Ａ／Ｄ変換部３３を経て、デジタル信号処理部３６に入力される。

デジタル信号処理部３６は、入力された赤色信号，青色信号，緑色信号を、各色信号が得られたｎ領域２，３，４の配置と対応付けて内部メモリ４０上でマッピングする。

以下では、カラー画像データの１画素データに対応する光電変換素子２又は４を中心とする３行３列の９つの光電変換素子から得られた色信号と、カラー画像データの１画素データに対応する信号電荷蓄積部３を中心とする３行３列の９つの信号電荷蓄積部３から得られた色信号とを用いて、デジタル信号処理部３６によるカラー画像データ生成処理を説明する。

図７は、内部メモリ４０にマッピングされた色信号を示す図である。図７（ａ）は、カラー画像データの１画素データに対応する信号電荷蓄積部３を中心とする９つの信号電荷蓄積部３から得られた色信号（図では“Ｇ”で示す）をマッピングした状態を示す図であり、図７（ｂ）は、カラー画像データの１画素データに対応するＲ光電変換素子２を中心とする９つの光電変換素子から得られた色信号（図では赤色信号を“Ｒ”、青色信号を“Ｂ”で示す）をマッピングした状態を示す図である。尚、図１に示す構成では、緑色信号の重心位置は、実際には画素電極膜５の中心位置になるが、本実施形態では、緑色信号の重心位置を信号電荷蓄積部３の位置とした。

図７では、各色信号において、カラー画像データの１画素データに対応する点をサンプル点と定義し、各サンプル点に符号ａ〜ｉを付した。

デジタル信号処理部３６は、図７に示す各サンプル点に赤色信号、青色信号、緑色信号の３色の信号を持たせて１画素データを生成する処理を行う。

以下、各サンプル点にカラー画像データを生成するときの信号処理について説明する。

各サンプル点には、緑色信号が存在しており、この緑色信号については、上述したように十分な信号量が得られており、Ｓ／Ｎも良好であるため、デジタル信号処理部３６は、各サンプル点における緑色信号を、そのまま１画素データを構成する緑色信号とする（図８（ａ）参照）。

赤色信号と青色信号については、Ｒ光電変換素子２，Ｂ光電変換素子４に蓄積された信号電荷に応じた色信号であるため、上述したように信号量が少なく、Ｓ／Ｎが良くない。

そこで、デジタル信号処理部３６は、赤色信号のあるサンプル点については、そのサンプル点にある赤色信号と、そのサンプル点の周辺のサンプル点（例えば、そのサンプル点に隣接するサンプル点）にある赤色信号とを用いて、赤色信号のあるサンプル点に、１画素データを構成する赤色信号を生成する（図８（ｂ）参照）。

例えば、サンプル点ａと、それに隣接するサンプル点ｆ〜ｉにある各赤色信号に予め定めた係数を乗じて、係数を乗じた後の各赤色信号を積算して得られる信号を、サンプル点ａにおける１画素データを構成する赤色信号とする。この係数は例えば、１／５（図９（ａ）参照）や１等の任意の数値にすることができる。

係数を１／５とした場合、新しく生成したサンプル点ａの赤色信号の信号量は、１つのＲ光電変換素子２から得られる赤色信号の信号量とほぼ同じであり、赤色信号の感度を上げることはできないが、その分、Ｓ／Ｎは良くすることができる。一方、係数を１とした場合、新しく生成したサンプル点ａの赤色信号の信号量は、１つのＲ光電変換素子２から得られる赤色信号の信号量の５倍にすることができるため、赤色信号の感度を上げることはできるが、その分、Ｓ／Ｎは劣化する。

デジタル信号処理部３６は、青色信号についても同様に、青色信号のあるサンプル点については、そのサンプル点にある青色信号と、そのサンプル点に隣接するサンプル点にある青色信号とを用いて、青色信号のあるサンプル点に、１画素データを構成する青色信号を生成する。

次に、デジタル信号処理部３６は、１画素データを構成する赤色信号又は青色信号が存在していないサンプル点に、１画素データを構成する赤色信号又は青色信号を補間する処理を行う。この補間は公知の様々な手法を用いることができる。例えば、サンプル点ａに青色信号を補間する場合には、サンプル点ａの周辺のサンプル点ｂ〜ｅにある各青色信号に、予め定めた係数を乗じて、係数を乗じた後の各青色信号を積算して得られる信号を、サンプル点ａにおける１画素データを構成する青色信号とする。この係数は例えば１／４（図９（ｂ）参照）や１等の任意の数値にすることができる。

このようにしてデジタル信号処理部３６は、各サンプル点に１画素データを構成する赤色信号，青色信号，緑色信号を持たせる処理を行う。

カラー画像データを構成する赤色信号及び青色信号の生成は、感度を優先するのか、Ｓ／Ｎを優先するのかを、デジタルカメラの動作モードに応じて決定することが可能である。例えば、撮影ＩＳＯ感度が高く設定された場合や光量が足りないシーンでの撮影の場合等には、上記係数を１にして感度をアップさせたカラー画像データを生成したり、撮影ＩＳＯ感度が低く設定された場合や光量が多すぎるシーンでの撮影の場合等には、上記係数を１／４や１／５にしてＳ／Ｎを良好にしたカラー画像データを生成したりすれば良い。

サンプル点のマップ上の座標を、サンプル点ａを原点として（ｍ，ｎ）としたとき、赤色信号が存在するサンプル点に、１画素データを構成する赤色信号、青色信号、緑色信号を生成する際の上記処理を数式で示すと以下のようになる。

以下の式において、ｋ（ｍ，ｎ）は座標（ｍ，ｎ）のサンプル点に設定される係数、ｇ（ｍ，ｎ）は座標（ｍ，ｎ）のサンプル点における１画素データの生成処理前の緑色信号（１画素データに対応する信号電荷蓄積部３から得られた緑色信号）、ｂ（ｍ，ｎ）は座標（ｍ，ｎ）のサンプル点における１画素データの生成処理前の青色信号（１画素データに対応するＢ光電変換素子４から得られた青色信号）、ｒ（ｍ，ｎ）は座標（ｍ，ｎ）のサンプル点における１画素データの生成処理前の赤色信号（１画素データに対応するＲ光電変換素子２から得られた赤色信号）、Ｇ（ｍ，ｎ）は座標（ｍ，ｎ）のサンプル点における１画素データの生成処理後の緑色信号、Ｂ（ｍ，ｎ）は座標（ｍ，ｎ）のサンプル点における１画素データの生成処理後の青色信号、Ｒ（ｍ，ｎ）は座標（ｍ，ｎ）のサンプル点における１画素データの生成処理後の赤色信号である。

Ｇ（ｍ，ｎ）＝ｇ（ｍ，ｎ）
Ｂ（ｍ，ｎ）＝ｋ（ｍ，ｎ＋１）＊ｂ（ｍ，ｎ＋１）＋ｋ（ｍ−１，ｎ）＊ｂ（ｍ−１，ｎ）＋ｋ（ｍ＋１，ｎ）＊ｂ（ｍ＋１，ｎ）＋ｋ（ｍ，ｎ−１）＊ｂ（ｍ，ｎ−１）
Ｒ（ｍ，ｎ）＝ｋ（ｍ−１，ｎ＋１）＊ｒ（ｍ−１，ｎ＋１）＋ｋ（ｍ＋１，ｎ＋１）＊ｒ（ｍ＋１，ｎ＋１）＋ｋ（ｍ，ｎ）＊ｒ（ｍ，ｎ）＋ｋ（ｍ−１，ｎ−１）＊ｒ（ｍ−１，ｎ−１）＋ｋ（ｍ＋１，ｎ−１）＊ｒ（ｍ＋１，ｎ−１）
ただし、ｂ（ｍ，ｎ）は、加算処理後の新しく生成した青色信号とする。

一方、青色信号が存在するサンプル点に、１画素データを構成する赤色信号、青色信号、緑色信号を生成する際の上記処理を数式で示すと以下のようになる。

Ｇ（ｍ，ｎ）＝ｇ（ｍ，ｎ）
Ｂ（ｍ，ｎ）＝ｋ（ｍ−１，ｎ＋１）＊ｂ（ｍ−１，ｎ＋１）＋ｋ（ｍ＋１，ｎ＋１）＊ｂ（ｍ＋１，ｎ＋１）＋ｋ（ｍ，ｎ）＊ｂ（ｍ，ｎ）＋ｋ（ｍ−１，ｎ−１）＊ｂ（ｍ−１，ｎ−１）＋ｋ（ｍ＋１，ｎ−１）＊ｂ（ｍ＋１，ｎ−１）
Ｒ（ｍ，ｎ）＝ｋ（ｍ，ｎ＋１）＊ｒ（ｍ，ｎ＋１）＋ｋ（ｍ−１，ｎ）＊ｒ（ｍ−１，ｎ）＋ｋ（ｍ＋１，ｎ）＊ｒ（ｍ＋１，ｎ）＋ｋ（ｍ，ｎ−１）＊ｒ（ｍ，ｎ−１）
ただし、ｒ（ｍ，ｎ）は、加算処理後の新しく生成した赤色信号とする。

以上のように本実施形態のデジタルカメラによれば、被写体を撮影してカラー画像データを生成する際、カラー画像データの各画素データを構成する赤色信号及び青色信号の感度をアップさせたり、又はＳ／Ｎを向上させたりすることができるため、高品質のカラー画像データを生成することができる。

尚、以上の説明では、デジタル信号処理部３６によってカラー画像データを生成するものとしたが、デジタル信号処理部３６の行う処理を、アナログ信号処理部３２において行うことも可能である。この場合、アナログ信号処理部３２は、撮像部３１から入力されたアナログの赤色信号，青色信号，緑色信号を用い、上記デジタル信号処理部３６が行ったのと同じ処理を行って、アナログのカラー画像データを生成すれば良い。又、アナログ信号処理部３２では、赤色信号同士の加算処理や青色信号同士の加算処理をローパスフィルタを用いて行うことも可能である。

又、以上の説明では、撮像部３１から出力された色信号に信号処理を行うことで、高品質のカラー画像データを生成可能としているが、信号処理ではなく、色信号の読み出し方法を制御することでも、同様の効果を得ることが可能である。

この場合は、駆動部３４が、固体撮像素子１００から色信号を読み出す駆動制御を行う際に、１画素データに対応する光電変換素子に蓄積される信号電荷と、その光電変換素子に隣接する同一種類の光電変換素子に蓄積される信号電荷とが、垂直転送路６及び水平転送路７において混合されるように固体撮像素子１００を駆動すれば良い。

例えば、１画素データに対応する光電変換素子を、図１に示す固体撮像素子１００の３行目の左から２番目のＲ光電変換素子２とすると、駆動部３４は、Ｒ光電変換素子２に蓄積される信号電荷と、Ｒ光電変換素子２に隣接する同一種類の４つのＲ光電変換素子２の各々に蓄積される４つの信号電荷とが垂直転送路６及び水平転送路７において混合されるように駆動パルスのタイミングを制御する。
又、駆動部３４は、Ｂ光電変換素子４についても同様に、Ｂ光電変換素子４に蓄積される信号電荷と、Ｂ光電変換素子４に隣接する同一種類の４つのＢ光電変換素子４の各々に蓄積される４つの信号電荷とが垂直転送路６及び水平転送路７において混合されるように駆動パルスのタイミングを制御する。

そして、デジタル信号処理部３６は、固体撮像素子１００から得られた赤色信号及び青色信号を用いて信号補間処理を行い、固体撮像素子１００から得られた緑色信号と共にカラー画像データを生成すれば良い。

この場合は、固体撮像素子１００から得られる赤色信号及び青色信号の数がそれぞれ１／５となってしまうため、解像度が落ちてしまうが、デジタル信号処理部３６が行う処理で用いる係数を１にしたのと同様の効果を得ることができる。したがって、固体撮像素子１００からは高感度の赤信号，青信号，緑信号を取り出すことができ、高品質のカラー画像データを生成することができる。

（第二実施形態）
図１に示したように、緑色信号についてはカラー画像データの全画素データ数分が出力されるが、赤色及び青色信号についてはそれぞれカラー画像データの全画素データ数分が出力されないような固体撮像素子の場合は、赤色信号及び青色信号を補間する処理を行うため、偽色が発生する恐れがある。本実施形態では、この偽色の発生を抑えることが可能な信号処理について説明する。この信号処理は、図６に示すデジタル信号処理部３６又はアナログ信号処理部３２で実行される。

以下では、カラー画像データの１画素データに対応する光電変換素子２又は４を中心とする３行３列の９つの光電変換素子から得られた色信号と、カラー画像データの１画素データに対応する信号電荷蓄積部３を中心とする３行３列の９つの信号電荷蓄積部３から得られた色信号とを用いて、信号処理方法を説明する。

図１０は、内部メモリ４０にマッピングされた色信号を示す図である。図１０（ａ）は、カラー画像データの１画素データに対応する信号電荷蓄積部３を中心とする９つの信号電荷蓄積部３から得られた色信号（図では“Ｇ”で示す）をマッピングした状態を示す図であり、図１０（ｂ）は、カラー画像データの１画素データに対応するＢ光電変換素子４を中心とする９つの光電変換素子から得られた色信号（図では赤色信号を“Ｒ”、青色信号を“Ｂ”で示す）をマッピングした状態を示す図である。

図１０において、各色信号のサンプル点には符号ａ〜ｉを付した。又、図１０において、サンプル点ａの座標を原点（ｍ，ｎ）とし、座標（ｍ，ｎ）に設定される係数をｋ（ｍ，ｎ）とする。又、座標（ｍ，ｎ）のサンプル点にある緑色信号をｇ（ｍ，ｎ）、座標（ｍ，ｎ）のサンプル点にある赤色信号をｒ（ｍ，ｎ）、座標（ｍ，ｎ）のサンプル点にある青色信号をｂ（ｍ，ｎ）とする。

以下、各サンプル点にカラー画像データを生成するときの信号処理について説明する。

図１１は、本実施形態のデジタルカメラのデジタル信号処理部が行う信号処理を説明するためのフローチャートである。
デジタル信号処理部３６は、固体撮像素子１００から緑色信号（第１の色信号）、赤色信号（第２の色信号）、及び青色信号（第３の色信号）を取得し（Ｓ１）、各サンプル点ａ〜ｉの赤色又は青色信号から、それらのサンプル点と同一のサンプル点にある緑色信号を減算して、各サンプル点について赤色信号と緑色信号の差分である色信号ｘ（第４の色信号）と、青色信号と緑色信号の差分である色信号ｙ（第５の色信号）を生成する（Ｓ２，図１２参照）。座標（ｍ，ｎ）にある色信号ｘをｘ（ｍ，ｎ）、座標（ｍ，ｎ）にある色信号ｙをｙ（ｍ，ｎ）とすると、ｘ（ｍ，ｎ）及びｙ（ｍ，ｎ）は以下の式（１）、（２）により求まる。

ｘ（ｍ，ｎ）＝ｒ（ｍ，ｎ）−ｇ（ｍ，ｎ） （１）
ｙ（ｍ，ｎ）＝ｂ（ｍ，ｎ）−ｇ（ｍ，ｎ） （２）

次に、デジタル信号処理部３６は、各サンプル点に色信号ｘ及び色信号ｙの２つが存在するように、色信号ｘや色信号ｙの信号補間を行う（Ｓ３，図１３参照）。例えば、色信号ｘの存在しないサンプル点であってかつ色信号ｙの存在するサンプル点に、そのサンプル点の周辺の色信号ｘを用いて色信号ｘを補間したり、色信号ｙの存在しないサンプル点であってかつ色信号ｘの存在するサンプル点に、そのサンプル点の周辺の色信号ｙを用いて色信号ｙを補間したりする。信号補間については様々な手法があるので、ここでは説明を省略する。

次に、デジタル信号処理部３６は、各サンプル点にある緑色信号、色信号ｘ、又は色信号ｙと、各サンプル点の周辺のサンプル点にある緑色信号、色信号ｘ、又は色信号ｙとを所定の割合で加算して、各サンプル点に、色信号ｘをぼかした色信号Ｘ（第６の色信号），色信号ｙをぼかした色信号Ｙ（第７の色信号），緑色信号をぼかした色信号Ｇ’を生成する（Ｓ４）。

デジタル信号処理部３６は、例えば、サンプル点ａにある色信号ｘと、サンプル点ａの周辺のサンプル点ｂ〜ｉにある各色信号ｘに予め定めた係数を乗じて、係数を乗じた後の各色信号ｘを積算して得られる信号を、サンプル点ａの色信号Ｘとする（図１４（ａ）参照）。
又、サンプル点ａにある色信号ｙと、サンプル点ａの周辺のサンプル点ｂ〜ｉにある各色信号ｙに予め定めた係数を乗じて、係数を乗じた後の各色信号ｙを積算して得られる信号を、サンプル点ａの色信号Ｙとする（図１４（ｂ）参照）。
又、サンプル点ａにある緑色信号と、サンプル点ａの周辺のサンプル点ｂ〜ｉにある各緑色信号に予め定めた係数を乗じて、係数を乗じた後の各緑色信号を積算して得られる信号を、サンプル点ａの色信号Ｇ’とする（図１４（ｃ）参照）。

各サンプル点に設定する係数としては、例えば、図１５（ａ）に示すようにサンプル点ａに重み付けしたものや、図１５（ｂ）に示すように各点に均等にしたものを用いる。

座標（ｍ，ｎ）のサンプル点に生成する色信号Ｘ（ｍ，ｎ），色信号Ｙ（ｍ，ｎ），色信号Ｇ’（ｍ，ｎ）は以下の式（３）、（４）、（５）により求まる。

Ｇ’（ｍ，ｎ）＝ｋ（ｍ−１，ｎ＋１）＊ｇ（ｍ−１，ｎ＋１）＋ｋ（ｍ，ｎ＋１）＊ｇ（ｍ，ｎ＋１）＋ｋ（ｍ＋１，ｎ＋１）＊ｇ（ｍ＋１，ｎ＋１）＋ｋ（ｍ−１，ｎ）＊ｇ（ｍ−１，ｎ）＋ｋ（ｍ，ｎ）＊ｇ（ｍ，ｎ）＋ｋ（ｍ＋１，ｎ）＊ｇ（ｍ＋１，ｎ）＋ｋ（ｍ−１，ｎ−１）＊ｇ（ｍ−１，ｎ−１）＋ｋ（ｍ，ｎ−１）＊ｇ（ｍ，ｎ−１）＋ｋ（ｍ＋１，ｎ−１）＊ｇ（ｍ＋１，ｎ−１） （３）

Ｘ（ｍ，ｎ）＝ｋ（ｍ−１，ｎ＋１）＊ｘ（ｍ−１，ｎ＋１）＋ｋ（ｍ，ｎ＋１）＊ｘ（ｍ，ｎ＋１）＋ｋ（ｍ＋１，ｎ＋１）＊ｘ（ｍ＋１，ｎ＋１）＋ｋ（ｍ−１，ｎ）＊ｘ（ｍ−１，ｎ）＋ｋ（ｍ，ｎ）＊ｘ（ｍ，ｎ）＋ｋ（ｍ＋１，ｎ）＊ｘ（ｍ＋１，ｎ）＋ｋ（ｍ−１，ｎ−１）＊ｘ（ｍ−１，ｎ−１）＋ｋ（ｍ，ｎ−１）＊ｘ（ｍ，ｎ−１）＋ｋ（ｍ＋１，ｎ−１）＊ｘ（ｍ＋１，ｎ−１） （４）

Ｙ（ｍ，ｎ）＝ｋ（ｍ−１，ｎ＋１）＊ｙ（ｍ−１，ｎ＋１）＋ｋ（ｍ，ｎ＋１）＊ｙ（ｍ，ｎ＋１）＋ｋ（ｍ＋１，ｎ＋１）＊ｙ（ｍ＋１，ｎ＋１）＋ｋ（ｍ−１，ｎ）＊ｙ（ｍ−１，ｎ）＋ｋ（ｍ，ｎ）＊ｙ（ｍ，ｎ）＋ｋ（ｍ＋１，ｎ）＊ｙ（ｍ＋１，ｎ）＋ｋ（ｍ−１，ｎ−１）＊ｙ（ｍ−１，ｎ−１）＋ｋ（ｍ，ｎ−１）＊ｙ（ｍ，ｎ−１）＋ｋ（ｍ＋１，ｎ−１）＊ｙ（ｍ＋１，ｎ−１） （５）

色信号ｘは、もともと赤色信号から緑色信号を減算した信号であるため、ぼけた色信号Ｘにぼけた色信号Ｇ’を加算すると、ぼけた赤色の色信号Ｒを得ることができる。同様に、色信号ｙは、青色信号から緑色信号を減算した信号であるため、ぼけた色信号Ｙにぼけた色信号Ｇ’を加算すると、ぼけた青色の色信号Ｂを得ることができる。デジタル信号処理部３６は、以下の式（６）、（７）により、ぼけた色信号Ｒ及び色信号Ｂを求める（Ｓ５）。

Ｒ（ｍ，ｎ）＝Ｘ（ｍ，ｎ）＋Ｇ’（ｍ，ｎ） （６）
Ｂ（ｍ，ｎ）＝Ｙ（ｍ，ｎ）＋Ｇ’（ｍ，ｎ） （７）
ここで、Ｒ（ｍ，ｎ）：座標（ｍ，ｎ）のサンプル点にあるぼけた色信号Ｒ、Ｂ（ｍ，ｎ）：座標（ｍ，ｎ）のサンプル点にあるぼけた色信号Ｂ

最後に、デジタル信号処理部３６は、ぼけた色信号Ｒとぼけた色信号Ｂから、１画素データを構成する赤色の色信号Ｒ’と、１画素データを構成する青色の色信号Ｂ’とを以下の式（８）、（９）により求め、１画素データを構成する緑色の色信号Ｇ’’を以下の式（１０）により求める（Ｓ６）。

Ｒ’（ｍ，ｎ）＝Ｒ（ｍ，ｎ）＋｛ｇ（ｍ，ｎ）−Ｇ’（ｍ，ｎ）｝＝Ｘ（ｍ，ｎ）＋ｇ（ｍ，ｎ） （８）
Ｂ’（ｍ，ｎ）＝Ｂ（ｍ，ｎ）＋｛ｇ（ｍ，ｎ）−Ｇ’（ｍ，ｎ）｝＝Ｙ（ｍ，ｎ）＋ｇ（ｍ，ｎ） （９）
Ｇ’’（ｍ，ｎ）＝Ｇ’（ｍ，ｎ）＋｛ｇ（ｍ，ｎ）−Ｇ’（ｍ，ｎ）｝＝ｇ（ｍ，ｎ） （１０）
ここで、Ｒ’（ｍ，ｎ）：座標（ｍ，ｎ）のサンプル点に生成する色信号Ｒ’、Ｂ’（ｍ，ｎ）：座標（ｍ，ｎ）のサンプル点に生成する色信号Ｂ’、Ｇ’’（ｍ，ｎ）：座標（ｍ，ｎ）のサンプル点に生成する色信号Ｇ’’

デジタル信号処理部３６は、以上の信号処理により、各サンプル点に赤色信号Ｒ’，青色信号Ｂ’，緑色信号Ｇ’’を生成する。

以上のように、本実施形態の信号処理によれば、全てのサンプル点について存在している緑色信号を利用して、１画素データを構成する色信号Ｒ’及び色信号Ｂ’を生成しているため、各サンプル点にある赤色信号又は青色信号のみを用いて色信号Ｒ’及び色信号Ｂ’を生成する場合に比べて、偽色を目立たなくすることができる。

尚、式（８）〜（１０）を見てわかるように、１画素データを構成する赤色信号Ｒ’は、同一サンプル点にある色信号Ｘと緑色信号を加算して求めることができ、１画素データを構成する青色信号Ｂ’は、同一サンプル点にある色信号Ｙと緑色信号を加算して求めることができ、１画素データを構成する緑色信号Ｇ’’は、緑色信号そのものである。このため、図１１のフローは図１６のように簡略化することができる。

図１６は、本実施形態のデジタルカメラのデジタル信号処理部が行う信号処理を説明するためのフローチャートの変形例である。図１６において図１１と同様の処理には同一符号を付してある。
Ｓ３で各サンプル点に色信号ｘ、ｙを補間した後、デジタル信号処理部３６は、各サンプル点にある色信号ｘ又は色信号ｙと、各サンプル点の周辺のサンプル点にある色信号ｘ又は色信号ｙとを所定の割合で加算して、各サンプル点に、色信号ｘをぼかした色信号Ｘ（第６の色信号），色信号ｙをぼかした色信号Ｙ（第７の色信号）を生成する（Ｓ７）。

次に、デジタル信号処理部３６は、同一サンプル点にある色信号Ｘと緑色信号を加算して１画素データを構成する赤色信号Ｒ’を各サンプル点に生成し、同一サンプル点にある色信号Ｙと緑色信号を加算して１画素データを構成する青色信号Ｂ’を各サンプル点に生成する（Ｓ８）。Ｓ１で取得した各サンプル点にある緑色信号は１画素データを構成する緑色信号Ｇ’’となるため、これらの処理によって各サンプル点に赤色信号Ｒ’，青色信号Ｂ’，緑色信号の３つの信号を持たせることができる。

又、図１６のフローでは、Ｓ４において、各サンプル点に色信号Ｘ、色信号Ｙを生成しているが、Ｓ２の処理後に色信号ｘが存在するサンプル点（赤色信号が存在しているサンプル点と等価）については、そのサンプル点に存在している赤色信号を、そのまま赤色信号Ｒ’として扱うことができるため、そのサンプル点については、色信号Ｘを生成してから緑色信号を加算して赤色信号Ｒ’を生成する処理は行わなくても良い。同様に、Ｓ２の処理後に色信号ｙが存在するサンプル点（青色信号が存在しているサンプル点と等価）については、そのサンプル点に存在している青色信号を、そのまま青色信号Ｂ’として扱うことができるため、そのサンプル点については、色信号Ｙを生成してから緑色信号を加算して青色信号Ｂ’を生成する処理は行わなくても良い。以下、この場合のフローについて図１７を参照して説明する。

図１７は、本実施形態のデジタルカメラのデジタル信号処理部が行う信号処理を説明するためのフローチャートの変形例である。図１７において図１６と同様の処理には同一符号を付してある。
Ｓ３で各サンプル点に色信号ｘ、ｙを補間した後、デジタル信号処理部３６は、もともと色信号ｘが存在していなかったサンプル点に補間した色信号ｘと、該サンプル点の周辺にある色信号ｘとを所定の割合で加算して、該サンプル点に色信号Ｘを生成し、もともと色信号ｙが存在していなかったサンプル点に補間した色信号ｙと、該サンプル点の周辺にある色信号ｙとを所定の割合で加算して、該サンプル点に色信号Ｙを生成する（Ｓ９、図１８左図参照）。

次に、デジタル信号処理部３６は、同一サンプル点にある色信号Ｘと緑色信号を加算して、１画素データを構成する赤色信号Ｒ’を生成し、同一サンプル点にある色信号Ｙと緑色信号を加算して、１画素データを構成する青色信号Ｂ’を生成する（Ｓ１０、図１８右図参照）。赤色信号Ｒ’および赤色信号Ｂ’を生成しなかったサンプル点については、Ｓ１で取得した赤色信号，青色信号をそのまま赤色信号Ｒ‘，青色信号Ｂ’として扱うことができるため、各サンプル点に赤色信号Ｒ’，青色信号Ｂ’，緑色信号の３つの信号を持たせることができる。

又、本実施形態の信号処理においては、図１１，図１６，図１７のそれぞれのＳ１の処理の前に、第一実施形態で説明したような信号処理（各サンプル点にある赤色信号又は青色信号と、そのサンプル点の周辺のサンプル点（例えばそのサンプル点に隣接するサンプル点）にある赤色信号又は青色信号とを所定の割合で加算して、新たな赤色信号又は青色信号を生成する処理）を行っておき、この信号処理によって得られた赤色信号及び青色信号を用いて、図１１，図１６，図１７のそれぞれのＳ１以降の処理を行うことが好ましい。このようにすることで、偽色が目立たず、且つ、感度アップ又はＳ／Ｎ向上がなされたカラー画像データを生成することができる。

又、本実施形態で説明した信号処理は、図１に示したような単板式の固体撮像素子を搭載する撮像装置に限らず、例えば、カラー画像データの最大画素データ数に等しい数の緑色信号のみを出力する固体撮像素子と、カラー画像データの最大画素データ数に等しい数の赤色信号及び青色信号のみを出力する固体撮像素子の２つの固体撮像素子を用いてカラー画像データを生成する撮像装置にも適用することができる。

又、本実施形態では、固体撮像素子の上層部に設ける光電変換膜を緑色を検出する光電変換膜とし、下層部に設ける光電変換素子を赤色及び青色を検出する光電変換素子としているが、これに限らない。本発明を実現するためには、上層部に設ける光電変換膜で検出する色と、下層部に設ける光電変換素子で検出する色とが異なっていれば良い。例えば、上層部に赤色を検出する光電変換膜を設け、下層部に青色と緑色を検出する光電変換素子を設けた構成や、上層部に青色を検出する光電変換膜を設け、下層部に赤色と緑色を検出する光電変換素子を設けた構成にすることも可能である。緑色は人間の視感度が他の色に比べて高いため、最も受光面積を大きくとることのできる上層部の光電変換膜を、緑色を検出するものにすることで、人間の感覚に近いカラー画像データを生成することができる。

本発明の第一実施形態を説明するための固体撮像素子の表面模式図 図１のI―I線断面模式図 本発明の第一実施形態を説明するための固体撮像素子にマイクロレンズを搭載した状態の断面模式図 本発明の第一実施形態を説明するための固体撮像素子にマイクロレンズを搭載した状態の断面模式図 本発明の第一実施形態を説明するための固体撮像素子の光電変換素子及び信号電荷蓄積部の別の配列例を示す図 本発明の第一実施形態を説明するためのデジタルカメラの概略構成を示す図 本発明の第一実施形態を説明するための固体撮像素子から得られる色信号をメモリ上にマッピングした状態を示す図 カラー画像データ生成処理を説明するための図 カラー画像データ生成処理に用いる係数を示す図 本発明の第二実施形態を説明するための固体撮像素子から得られる色信号をメモリ上にマッピングした状態を示す図 本発明の第二実施形態における信号処理を説明するためのフローチャート 本発明の第二実施形態における信号処理方法を説明するための図 本発明の第二実施形態における信号処理方法を説明するための図 本発明の第二実施形態における信号処理方法を説明するための図 本発明の第二実施形態における信号処理方法にて用いる係数の一例を示す図 本発明の第二実施形態における信号処理を説明するためのフローチャートの変形例 本発明の第二実施形態における信号処理を説明するためのフローチャートの変形例 本発明の第二実施形態における信号処理方法の変形例を説明するための図

符号の説明

１００ 固体撮像素子
１ 半導体基板
２ Ｒ光電変換素子
３ 信号電荷蓄積部
４ Ｂ光電変換素子
５ 画素電極膜
６ 垂直転送路
７ 水平転送路
８ 出力部
１８ 縦配線
２０ 読み出しゲート

Claims (5)

1. 被写体を撮像して得られる少なくとも３種類の色信号からカラー画像データを生成するカラー画像生成方法であって、
   前記３種類の色信号は、前記カラー画像データの全画素データに対応する数の第１の色信号と、前記カラー画像データの全画素データの一部に対応する数の第２の色信号と、前記一部以外に対応する数の第３の信号とを含み、
   前記第１の色信号、前記第２の色信号、及び前記第３の色信号を取得する色信号取得ステップと、
   前記色信号の同一サンプル点の前記第２の色信号から前記第１の色信号を減算して第４の色信号を生成する第４の色信号生成ステップと、
   前記色信号の同一サンプル点の前記第３の色信号から前記第１の色信号を減算して第５の色信号を生成する第５の色信号生成ステップと、
   前記第４及び第５の色信号に基づいて、前記カラー画像データの１画素データを構成する色信号を生成する色信号生成ステップとを含むカラー画像生成方法。
2. 請求項１記載のカラー画像生成方法であって、
   前記色信号生成ステップは、
   前記第４の色信号の存在しない点であってかつ前記第５の色信号の存在する点に、該点の周辺にある前記第４の色信号を用いて、前記第４の色信号を補間する第１の補間ステップと、
   前記第５の色信号の存在しない点であってかつ前記第４の色信号の存在する点に、該点の周辺にある前記第５の色信号を用いて、前記第５の色信号を補間する第２の補間ステップと、
   もともと前記第４の色信号が存在していなかったサンプル点に補間した前記第４の色信号と、該サンプル点の周辺にある前記第４の色信号とを所定の割合で加算して、該サンプル点に第６の色信号を生成する第６の色信号生成ステップと、
   もともと前記第５の色信号が存在していなかったサンプル点に補間した前記第５の色信号と、該サンプル点の周辺にある前記第５の色信号とを所定の割合で加算して、該サンプル点に第７の色信号を生成する第７の色信号生成ステップと、
   前記色信号の同一サンプル点にある前記第６の色信号又は前記第７の色信号と前記第１の色信号とを加算する加算ステップとを含み、
   前記加算ステップによって、前記１画素データを構成する色信号を生成するカラー画像生成方法。
3. 請求項１記載のカラー画像生成方法であって、
   前記色信号生成ステップは、
   前記第４の色信号の存在しない点であってかつ前記第５の色信号の存在する点に、該点の周辺にある前記第４の色信号を用いて、前記第４の色信号を補間する第１の補間ステップと、
   前記第５の色信号の存在しない点であってかつ前記第４の色信号の存在する点に、該点の周辺にある前記第５の色信号を用いて、前記第５の色信号を補間する第２の補間ステップと、
   各サンプル点にある前記第４の色信号と、各サンプル点の周辺にある前記第４の色信号とを所定の割合で加算して、各サンプル点に第６の色信号を生成する第６の色信号生成ステップと、
   各サンプル点にある前記第５の色信号と、各サンプル点の周辺にある前記第５の色信号とを所定の割合で加算して、各サンプル点に第７の色信号を生成する第７の色信号生成ステップと、
   前記色信号の同一サンプル点にある前記第６の色信号と前記第１の色信号とを加算し、前記色信号の同一サンプル点にある前記第７の色信号と前記第１の色信号とを加算する加算ステップとを含み、
   前記加算ステップによって、前記１画素データを構成する色信号を生成するカラー画像生成方法。
4. 請求項１〜３のいずれか記載のカラー画像生成方法であって、
   前記第２の色信号と、前記第２の色信号の存在するサンプル点の周辺のサンプル点にある同一種類の色信号とを所定の割合で加算して、該サンプル点に新たな前記第２の色信号を生成するステップと、
   前記第３の色信号と、前記第３の色信号の存在するサンプル点の周辺のサンプル点にある同一種類の色信号とを所定の割合で加算して、該サンプル点に新たな前記第３の色信号を生成するステップとを有し、
   前記第４の色信号生成ステップは、前記第２の色信号の代わりに、前記新たな第２の色信号を用いて前記第４の色信号を生成し、
   前記第５の色信号生成ステップは、前記第３の色信号の代わりに、前記新たな第３の色信号を用いて前記第５の色信号を生成するカラー画像生成方法。
5. 請求項１〜４のいずれか記載のカラー画像生成方法であって、
   前記第１〜第３の色信号は、半導体基板上方に積層された１つの光電変換膜と、前記光電変換膜で発生した信号電荷を蓄積する前記半導体基板表面に形成された信号電荷蓄積部と、前記半導体基板表面に形成されたそれぞれ異なる色を検出する２種類の光電変換素子とを含む固体撮像素子から得られるものであり、
   前記信号電荷蓄積部は、前記カラー画像データの全画素データに対応する数だけ形成され、
   前記２種類の光電変換素子は、それぞれを合わせて前記カラー画像データの全画素データに対応する数だけ形成され、
   前記第１の色信号は、前記信号電荷蓄積部に蓄積された信号電荷に応じた信号であり、
   前記第２の色信号は、前記２種類の光電変換素子の一方で発生した信号電荷に応じた信号であり、
   前記第３の色信号は、前記２種類の光電変換素子の他方で発生した信号電荷に応じた信号であるカラー画像生成方法。

Images