JP2005167874A - 固体撮像素子及び画像信号処理装置 - Google Patents

Abstract

【課題】 モザイクフィルタを装着したＣＣＤイメージセンサにて複数行加算された合成信号から色成分を分離する場合に、垂直解像度が劣化する。
【解決手段】 イメージセンサに装着するカラーフィルタを、奇数列にＧ，Ｂが交互に配列され、偶数列にＲ，Ｇが交互に配列され、かつ隣接する奇数列同士、偶数列同士で互いの配列周期が列方向に１画素ずれる配列とする。画像信号処理装置は、イメージセンサにて３行ずつ加算された合成画像信号の同一行（第ａ行）上で２列ずれたデータＤ（ａ，ｂ）、Ｄ（ａ，ｂ＋２）を抽出する。Ｄ（ａ，ｂ）は２画素分の色Ｃｘ、１画素分の色Ｃｙ、Ｄ（ａ，ｂ＋２）は１画素分の色Ｃｘ、２画素分の色Ｃｙを成分とする。サンプリング点Ｐ（ａ，ｂ）での色成分値〈Ｃｘ〉〈Ｃｙ〉を〈Ｃｘ〉＝〔２Ｄ（ａ，ｂ）−Ｄ（ａ，ｂ＋２）〕／３、〈Ｃｙ〉＝〔２Ｄ（ａ，ｂ＋２）−Ｄ（ａ，ｂ）〕／３により求める。
【選択図】 図２

Description

本発明は、色感度特性の異なる画素がモザイク状に配列された固体撮像素子及び当該固体撮像素子の出力画像信号を処理する画像信号処理装置に関し、特に、複数行の加算合成により列方向に圧縮された画像を得る際に用いられ、加算合成にて色が混合された画像信号に基づいて、色成分毎の画像信号を生成する技術に関する。

デジタルカメラやその他のカメラ機能付きの携帯端末等において、搭載される固体撮像素子の画素数の向上が進んでいる。それらの機器は、撮像しようとする画像を表示部にてプレビューする機能を備えている。また、静止画の撮影だけでなく動画撮影もできるものもある。

プレビュー動作や動画撮影においては、比較的短時間のフレームレートで繰り返して画像を処理し表示したり記録することが要求される。しかし、高解像度のＣＣＤイメージセンサから各画素の情報を高いフレームレートで読み出すことは、特に水平シフトレジスタの転送クロック周波数が高くなり、水平シフトレジスタでの転送効率の劣化や発熱及び消費電力の増大といった問題を生じるため容易ではない。

一方、固体撮像素子の画素数は、プレビュー用のモニタの画素数に比べて格段に多い。そのため、メモリ等の記録媒体に画像を記録する際には、固体撮像素子の画素数に応じた高解像度の画像を撮影するが、プレビュー時にはプレビューモニタの画素数に応じた低解像度での撮影で十分である場合がある。また、動画像は人間の視覚特性上、静止画ほどの解像度を必要とせず、むしろ記録データ量を抑制する意味でも静止画に比べて低解像度での撮影が選択される場合もある。

そのため、従来より、プレビュー時の撮影や動画撮影において、ＣＣＤイメージセンサの撮像部に蓄積された情報電荷を、飛び飛びの行についてだけ読み出したり、複数行を加算合成して読み出すことにより、列方向（垂直方向）に解像度を低下させた画像信号を出力させることとして、１画面当たりの水平転送回数を抑制することが行われている。

さて、ベイヤー型フィルタのように複数色が列方向に配列されたカラーフィルタを備えたＣＣＤイメージセンサにおいて、複数行の情報電荷を列方向に加算合成して読み出す場合、互いに異なる色感度特性を有する画素の情報電荷が混合される。すなわち、ＣＣＤイメージセンサからは、複数の色成分が混ざり合った画像信号が出力されることになる。

図５は、ベイヤー型カラーフィルタの配列を示す模式図である。このベイヤー型フィルタにおいて複数行を加算合成して得られた画像信号から各色成分を分離する方法として、従来提案されているものを説明する。図５では説明の便宜上、行番号αを水平シフトレジスタ（水平転送部）寄りから、また列番号βを水平転送部の出力端側から順に付している。図５に示すベイヤー配列のカラーフィルタは例えば、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３色からなり、行番号α及び列番号βで指定される受光画素の色（色感度特性）Ｃ（α，β）は、例えば、次のように定められる。

Ｃ（２λ−１，２μ−１）＝Ｂ
Ｃ（２λ ，２μ ）＝Ｒ
Ｃ（２λ−１，２μ ）＝Ｃ（２λ ，２μ−１）＝Ｇ
（但し、λ，μは自然数） …（１）

この撮像部の各画素に対応して蓄積された情報電荷の複数行の加算合成は、例えば、水平シフトレジスタで構成される水平転送部にて行うことができる。撮像部にて得られた情報電荷はインターライン転送型ＣＣＤイメージセンサでは撮像部の垂直シフトレジスタから、またフレーム転送型ＣＣＤイメージセンサでは蓄積部の垂直シフトレジスタから行単位で順次、水平転送部にライン転送される。このライン転送を水平シフトレジスタの駆動を停止させたまま複数回行うことで、水平シフトレジスタに複数行の情報電荷が累積加算され、複数行の加算合成が実現される。このとき、水平シフトレジスタの各ビットには、列方向に連続する複数画素からの情報電荷を合成した電荷が蓄積されており、水平シフトレジスタを水平転送駆動すると、その合成された情報電荷に応じた信号が１行の画像信号（合成画像信号）として出力部から出力される。

（１）式で定義されるフィルタ配列では、行列配置された受光画素の奇数列は、Ｂ，Ｇ，Ｂ，Ｇ，…というように、Ｇ及びＢからなる画素セットが繰り返して配置される。一方、偶数列は、Ｇ，Ｒ，Ｇ，Ｒ，…というように、Ｒ及びＧからなる画素セットが繰り返して配置される。そのため、複数行を加算合成した情報電荷には、Ｒ及びＧ、又はＧ及びＢの成分が含まれる。それらを分離可能とするために、加算合成する行数は奇数行、例えば３行に設定される。その場合、ＣＣＤイメージセンサから出力される第ａ行の合成画像信号（ａ≧１）は、撮像部の第（３ａ−２）〜３ａ行の情報電荷が合成されて生成されたものとなる。ここで、加算行数を奇数とすることにより、ＣＣＤイメージセンサから出力される第ａ行及び第（ａ＋１）行の合成画像信号のうち、同じ列に対応する信号値は、同じ色種類が混合され、かつその混合比が互いに相違するものとなる。ＣＣＤイメージセンサからの出力画像信号を受けた信号処理回路はこれを利用して、色分離処理を行う。

以下、ＣＣＤイメージセンサの撮像部の第α行第β列の画素に対応する信号値を、当該画素の色Ｒ，Ｇ，Ｂそれぞれに対応させて記号Ｒ（α，β）、Ｇ（α，β）、Ｂ（α，β）で表し、またＣＣＤイメージセンサから出力される第ａ行の出力画像信号において撮像部第ｂ列に対応する画像信号値を記号Ｄ（ａ，ｂ）で表す。

（１）式で表される図５のカラーフィルタの配列では、３行加算合成して得られる画像信号値には、色混合割合が異なる次の４種類が存在する。

Ｄ(2λ-1,2μ-1)＝Ｂ(6λ-5,2μ-1)＋Ｇ(6λ-4,2μ-1)＋Ｂ(6λ-3,2μ-1) …（２）
Ｄ(2λ ,2μ-1)＝Ｇ(6λ-2,2μ-1)＋Ｂ(6λ-1,2μ-1)＋Ｇ(6λ ,2μ-1) …（３）
Ｄ(2λ-1,2μ )＝Ｇ(6λ-5,2μ )＋Ｒ(6λ-4,2μ )＋Ｇ(6λ-3,2μ ) …（４）
Ｄ(2λ ,2μ )＝Ｒ(6λ-2,2μ )＋Ｇ(6λ-1,2μ )＋Ｒ(6λ ,2μ ) …（５）
（ここでλ、μは自然数）

信号処理回路は、プレビュー時や動画撮影時には、（２）〜（５）式で与えられる混色の信号値に基づいて、Ｒ，Ｇ，Ｂ各色成分毎に分離された画像信号を生成する。この生成される画像信号は、複数行の加算合成をしない通常動作時より解像度が低く、画像内に設定されるサンプリング点の垂直方向の配列周期は、ＣＣＤイメージセンサでの加算合成される行数に応じたものとなる。すなわち、ここではサンプリング点は垂直方向に関して３行毎に１つ配置される。

信号処理回路は、奇数列については（２）（３）式を用い、また偶数列については（４）（５）式を用い、それぞれ列方向に連続する６画素にて得られた情報電荷に基づいて、その６画素からなる画素領域の位置に対応したサンプリング点での色成分信号値を求める。

この色分離処理の具体例として、奇数列上の連続６画素からなる画素領域に対する処理を説明する。（２）（３）式の表現に合わせて、処理対象の画素領域を第（２μ−１）列の第（６λ−５）〜６λ行に位置する６画素からなる領域とする。信号処理回路は処理対象の画素領域を代表するサンプリング点Ｐ（２λ−１，２μ−１）でのＧ信号値〈Ｇ〉（≡〈Ｇ（２λ−１，２μ−１）〉）とＢ信号値〈Ｂ〉（≡〈Ｂ（２λ−１，２μ−１）〉）とを求める。このとき、当該画素領域内でのＧ、Ｂそれぞれの値を一定値〈Ｇ〉，〈Ｂ〉とみなす近似の下では、（２）（３）式は、
Ｄ（２λ−１，２μ−１）＝ 〈Ｇ〉＋２〈Ｂ〉 …（６）
Ｄ（２λ ，２μ−１）＝２〈Ｇ〉＋ 〈Ｂ〉 …（７）
となる。これらより、当該画素領域のサンプリング点での信号値〈Ｇ〉，〈Ｂ〉は、
〈Ｇ〉＝〔２Ｄ（２λ ，２μ−１）−Ｄ（２λ−１，２μ−１）〕／３ …（８）
〈Ｂ〉＝〔２Ｄ（２λ−１，２μ−１）−Ｄ（２λ ，２μ−１）〕／３ …（９）
によって与えられる。信号処理回路は（８）（９）式を計算して〈Ｇ〉，〈Ｂ〉を求める。

偶数列（第２μ列）の第（６λ−５）〜６λ行に位置する６画素からなる画素領域に対するサンプリング点Ｐ（２λ−１，２μ）でのＲ，Ｇそれぞれの信号値〈Ｒ〉，〈Ｇ〉は、（４）（５）式に基づいて同様にして決定される。このようにして、合成画像信号の第（２λ−１）行と第２λ行とから列毎に信号値の組〈Ｇ〉及び〈Ｂ〉、又は〈Ｒ〉及び〈Ｇ〉が求められる。

また同様に、合成画像信号の第２λ行と第（２λ＋１）行とからも列毎に信号値の組〈Ｇ〉及び〈Ｂ〉、又は〈Ｒ〉及び〈Ｇ〉が求められる。このように色分離処理に用いる２行からなる合成画像信号の組を１行ずつずらして当該色分離処理を行うことにより、合成画像信号と同等行数の色成分信号が得られる。

上述のようにＣＣＤイメージセンサにおいて複数行（ｎ行）を加算合成して読み出すことにより、フレームレートを上げることができるが、モザイク配列のカラーフィルタを搭載したＣＣＤイメージセンサでは一般に、合成画像信号から色成分信号を分離する必要が生じる。

従来技術は、合成画像信号を２行用い、それぞれの同じ列位置に対応する信号値に基づいて１つのサンプリング点での色成分信号を求める。つまり、１つのサンプリング点での色成分信号は、列方向に連続する２ｎ個の画素（２ｎ行×１列の画素領域）の情報電荷の影響を受ける。そのため、垂直方向（列方向）の解像度と水平方向（行方向）の解像度との違いが大きくなったり、加算合成される行数以上に垂直方向の解像度が劣化するおそれがあるという問題があった。

本発明は上記問題点を解決することを目的とし、複数行を加算合成して読み出された合成画像信号から色成分信号を分離する場合に、垂直方向の解像度を良好に保ち、また垂直方向及び水平方向の解像度を近づけた良好な画像が得られる固体撮像素子及び画像信号処理装置を提供することを目的とする。

本発明に係る固体撮像素子においては、各受光画素列のうち列方向の加算合成処理の対象となる所定行範囲に位置する部分列それぞれについて、当該部分列を含み互いに行方向に所定の位置関係にあるＬ個（Ｌ≧２）の前記部分列Ｆ_ｊ（１≦ｊ≦Ｌ）からなる部分列セットを有し、前記部分列セットに含まれる前記部分列の個数Ｌが、当該部分列セットに含まれる前記受光画素の色感度特性の種類数に基づいて定められ、前記部分列Ｆ_ｊ内に含まれ前記色感度特性が第ｋの色（１≦ｋ≦Ｌ）に対応した前記受光画素の数ｗ_ｊｋを第ｊ行第ｋ列の成分として構成した行列は、正則行列であることを特徴とする。

本固体撮像素子が加算合成処理において受光画素アレイの第αｓ〜αｅ行（αｓ＜αｅ）の情報電荷を加算合成するように用いられる場合、この行範囲の各列、すなわち長さ（αｅ−αｓ＋１）個の画素列それぞれが部分列である。部分列セットは当該行範囲に存在する部分列からなる組であり、各部分列毎に定義される。受光画素アレイの色感度特性の種類数をρとする。ρは例えば固体撮像素子に装着されるカラーフィルタの色種類数に応じて定まる。カラーフィルタは多くの場合、例えばＲＧＢのように３色で構成され、その場合にはρ＝３である。しかし、本発明では２種類以上の任意の色数に適用可能であり、よってρは２以上の整数である。或る部分列が色感度特性に関しρ種類、つまり全ての色種類の受光画素を含んでいる場合、当該部分列に対する部分列セットを構成する部分列の個数Ｌはρである。一方、ある部分列がρより少ない色数ρ’の受光画素であっても、Ｌはρ’より大きな値となり得る。Ｌは部分列セットを構成する部分列のうちの最大の色数に合わされるからである。部分列セットを構成するＬ個の部分列Ｆ_ｊは、各部分列Ｆ_ｊの色感度特性毎の受光画素数ｗ_ｊｋ（ｋは色種別に対応したインデックスである）を第ｊ行第ｋ列の成分とするＬ行Ｌ列の正方行列が正則行列であるという条件（条件Ｉ）と、構成要素の部分列が互いに行方向に所定の位置関係にあるという条件（条件II）とを満たす。換言すれば、受光画素アレイの所定行範囲（第αｓ〜αｅ行）での異なる色感度特性を有する受光画素の配列を定める際に、各部分列に対して条件Ｉ及び条件IIを満たす部分列セットが存在するように配慮がなされる。条件Ｉは当該正方行列に逆行列が存在することと同義であり、当該条件により、下記（１０）式の連立一次方程式が解けることが保証される。条件IIは水平方向の解像度を保証するためのものである。受光画素アレイ上での部分列セットの行方向の幅は、当該部分列セットに基づいて得られる色成分毎の画像信号の水平方向の解像度に影響を与える。部分列セットを構成する部分列Ｆ_ｊを互いに行方向に所定の位置関係にあるとすることで、部分列セットの幅をいずれの部分列に対しても同等とすることができ、水平方向の各点での解像度を一様とすることができる。また部分列セットの幅は水平方向の許容解像度に応じて定められる。また垂直方向の解像度は部分列の長さに応じて定まるので、部分列セットの幅を部分列の長さに応じて定めて、垂直方向及び水平方向それぞれの解像度の均等化することができる。

本発明に係る画像信号処理装置は、上記固体撮像素子における複数行数の前記所定行範囲内の各行を列方向に加算合成した混色の画像信号を入力され、当該画像信号に基づいて各色成分毎の画像信号を生成するものであって、前記加算合成により得られた前記画像信号に基づき、前記部分列セットを構成する前記部分列Ｆ_ｊ（１≦ｊ≦Ｌ）それぞれについて合成信号値Ｓ_ｊを取得し、

で表される連立一次方程式を満たすＣ_ｋ（１≦ｋ≦Ｌ）を、前記受光画素アレイ内での前記部分列セットの位置に応じたサンプリング点での前記第ｋの色の画像信号値として算出する色成分算出部を有することを特徴とする。

他の本発明に係る固体撮像素子においては、受光画素アレイの第（２ｎ−１）列及び第（２ｎ＋１）列（ｎ≧１）は、それぞれ色感度特性が第１の色に対応した受光画素と第２の色に対応した受光画素とが交互に配列され、かつ前記色感度特性の配列周期が互いに列方向に１画素ずれており、前記受光画素アレイの第２ｎ列及び第（２ｎ＋２）列は、それぞれ前記色感度特性が第１の色に対応した前記受光画素と第３の色に対応した前記受光画素とが交互に配列され、かつ前記色感度特性の配列周期が互いに列方向に１画素ずれていることを特徴とする。

他の本発明に係る画像信号処理装置は、上記固体撮像素子における奇数行数の所定行範囲内の各行を列方向に加算合成した混色の画像信号を入力され、当該画像信号に基づいて各色成分毎の画像信号を生成する画像信号処理装置であって、前記加算合成により得られた前記画像信号に基づき、前記受光画素アレイの第（２ｎ−１）列（ｎ≧１）の前記所定行範囲に位置する部分列Ｆ_Ｏ１についての合成信号Ｓ_Ｏ１、第（２ｎ＋１）列の前記所定行範囲に位置する部分列Ｆ_Ｏ２についての合成信号Ｓ_Ｏ２、第２ｎ列の前記所定行範囲に位置する部分列Ｆ_Ｅ１についての合成信号Ｓ_Ｅ１、及び第（２ｎ＋２）列の前記所定行範囲に位置する部分列Ｆ_Ｅ２についての合成信号Ｓ_Ｅ２を取得し、
（１）前記部分列Ｆ_Ｏ１及び前記部分列Ｆ_Ｏ２に含まれる前記第１の色に対応する前記受光画素の数をそれぞれｗ_Ｏ１１、ｗ_Ｏ２１、前記第２の色に対応する前記受光画素の数をそれぞれｗ_Ｏ１２、ｗ_Ｏ２２として、

で表される連立一次方程式を満たすＣ_Ｏｋ（ｋは１又は２）をそれぞれ、前記受光画素アレイ内での前記部分列Ｆ_Ｏ１及び前記部分列Ｆ_Ｏ２の位置に応じたサンプリング点での第ｋの色の画像信号値として算出すること、及び、
（２）前記部分列Ｆ_Ｅ１及び前記部分列Ｆ_Ｅ２に含まれる前記第１の色に対応する前記受光画素の数をそれぞれｗ_Ｅ１１、ｗ_Ｅ２１、前記第３の色に対応する前記受光画素の数をそれぞれｗ_Ｅ１３、ｗ_Ｅ２３として、

で表される連立一次方程式を満たすＣ_Ｅｋ（ｋは１又は３）をそれぞれ、前記受光画素アレイ内での前記部分列Ｆ_Ｅ１及び前記部分列Ｆ_Ｅ２の位置に応じたサンプリング点での第ｋの色の画像信号値として算出することを行う色成分算出部を有することを特徴とする。

以下、本発明の実施の形態（以下実施形態という）について、図面に基づいて説明する。

［実施形態１］
図１は、本発明に係るＣＣＤイメージセンサを用いた撮像装置の概略構成を示すブロック図である。この撮像装置は、ＣＣＤイメージセンサ２０、クロック発生回路２２、タイミング制御回路２４、アナログ信号処理回路２６、Ａ／Ｄ変換回路２８及びデジタル信号処理回路３０を備えている。また図示しないメカニカルシャッタを撮像部２０ｉの前面に備える。

ＣＣＤイメージセンサ２０はここではフレーム転送型のものであり、半導体基板表面に形成された撮像部２０ｉ、蓄積部２０ｓ、水平転送部２０ｈ及び出力部２０ｄを備える。イメージセンサ２０は、例えば、撮像部２０ｉの全セルを用いて高解像度の静止画を撮影する用途に用いられる。一方、それほど解像度を要しないプレビュー画面への表示や動画撮影の用途にも用いられる。

撮像部２０ｉには入射光量に応じた電荷（情報電荷）を発生するセル（画素）が複数、行列配置される。撮像部２０ｉにはカラーフィルタが装着され、これにより各セルに色感度特性が付与される。撮像部２０ｉに行列配置されたセルの各列は垂直ＣＣＤシフトレジスタを構成する。この撮像部２０ｉの垂直ＣＣＤシフトレジスタは基板上に行方向に複数本渡されたゲート電極を備え、これらゲート電極に印加される３相クロックφｉによって、撮像部２０ｉでの情報電荷の蓄積及び垂直転送が制御される。

蓄積部２０ｓは遮光膜で覆われ、光の入射による電荷発生を防止される。蓄積部２０ｓは、行方向に複数配列された垂直ＣＣＤシフトレジスタを備える。蓄積部２０ｓの垂直ＣＣＤシフトレジスタは、撮像部２０ｉの垂直ＣＣＤシフトレジスタそれぞれに対応して設けられる。撮像部２０ｉと蓄積部２０ｓとの互いに対応する垂直ＣＣＤシフトレジスタはチャネルが連続し、両シフトレジスタを同期させて駆動することにより、撮像部２０ｉで蓄積された情報電荷を蓄積部２０ｓへ転送することができる。ちなみに、蓄積部２０ｓの垂直ＣＣＤシフトレジスタは、後述する理由から撮像部２０ｉの行数の少なくとも１／３に応じたビット数を有する。蓄積部２０ｓの垂直ＣＣＤシフトレジスタは撮像部２０ｉと同様、行方向に渡されたゲート電極を複数本備え、これらゲート電極に印加される３相クロックφｓによって、蓄積部２０ｓでの情報電荷の蓄積及び垂直転送が制御される。

設定された露光時間が経過すると、撮像部２０ｉに蓄積された情報電荷は、蓄積部２０ｓを経由して水平転送部２０ｈに垂直転送される。水平転送部２０ｈはその複数本のゲート電極に印加される水平転送クロックφｈに応じて、蓄積部２０ｓからライン転送された情報電荷を順次、出力部２０ｄに転送する。出力部２０ｄは、電気的に独立した容量及びその電位変化を取り出すアンプからなり、水平転送部２０ｈから出力される情報電荷を１ビット単位で容量に受けて電圧値に変換し、時系列の画像信号として出力する。

イメージセンサ２０により静止画を撮影する際には、メカニカルシャッタを開閉動作することによって露光時間が調節されると共に、蓄積された情報電荷が撮像部２０ｉの垂直ＣＣＤシフトレジスタ内を転送される際に、メカニカルシャッタは閉じられスミアの発生を防止する。クロック発生回路２２は、メカニカルシャッタを閉じると、φｉ及びφｓを同期させて駆動し、撮像部２０ｉに蓄積された情報電荷を１行ずつ水平転送部２０ｈに垂直転送する。水平転送部２０ｈにライン転送された情報電荷は、クロック発生回路２２が発生する水平転送クロックφｈにより順次、出力部２０ｄに排出される。

一方、プレビュー時や動画撮影時には静止画撮影時に比べ高いフレームレートが必要とされるため、メカニカルシャッタを用いると開閉動作が頻繁となり消費電力が増加する。そこで、この場合にはメカニカルシャッタを開放状態に維持したまま、クロック発生回路２２は露光期間が終了すると撮像部２０ｉから蓄積部２０ｓへのフレーム転送を行う。高フレームレートでの撮影を可能とするために、プレビュー時や動画撮影時にはクロック発生回路２２は、複数行を加算合成して読み出すようにイメージセンサ２０を駆動する。これにより水平転送部２０ｈの駆動回数が減るので、フレームレートの向上が図られる。複数行の加算合成は、撮像部２０ｉから蓄積部２０ｓへの転送時に行われる。本実施形態では３行の情報電荷を加算して１行の情報電荷とする動作が行われる。その動作では撮像部２０ｉから蓄積部２０ｓへ３行分の情報電荷が垂直転送される間、蓄積部２０ｓの駆動を停止させ、それら３行分の情報電荷を撮像部２０ｉに隣接する蓄積部２０ｓの１行に蓄積させる。すなわち、クロック発生回路２２はクロックφｉを３サイクル駆動するとφｓを１サイクル駆動させ、これにより、撮像部２０ｉの３行分が蓄積部２０ｓに移る際に合成され、３行の合成が完了する毎に蓄積部２０ｓの各行に保持される合成された情報電荷が１行ずつ垂直転送される。合成された情報電荷は蓄積部２０ｓから水平転送部２０ｈにライン転送され、クロック発生回路２２が発生する水平転送クロックφｈにより順次、水平転送部２０ｈから出力部２０ｄに排出される。

蓄積部２０ｓはメカニカルシャッタを使用しないプレビュー時及び動画撮影時において、撮像部２０ｉからフレーム転送される情報電荷を一時的に保持するために設けられている。つまり、メカニカルシャッタを使用する静止画撮影時においては蓄積部２０ｓは特に必要ではなく、また上述のようにプレビュー時及び動画撮影時には、蓄積部２０ｓへの転送時に３行の情報電荷が加算合成され１行とされるので、蓄積部２０ｓを構成する垂直シフトレジスタの最小のビット数は、撮像部２０ｉを構成する垂直シフトレジスタのビット数の１／３とすることができる。

なお、タイミング制御回路２４は垂直同期信号ＶＤ及び水平同期信号ＨＤに基づいて、撮像装置各部に対する各種のタイミング信号を生成する。クロック発生回路２２はタイミング制御回路２４から供給されるタイミング信号に基づいて、φｉ，φｓ，φｈ等の各種クロックを生成する。

アナログ信号処理回路２６は、ＣＣＤイメージセンサ２０から出力される画像信号Ｙ０（ｔ）を取り込んで、サンプルホールド、ゲイン調整等の各種のアナログ信号処理を施す。Ａ／Ｄ変換回路２８は、アナログ信号処理の施された画像信号Ｙ１（ｔ）を取り込み、１画素毎にデジタル信号に変換して画像データＤ１（ｎ）として出力する。

デジタル信号処理回路３０は画像データＤ１（ｎ）から輝度データや色データを生成し、その他、生成したデータに対して輪郭補正やガンマ補正等の処理も施し、画像データＤ２（ｎ）を出力する。デジタル信号処理回路３０は、補間処理を行う補間処理部３２を有している。モザイク配列のカラーフィルタでは、同じ色は受光画素アレイの中に離散配置される。そのため、同じ色に対応する画像データＤ１（ｎ）は、２次元配置されたサンプリング点のうち行方向、列方向に間隔を置いた点で得られる。補間処理部３２は、離散的な点で定義された同じ色のＤ１（ｎ）に基づいて補間処理を行い、間に位置するサンプリング点での当該色の画像データを生成する。この処理を各色について行うことにより、デジタル信号処理回路３０から出力される画像データＤ２（ｎ）においては、各サンプリング点にて各色の成分値が定義される。

またデジタル信号処理回路３０は、色成分算出部３４を有している。上述のプレビュー又は動画撮影では３行加算合成を行う結果、イメージセンサ２０からは複数の色が混ざった画像信号が出力される。色成分算出部３４は、複数の色成分が混合された画像データＤ１（ｎ）から各色成分信号を分離する演算処理を行う。その処理については後述する。

静止画撮影における当該補間処理について述べる。静止画撮影では、撮像部２０ｉで得られた各行の情報電荷はそのまま１行単位で水平転送部２０ｈに転送され、水平転送部２０ｈの各ビットにはそれぞれ撮像部２０ｉの１画素分の情報電荷が蓄積される。水平転送部２０ｈを水平転送駆動することにより、出力部２０ｄから各画素の情報電荷に応じた画像信号が出力される。すなわち、静止画撮影時の画像データＤ１（ｎ）は撮像部２０ｉの１画素の情報電荷により定まり、これは、Ｄ１（ｎ）がカラーフィルタの構成色のいずれか１色の成分のみからなることを意味する。よって、静止画撮影においては、基本的に単色成分であるＤ１（ｎ）に直接、補間処理を施して、各サンプリング点での各色の成分値を定めることができる。すなわち、静止画撮影における処理では色成分算出部３４は用いられない。

一方、プレビュー時又は動画撮影時においては、上述のように、列方向に並ぶ３画素の情報電荷が加算合成されて出力部２０ｄから読み出される。モザイク配列のカラーフィルタでは列方向に並ぶ３画素は通常、複数色の画素を含むので、画像データＤ１（ｎ）は複数色成分からなる。そのため、デジタル信号処理回路３０は、まず、色成分算出部３４により、Ｄ１（ｎ）に含まれる色成分を算出し、しかる後、その色成分信号に対して補間処理部３２により補間処理を行う。

以下、本撮像装置における色成分算出部３４の処理を説明する。イメージセンサ２０は撮像部２０ｉに図２に示す配列のカラーフィルタを有し、色成分算出部３４はこの配列のカラーフィルタに対応した処理を行う。図２に示すフィルタにおいて、行番号αは撮像部２０ｉの蓄積部２０ｓ（又は水平転送部２０ｈ）寄りの行から、また列番号βは出力部２０ｄ寄りの列から順に付す。図２に示すカラーフィルタは例えば、ＲＧＢの３色からなり、受光画素アレイの各奇数列にＧ，Ｂが交互に配列され、かつ隣り合う２つの奇数列はＧ，Ｂの配列周期が互いに列方向に１画素ずれている。また受光画素アレイの各偶数列にＲ，Ｇが交互に配列され、かつ隣り合う２つの偶数列はＲ，Ｇが互いに列方向に１画素ずれて配列される。この配列は、行番号α及び列番号βで指定される受光画素ＰＸ（α，β）の色（色感度特性）Ｃ（α，β）として、次式で表される。

Ｃ(2λ-1,4μ-3)＝Ｃ(2λ ,4μ-1)＝Ｂ
Ｃ(2λ-1,4μ )＝Ｃ(2λ ,4μ-2)＝Ｒ
Ｃ(2λ-1,4μ-2)＝Ｃ(2λ-1,4μ-1)＝Ｃ(2λ ,4μ-3)＝Ｃ(2λ ,4μ )＝Ｇ
（但し、λ，μは自然数） …（１３）

このカラーフィルタを装着されたＣＣＤイメージセンサ２０は、プレビュー時又は動画撮影時に上述の３行加算合成動作を行う。その結果、ＣＣＤイメージセンサ２０から出力される第ａ行の合成画像信号（ａ≧１）は、撮像部２０ｉの第（３ａ−２）〜３ａ行の情報電荷が合成されたものとなる。

以下、撮像部２０ｉの画素ＰＸ（α，β）に対応する信号値を、当該画素の色Ｒ，Ｇ，Ｂそれぞれに対応させて記号Ｒ（α，β）、Ｇ（α，β）、Ｂ（α，β）で表し、またＣＣＤイメージセンサから出力される第ａ行の出力画像信号において撮像部第ｂ列に対応する画像信号値を記号Ｄ（ａ，ｂ）で表す。

イメージセンサ２０において３行加算合成して得られる画像信号のうち奇数行出力には、色混合割合が異なる次の４種類の画像信号値Ｄが存在する。これらが出力順に従って画像データＤ１（ｎ）として抽出され、デジタル信号処理回路３０に入力される。

Ｄ(2λ-1,4μ-3)＝Ｂ(6λ-5,4μ-3)＋Ｇ(6λ-4,4μ-3)＋Ｂ(6λ-3,4μ-3) …（１４）
Ｄ(2λ-1,4μ-2)＝Ｇ(6λ-5,4μ-2)＋Ｒ(6λ-4,4μ-2)＋Ｇ(6λ-3,4μ-2) …（１５）
Ｄ(2λ-1,4μ-1)＝Ｇ(6λ-5,4μ-1)＋Ｂ(6λ-4,4μ-1)＋Ｇ(6λ-3,4μ-1) …（１６）
Ｄ(2λ-1,4μ )＝Ｒ(6λ-5,4μ )＋Ｇ(6λ-4,4μ )＋Ｒ(6λ-3,4μ ) …（１７）
（λ、μは自然数）

また、３行加算合成して得られる偶数行出力には、色混合割合が異なる次の４種類の画像信号値Ｄが存在し、これらが出力順に従って画像データＤ１（ｎ）として抽出され、デジタル信号処理回路３０に入力される。

Ｄ(2λ ,4μ-3)＝Ｇ(6λ-2,4μ-3)＋Ｂ(6λ-1,4μ-3)＋Ｇ(6λ ,4μ-3) …（１８）
Ｄ(2λ ,4μ-2)＝Ｒ(6λ-2,4μ-2)＋Ｇ(6λ-1,4μ-2)＋Ｒ(6λ ,4μ-2) …（１９）
Ｄ(2λ ,4μ-1)＝Ｂ(6λ-2,4μ-1)＋Ｇ(6λ-1,4μ-1)＋Ｂ(6λ ,4μ-1) …（２０）
Ｄ(2λ ,4μ )＝Ｇ(6λ-2,4μ )＋Ｒ(6λ-1,4μ )＋Ｇ(6λ ,4μ ) …（２１）
（λ、μは自然数）

デジタル信号処理回路３０に入力されたＤ１（ｎ）は色成分算出部３４に渡される。色成分算出部３４は、画像データＤ１（ｎ）のうち、間に１列置いた２つのデータ（Ｄ（ａ，ｂ）及びＤ（ａ，ｂ＋２）とする）を組み合わせ、それら２つのデータに合成されている６画素からなる画素領域Ｒの位置に応じたサンプリング点Ｐ（ａ，ｂ）での色成分信号値を求める。（１４）〜（２１）式から理解されるように、Ｄ（ａ，ｂ）及びＤ（ａ，ｂ＋２）はそれぞれ同じ２種類の色成分（Ｃｘ、Ｃｙと表す）からなる。色成分算出部３４は、画素領域Ｒ内での色Ｃｘ、Ｃｙの値を空間的に一定の値〈Ｃｘ〉，〈Ｃｙ〉で代表させ、それら〈Ｃｘ〉，〈Ｃｙ〉を画素領域Ｒの色成分信号値として算出する。その計算式は、次のように表される。

〈Ｃｘ〉＝〔２Ｄ（ａ，ｂ）−Ｄ（ａ，ｂ＋２）〕／３ …（２２）
〈Ｃｙ〉＝〔２Ｄ（ａ，ｂ＋２）−Ｄ（ａ，ｂ）〕／３ …（２３）

ここで、奇数出力行（すなわちａ＝２λ−１）の処理において、
（i）ｂ＝４μ−３に対応するデータの組に対し、〈Ｃｘ〉、〈Ｃｙ〉はそれぞれ〈Ｂ〉、〈Ｇ〉を与え、
（ii）ｂ＝４μ−２に対応するデータの組に対し、〈Ｃｘ〉、〈Ｃｙ〉はそれぞれ〈Ｇ〉、〈Ｒ〉を与え、
（iii）ｂ＝４μ−１に対応するデータの組に対し、〈Ｃｘ〉、〈Ｃｙ〉はそれぞれ〈Ｇ〉、〈Ｂ〉を与え、
（iv）ｂ＝４μに対応するデータの組に対し、〈Ｃｘ〉、〈Ｃｙ〉はそれぞれ〈Ｒ〉、〈Ｇ〉を与える。

また、偶数出力行（すなわちａ＝２λ）の処理においては、
（v）ｂ＝４μ−３に対応するデータの組に対し、〈Ｃｘ〉、〈Ｃｙ〉はそれぞれ〈Ｇ〉、〈Ｂ〉を与え、
（vi）ｂ＝４μ−２に対応するデータの組に対し、〈Ｃｘ〉、〈Ｃｙ〉はそれぞれ〈Ｒ〉、〈Ｇ〉を与え、
（vii）ｂ＝４μ−１に対応するデータの組に対し、〈Ｃｘ〉、〈Ｃｙ〉はそれぞれ〈Ｂ〉、〈Ｇ〉を与え、
（viii）ｂ＝４μに対応するデータの組に対し、〈Ｃｘ〉、〈Ｃｙ〉はそれぞれ〈Ｇ〉、〈Ｒ〉を与える。

（２２）（２３）式は、例えば、上記（i）の場合に関しては、（１４）（１６）式にて右辺の各画素のＧ信号値、Ｂ信号値を代表値〈Ｇ〉、〈Ｂ〉に置き換えた次式から導かれる。ちなみに、次式は（１１）式に相当する。

Ｄ（２λ−１，４μ−３）＝ 〈Ｇ〉＋２〈Ｂ〉 …（２４）
Ｄ（２λ−１，４μ−１）＝２〈Ｇ〉＋ 〈Ｂ〉 …（２５）

ここで（２４）（２５）式は〈Ｇ〉、〈Ｂ〉についての連立一次方程式であり、（２２）（２３）式はその解である。

残りの（ii）〜（viii）の場合も同様であり、（１４）〜（２１）式で表されるデータ値のうち、それぞれの場合におけるＤ（ａ，ｂ）、Ｄ（ａ，ｂ＋２）に対応する２つの式から（２２）（２３）式が得られる。

さて、上述したように、複数行を加算合成して読み出す動作は、プレビュー時や動画撮影時にフレームレートを確保するために用いられる。加算される行数は、プレビュー画面表示部の解像度や動画像に要求される解像度等の面からの条件や、所要フレームレートより課される条件に基づいて、基本的には、垂直解像度が必要以上に低下しないように定められる。

一方、本実施形態及び従来技術での行加算合成された画像データから色成分を分離する処理では、合成された画像データが複数個組み合わされ、それらデータに対応する画素領域Ｒ内で平滑化された各色成分値が算出される。この色分離処理での平滑化は、行加算合成とは別の解像度低下要因である。例えば、色分離処理に用いる複数のデータを合成画像信号の複数行から取得すると、画素領域Ｒの垂直方向のサイズが加算行数より拡大する。そのため、この場合には、分離処理にて得られた色成分信号により形成される画像の垂直解像度は、行加算合成による低下以上に劣化する。

これに対し、本発明では、合成画像信号の同じ行に属するデータＤ（ａ，ｂ）、Ｄ（ａ，ｂ＋２）を用いてサンプリング点Ｐ（ａ，ｂ）での色成分信号が算出される。つまり本発明の画素領域Ｒの垂直方向のサイズ、範囲は加算される行に一致している。そのため、色分離処理を行っても、画像の垂直解像度は行加算合成による低下以上には劣化しない。また、画素領域Ｒの垂直方向のサイズと水平方向のサイズとが同程度になることにより、垂直方向と水平方向の解像度の均衡化が図られる。

なお、合成画像信号の複数行からデータを取得する処理方法では、先にイメージセンサ２０から出力される合成画像信号を記憶するラインメモリが必要となる。これに対し、本実施形態の処理方法では、合成画像信号として直近に得られた画像データＤ（ａ，ｂ＋２）と同一行にて２画素先行する画像データＤ（ａ，ｂ）とが処理に用いられる。よって、本実施形態では基本的には、直近に得られた画像データＤ（ａ，ｂ＋２）に組み合わされる画像データＤ（ａ，ｂ）を記憶する１画素分のレジスタと、次に得られる画像データＤ（ａ，ｂ＋３）に組み合わされる画像データＤ（ａ，ｂ＋１）を記憶する１画素分のレジスタとがあれば上述の色分離処理を行うことができる。

上述のように色成分算出部３４により奇数列の各サンプリング点Ｐ（ａ，２η−１）に対し〈Ｇ〉（≡〈Ｇ〉_２η−１）及び〈Ｂ〉（≡〈Ｂ〉_２η−１）が求められ、偶数列の各サンプリング点Ｐ（ａ，２η）に対し〈Ｒ〉（≡〈Ｒ〉_２η）及び〈Ｇ〉（≡〈Ｇ〉_２η）が求められる。この色成分算出部３４の出力は補間処理部３２に渡される。

補間処理部３２は、水平方向に補間処理を行って、各サンプリング点に欠けている種類の色成分値を求める。その結果、各サンプリング点に対しＲＧＢそれぞれの色成分値が求まる。ここでは補間処理として、各サンプリング点にて水平方向に（１，２，１）フィルタリング処理を行う。当該フィルタリング処理は、次式で表される。ここで《Ｒ》_ξ，《Ｇ》_ξ，《Ｂ》_ξはサンプリング点Ｐ（ａ，ξ）での処理結果のＲＧＢ値、Ｒ_ζ，Ｇ_ζ，Ｂ_ζ（ζ＝ξ−１，ξ，ξ＋１）は色成分算出部３４によってサンプリング点Ｐ（ａ，ζ）に対し求められたＲＧＢ成分値である。

《Ｒ》_ξ＝（Ｒ_ξ−１＋２Ｒ_ξ＋Ｒ_ξ＋１）／２ …（２６）
《Ｂ》_ξ＝（Ｂ_ξ−１＋２Ｂ_ξ＋Ｂ_ξ＋１）／２ …（２７）
《Ｇ》_ξ＝（Ｇ_ξ−１＋２Ｇ_ξ＋Ｇ_ξ＋１）／４ …（２８）

ここで、Ｇ成分についてはＧ_ξ−１＝〈Ｇ〉_ξ−１、Ｇ_ξ＝〈Ｇ〉_ξ、Ｇ_ξ＋１＝〈Ｇ〉_ξ＋１である。一方、ＲＢ成分については、ξが奇数の場合には、Ｒ_ξ−１＝〈Ｒ〉_ξ−１、Ｒ_ξ＋１＝〈Ｒ〉_ξ＋１、Ｂ_ξ＝〈Ｂ〉_ξ、Ｒ_ξ＝Ｂ_ξ−１＝Ｂ_ξ＋１＝０であり、ξが偶数の場合には、Ｂ_ξ−１＝〈Ｂ〉_ξ−１、Ｂ_ξ＋１＝〈Ｂ〉_ξ＋１、Ｒ_ξ＝〈Ｒ〉_ξ、Ｂ_ξ＝Ｒ_ξ−１＝Ｒ_ξ＋１＝０である。よって、補間処理部３２は、奇数列のサンプリング点に対し、
《Ｒ》_ξ＝（〈Ｒ〉_ξ−１＋ 〈Ｒ〉_ξ＋１）／２ …（２９）
《Ｂ》_ξ＝ 〈Ｂ〉_ξ …（３０）
《Ｇ》_ξ＝（〈Ｇ〉_ξ−１＋２〈Ｇ〉_ξ＋〈Ｇ〉_ξ＋１）／４ …（３１）
を出力し、偶数列のサンプリング点に対して、
《Ｒ》_ξ＝ 〈Ｒ〉_ξ …（３２）
《Ｂ》_ξ＝（〈Ｂ〉_ξ−１＋ 〈Ｂ〉_ξ＋１）／２ …（３３）
《Ｇ》_ξ＝（〈Ｇ〉_ξ−１＋２〈Ｇ〉_ξ＋〈Ｇ〉_ξ＋１）／４ …（３４）
を出力する。

デジタル信号処理回路３０は補間処理部３２の出力を用い、必要に応じてさらに信号処理を行って画像データＤ２（ｎ）を生成して出力する。

なお、上述の構成では、図２に示すカラーフィルタの配列に対し、３行の加算合成を行う場合を説明したが、一般に５行以上の奇数行を加算合成した場合についてもその合成画像信号を同様にして色分離することができる。

［実施形態２］
上記第１の実施形態では、行加算により得られた第ａ行の合成画像信号の２つのサンプリング点Ｐ（ａ，ｂ１），Ｐ（ａ，ｂ２）でのデータ値Ｄ（ａ，ｂ１），Ｄ（ａ，ｂ２）から色成分が分離される。ここで、データ値Ｄ（ａ，ｂ１），Ｄ（ａ，ｂ２）はそれぞれ同じ２種類の色成分Ｃｘ，Ｃｙからなり、Ｄ（ａ，ｂ１）はＣｘの画素２個とＣｙの画素１個とを合成され、Ｄ（ａ，ｂ２）はＣｘの画素１個とＣｙの画素２個とを合成されている。各画素の信号値を代表値〈Ｃｘ〉，〈Ｃｙ〉に置き換えると、〈Ｃｘ〉，〈Ｃｙ〉を元とする２元連立一次方程式、
Ｄ（ａ，ｂ１）＝２〈Ｃｘ〉＋ 〈Ｃｙ〉 …（３５）
Ｄ（ａ，ｂ２）＝ 〈Ｃｘ〉＋２〈Ｃｙ〉 …（３６）
が得られる。この解として、（２２）（２３）式に相当する次式が得られる。
〈Ｃｘ〉＝〔２Ｄ（ａ，ｂ１）−Ｄ（ａ，ｂ２）〕／３ …（３７）
〈Ｃｙ〉＝〔２Ｄ（ａ，ｂ２）−Ｄ（ａ，ｂ１）〕／３ …（３８）

この第１の実施形態での色分離処理から理解されることを一般的に述べると次のようになる。第ａ行の合成画像信号の複数のサンプリング点から得られるデータに基づいて、Ｌ種類の色成分を求めるためには、Ｌ個のサンプリング点Ｐ（ａ，ｂｊ）（１≦ｊ≦Ｌ）のデータ値Ｄ（ａ，ｂｊ）を取得する。そして、それらＬ個のデータ値それぞれについて、当該データ値に含まれる各画素の信号成分を当該画素の色に対応した代表値〈Ｃ_ｋ〉（１≦ｋ≦Ｌ）に置換してＬ個の式

を得る。（３９）式は〈Ｃ_ｋ〉を元とするＬ元連立一次方程式を構成し、その解が、Ｌ個のデータ値Ｄ（ａ，ｂｊ）を構成する画素群からなる画素領域Ｒに対応したサンプリング点での色成分信号を与える。

連立方程式（３９）が解を持つ必要十分条件は、（３９）式右辺の係数に現れる受光画素数ｗ_ｊｋを第ｊ行第ｋ列の成分とするＬ行Ｌ列の行列が正則行列であることである（条件Ｉ）。この条件が満たされれば、画素領域Ｒに対応する色成分信号が求められる。

また画素領域Ｒの行方向のサイズが小さい程、基本的に水平解像度は良好となる。そこで、条件Ｉを満たすＬ個のデータＤ（ａ，ｂｊ）は、互いに近接する位置関係にあるサンプリング点Ｐ（ａ，ｂｊ）から得られることが要求される（条件II）。

本実施形態のＣＣＤイメージセンサは、加算される複数行からなる各行セット毎に、行方向に複数設定される各画素領域Ｒそれぞれが上記条件Ｉ、IIを満たすように定められたカラーフィルタを備える。

ここで、ＣＣＤイメージセンサ及び撮像装置の基本的な構成は上記第１の実施形態と共通であり、以下、同様の構成要素は同じ符号で表すと共に図１を援用する。

図３は、本発明の第２の実施形態に係る第１のカラーフィルタ配列を示す模式図である。この図において行番号α、列番号βは図２のカラーフィルタと同様に付される。このカラーフィルタを装着されたＣＣＤイメージセンサ２０において、プレビューや動画撮影を行う場合、撮像部２０ｉに蓄積された情報電荷は３行ずつ加算合成され、出力部２０ｄからは合成画像信号が出力される。ここで、撮像部２０ｉの第（３ａ−２）〜３ａ行が加算されて第ａ行の合成画像信号が生成される。

この合成画像信号から生成された画像データＤ１（ｎ）は色成分算出部３４に渡される。色成分算出部３４は、画像データＤ１（ｎ）のうち、間に１列置いた２つのデータＤ（ａ，ｂ）及びＤ（ａ，ｂ＋２）を組み合わせる。それら２つのデータはそれぞれ共通の２種類の色成分Ｃｘ，Ｃｙ（Ｒ及びＧ、又はＧ及びＢ）からなり、（３９）式として次の２元連立方程式を与える。

Ｄ（ａ，ｂ ）＝２〈Ｃｘ〉＋ 〈Ｃｙ〉 …（４０）
Ｄ（ａ，ｂ＋２）＝ 〈Ｃｘ〉＋２〈Ｃｙ〉 …（４１）

（４０）（４１）式を（３５）（３６）式と比較すれば明らかなように、図３のカラーフィルタから得られる２つのデータＤ（ａ，ｂ）及びＤ（ａ，ｂ＋２）に基づいて、対応する画素領域Ｒ（サンプリング点Ｐ（ａ，ｂ））でのＣｘ及びＣｙの成分信号値〈Ｃｘ〉，〈Ｃｙ〉を求めることができる。ちなみに、（４０）（４１）式の右辺各項の係数よりｗ_１１＝ｗ_２２＝２，ｗ_１２＝ｗ_２１＝１であり、それらｗ_ｊｋを第ｊ行第ｋ列の成分とする２行２列の行列は、その行列式の値が０でないことから、正則であることが確かめられる。

図４は、本発明の第２の実施形態に係る第２のカラーフィルタ配列を示す模式図である。この図において行番号α、列番号βは上記各カラーフィルタと同様に付されている。このカラーフィルタの配列は、行番号α及び列番号βで指定される受光画素ＰＸ（α，β）の色Ｃ（α，β）として、次式で表される。

Ｃ(2λ ,6μ-2)＝Ｃ(2λ-1,6μ-5)＝Ｃ(4λ-3,6μ-3)＝Ｃ(4λ ,6μ)＝Ｂ
Ｃ(2λ ,6μ-4)＝Ｃ(2λ-1,6μ-1)＝Ｃ(4λ-1,6μ-3)＝Ｃ(4λ-2,6μ)＝Ｒ
Ｃ(2λ ,2μ-1)＝Ｃ(2λ-1,2μ )＝Ｇ
（但し、λ，μは自然数） …（４２）

このカラーフィルタを装着されたＣＣＤイメージセンサ２０において、プレビューや動画撮影を行う場合、撮像部２０ｉに蓄積された情報電荷は、例えば５行ずつ加算合成され、出力部２０ｄからは合成画像信号が出力される。例えば、撮像部２０ｉの第（５ａ−４）〜５ａ行が加算されて第ａ行の合成画像信号が生成される。

色成分算出部３４は、サンプリング点Ｐ（ａ，ｂ）での色成分信号を求めるために、この合成画像信号から生成された第ａ行の画像データＤ１（ｎ）のうち、連続する３つのデータＤ（ａ，ｂ），Ｄ（ａ，ｂ＋１），Ｄ（ａ，ｂ＋２）（ｂ≧１）を組み合わせる。例えば、サンプリング点Ｐ（ａ，１）、すなわちｂ＝１の場合、当該３つのデータは（３９）式に対応する次の３元連立方程式を与える。

Ｄ（ａ，ｂ ）＝ ２〈Ｇ〉＋３〈Ｂ〉 …（４３）
Ｄ（ａ，ｂ＋１）＝２〈Ｒ〉＋３〈Ｇ〉 …（４４）
Ｄ（ａ，ｂ＋２）＝ 〈Ｒ〉＋２〈Ｇ〉＋２〈Ｂ〉 …（４５）

（４３）〜（４５）式の右辺各項の係数で構成される３行３列の行列（係数行列）は、その行列式の値が０でないことから正則であり、この３元連立方程式は解を有する。色成分算出部３４はこの連立方程式の解〈Ｒ〉，〈Ｇ〉，〈Ｂ〉を求め、それらをサンプリング点Ｐ（ａ，ｂ）での色成分信号として出力する。

データＤ（ａ，ｂ），Ｄ（ａ，ｂ＋１），Ｄ（ａ，ｂ＋２）に基づいて得られる３元連立方程式の形はａの値に応じて周期的（周期４）に変化し、またｂの値に応じて周期的（周期６）に変化するが、いずれのａ，ｂの組に対する方程式も、それに対応する係数行列が正則となる。よって、色成分算出部３４は、各ｂの値での３つのデータ値に基づいて、対応する各サンプリング点Ｐ(ａ，ｂ）でのＲＧＢ各色の色成分信号を求めることができる。

本発明に係る撮像装置の概略構成を示すブロック図である。 第１の実施形態であるカラーフィルタ配列を示す模式図である。 第２の実施形態に係る第１のカラーフィルタ配列を示す模式図である。 第２の実施形態に係る第２のカラーフィルタ配列を示す模式図である。 ベイヤー型カラーフィルタの配列を示す模式図である。

符号の説明

２０ イメージセンサ、２０ｉ 撮像部、２０ｓ 蓄積部、２０ｈ 水平転送部、２０ｄ 出力部、２２ クロック発生回路、２４ タイミング制御回路、２６ アナログ信号処理回路、２８ Ａ／Ｄ変換回路、３０ デジタル信号処理回路、３２ 補間処理部、３４ 色成分算出部。

Claims (4)

1. 色感度特性の異なる複数の受光画素が行列配置された受光画素アレイと、前記受光画素の列にて生成された複数の情報電荷パケットを列毎にそれぞれ垂直転送する複数の垂直シフトレジスタと、前記複数の垂直シフトレジスタから１行ずつ転送される複数の前記情報電荷パケットを水平転送して出力する水平シフトレジスタとを有した固体撮像素子において、
   各受光画素列のうち列方向の加算合成処理の対象となる所定行範囲に位置する部分列それぞれについて、当該部分列を含み互いに行方向に所定の位置関係にあるＬ個（Ｌ≧２）の前記部分列Ｆ_ｊ（１≦ｊ≦Ｌ）からなる部分列セットを有し、
   前記部分列セットに含まれる前記部分列の個数Ｌは、当該部分列セットに含まれる前記受光画素の前記色感度特性の種類数に基づいて定められ、
   前記部分列Ｆ_ｊ内に含まれ前記色感度特性が第ｋの色（１≦ｋ≦Ｌ）に対応した前記受光画素の数ｗ_ｊｋを第ｊ行第ｋ列の成分として構成した行列は、正則行列であること、
   を特徴とする固体撮像素子。
2. 色感度特性の異なる複数の受光画素が行列配置された受光画素アレイと、前記受光画素の列にて生成された複数の情報電荷パケットを列毎にそれぞれ垂直転送する複数の垂直シフトレジスタと、前記複数の垂直シフトレジスタから１行ずつ転送される複数の前記情報電荷パケットを水平転送して出力する水平シフトレジスタとを有した固体撮像素子において、
   前記受光画素アレイの第（２ｎ−１）列及び第（２ｎ＋１）列（ｎ≧１）は、それぞれ前記色感度特性が第１の色に対応した前記受光画素と第２の色に対応した前記受光画素とが交互に配列され、かつ前記色感度特性の配列周期が互いに列方向に１画素ずれており、
   前記受光画素アレイの第２ｎ列及び第（２ｎ＋２）列は、それぞれ前記色感度特性が第１の色に対応した前記受光画素と第３の色に対応した前記受光画素とが交互に配列され、かつ前記色感度特性の配列周期が互いに列方向に１画素ずれていること、
   を特徴とする固体撮像素子。
3. 請求項１に記載の固体撮像素子における複数行数の前記所定行範囲内の各行を列方向に加算合成した混色の画像信号を入力され、当該画像信号に基づいて各色成分毎の画像信号を生成する画像信号処理装置であって、
   前記加算合成により得られた前記画像信号に基づき、前記部分列セットを構成する前記部分列Ｆ_ｊ（１≦ｊ≦Ｌ）それぞれについて合成信号値Ｓ_ｊを取得し、
   

   

   で表される連立一次方程式を満たすＣ_ｋ（１≦ｋ≦Ｌ）を、前記部分列セットの位置に応じたサンプリング点での前記第ｋの色の画像信号値として算出する色成分算出部を有すること、
   を特徴とする画像信号処理装置。
4. 請求項２に記載の固体撮像素子における奇数行数の所定行範囲内の各行を列方向に加算合成した混色の画像信号を入力され、当該画像信号に基づいて各色成分毎の画像信号を生成する画像信号処理装置であって、
   前記加算合成により得られた前記画像信号に基づき、前記受光画素アレイの第（２ｎ−１）列（ｎ≧１）の前記所定行範囲に位置する部分列Ｆ_Ｏ１についての合成信号Ｓ_Ｏ１、第（２ｎ＋１）列の前記所定行範囲に位置する部分列Ｆ_Ｏ２についての合成信号Ｓ_Ｏ２、第２ｎ列の前記所定行範囲に位置する部分列Ｆ_Ｅ１についての合成信号Ｓ_Ｅ１、及び第（２ｎ＋２）列の前記所定行範囲に位置する部分列Ｆ_Ｅ２についての合成信号Ｓ_Ｅ２を取得し、
   前記部分列Ｆ_Ｏ１及び前記部分列Ｆ_Ｏ２に含まれる前記第１の色に対応する前記受光画素の数をそれぞれｗ_Ｏ１１、ｗ_Ｏ２１、前記第２の色に対応する前記受光画素の数をそれぞれｗ_Ｏ１２、ｗ_Ｏ２２として、
   

   

   で表される連立一次方程式を満たすＣ_Ｏｋ（ｋは１又は２）をそれぞれ、前記受光画素アレイ内での前記部分列Ｆ_Ｏ１及び前記部分列Ｆ_Ｏ２の位置に応じたサンプリング点での第ｋの色の画像信号値として算出し、
   前記部分列Ｆ_Ｅ１及び前記部分列Ｆ_Ｅ２に含まれる前記第１の色に対応する前記受光画素の数をそれぞれｗ_Ｅ１１、ｗ_Ｅ２１、前記第３の色に対応する前記受光画素の数をそれぞれｗ_Ｅ１３、ｗ_Ｅ２３として、
   

   

   で表される連立一次方程式を満たすＣ_Ｅｋ（ｋは１又は３）をそれぞれ、前記受光画素アレイ内での前記部分列Ｆ_Ｅ１及び前記部分列Ｆ_Ｅ２の位置に応じたサンプリング点での第ｋの色の画像信号値として算出する色成分算出部を有すること、
   を特徴とする画像信号処理装置。

Images