JP2009141840A - 撮像装置 - Google Patents

Abstract

【課題】外界の光量によらず高解像度と比較的高い感度とを併せて実現することができる撮像装置を提供する。
【解決手段】撮像装置は、レンズ１と、光を信号に変換する複数の画素を有し、複数の画素全てから出力された信号を第１の信号として出力する第１のモードと、複数の画素のうち２つの同色画素からの信号を加算してなる第２の信号を出力する第２のモードとを有しているイメージセンサ３と、イメージセンサ３から出力された第１の信号および第２の信号を前処理する前置信号処理部１１と、第１の信号および第２の信号をディジタル信号に変換するＡＤ変換部１３と、ディジタル信号に変換された第２の信号の補間処理を行って、第２の信号の記録画素数をイメージセンサ３の画素数以上にする少なくとも１つの補間処理部と、補間処理された第１の信号を画像処理する信号処理部１７と備えている。
【選択図】図１

Description

本発明は、カラーフィルタを有する固体撮像装置を備えた撮像装置に関するものである。

デジタルスチルカメラなどの撮像装置は小サイズ化が進むにつれ画質の確保が困難になってきている。また、一方では機能の更なる向上や画素数の増加が要望されており、画質の向上との両立を図るための技術の開発が望まれている。

図３２は、従来の撮像装置の概略構成を示すブロック図である。

同図に示すように、従来の撮像装置は、レンズ１１０１と、レンズ１１０１により集光された光を信号に変換するイメージセンサ１１０３と、前置信号処理部１１１１、ＡＤ変換部１１１３、補間処理部１１１５、及び信号処理部１１１７を有する信号処理ＬＳＩ１１０５と、イメージセンサ１１０３に駆動用の信号を供給する駆動ＩＣ１１０９と、記録部１１０７とを備えている。

イメージセンサ１１０３の撮像領域には受光素子が設けられた画素が多数配置されており、従来の撮像装置においては、全ての画素から出力された信号を信号処理ＬＳＩ１１０５で処理する高解像度モードと、一部の画素からの信号のみを用いたり、多数の同色画素からの信号を加算した状態で信号処理を行う低解像度モードとがある。高解像度モードは通常の撮影に用いられ、低解像度モードはビューファインダーや動画撮影時に用いられることが多い。

従来の撮像装置では、イメージセンサ１１０３から出力された信号は前置信号処理部１１１１でノイズ低減処理やキズ補正等の前処理を受けた後、ＡＤ変換部１１１３でディジタル信号に変換され、補間処理部１１１５で補間処理を受ける。例えば、画素数が１０００万画素である場合、フィルター配列がベイヤー配列であれば、Ｒ（赤）、Ｂ（青）の両画素は２５０万画素ずつでＧ（緑）は５００万画素である。そこで、補間処理部１１１５では、各画素について信号の無い部分を周辺の同色画素の信号を用いて補間し、各色について１０００万画素分の信号を準備する。次いで、信号処理部１１１７では、合計３０００万画素分の信号を処理して画像を構成する。

また、低解像度モードの場合、イメージセンサ１１０３から出力された信号は高解像度モードの場合と同様の経路で補間処理され、信号処理部１１１７で処理される。
ＷＯ２００２／０８５００２号パンフレット 特開平５−６４０８２号公報 特開平１１−１９５７７８号公報

上記従来の撮像装置において、画素領域が縮小するにつれ、受光素子に十分な光を集めることが難しくなってきている。そのため、光量が十分で無い場所での撮影の際には、画質の良い画像が得られない場合がある。これを防ぐために多数（例えば９個）の同色画素からの信号を加算した状態で処理することも考えられるが、この場合には、感度は向上するものの、明所での撮影と比べて解像度が大きく落ちる画像しか得られない。また、暗所で撮影する場合に画素からの信号の増幅率を上げることにより感度を上げることも考えられるが、ノイズも増幅してしまうため画質が劣化してしまう。

本発明は、かかる点に鑑みてなされたものであり、外界の光量によらず高解像度と比較的高い感度とを併せて実現することができる撮像装置を提供することを目的とする。

本発明の第１の撮像装置は、入射光を集光する光学部材と、前記光学部材により集められた光を信号に変換する複数の画素を有し、前記複数の画素全てから出力された前記信号を第１の信号として出力する第１のモードと、前記複数の画素のうち２つの同色画素からの前記信号を加算してなる第２の信号を出力する第２のモードとを有している光電変換手段と、前記光電変換手段から出力された前記第１の信号および前記第２の信号を前処理する前置信号処理手段と、前記第１の信号および前記第２の信号をディジタル信号に変換するデジタル変換手段と、少なくともディジタル信号に変換された前記第２の信号の補間処理を行って、前記第２の信号の記録画素数を前記光電変換手段の画素加算後の画素数以上にする少なくとも１つの補間処理手段と、補間処理された前記第１の信号を画像処理するデジタル信号処理手段とを備えているを備えている。

この構成によれば、全画素からの信号を含む第１の信号と画素加算信号である第２の信号とを適宜用いて画像を得ることができるので、例えば、外光が少ない場合には感度の高い第２のモードで駆動し、外光が多い場合には解像度の高い第１のモードで駆動することができる。

特に、画素信号を加算した後の重心が傾斜したベイヤー配列になる場合には、第２のモードにおいて、高感度でありながら従来の撮像装置に比べて解像度の劣化を抑えることができる。

また、前記補間処理手段として前記第１の信号を補間処理する第１の補間処理手段と、前記第２の信号を補間処理する第２の補間処理手段とを備えており、前記信号処理手段が前記第２の信号も画像処理することが好ましい。

なお、光電変換手段（イメージセンサ）における読み出し手段はＣＣＤ型であってもＭＯＳ型であってもよい。ＣＣＤ型イメージセンサを用いる場合には、画素の微細化が進んでも、混色の発生を抑えることができるので高感度で且つ画質の良い画像を得ることができる。また、ＭＯＳ型イメージセンサを用いる場合には、信号前置処理部、ＡＤ変換部等をイメージセンサと同一基板上に形成することが可能となる。

本発明の第２の撮像装置は、入射光を集光する光学部材と、前記光学部材により集光された前記入射光を分光し、光電変換する複数の色画素を持つ光電変換手段と、前記光電変換手段により得られた信号を読み出す読み出し手段と、前記読み出し手段により読み出された前記信号をデジタル化するデジタル変換手段と、各色画素に対応したデジタル信号を補間処理する補間処理手段と、補間処理後得られた補間信号を信号処理するデジタル信号処理手段と、デジタル信号処理した信号を蓄積する蓄積手段とを備えた撮像装置であって、前記複数の色画素が保持する信号を全画素独立に読み出した後、第１の補間処理する第１のモードと、複数の色画素の同色の画素を加算した後、第２の補間処理を行う第２のモードとを有し、前記第１のモードと前記第２のモードで補間された後の信号のうち、前記複数の色画素が配置された領域の周辺部を除く領域の画素からの信号数が等しい。

この構成によれば、高解像度である第１のモードの他に、画素加算を行う第２のモードで解像度を大きく下げることなく感度を向上させることができる。特に、光電変換手段が非破壊読み出しが可能な画素を持つ場合には、各画素からの信号を重複して加算することにより、解像度を下げずに感度を向上させることが可能となる。

本発明の第３の撮像装置は、入射光を集光する光学部材と、前記光学部材により集光された入射光を分光し光電変換する複数の色画素を持つ光電変換手段と、前記光電変換手段により得られた信号を読み出す読み出し手段と、前記読み出し手段により読み出された前記信号をデジタル化するデジタル変換手段と、各色画素に対応したデジタル信号を補間処理する補間処理手段と、補間処理後得られた補間信号を信号処理するデジタル信号処理手段と、デジタル信号処理した信号を蓄積する蓄積手段とを備えた撮像装置であり、前記複数の色画素を全画素独立に読み出しデジタル変換した後、ＲＡＷデータとして前記蓄積手段に直接書き込む第１のモードと、前記複数の色画素の同色の画素を加算した後、第２の補間処理を行う第２のモードとを有し、前記第２のモードおよび前記第１のモードで補間処理された信号のうち、前記複数の色画素が配置された領域の周辺部を除く領域の画素からの信号数は互いに等しい。

この構成により、ＲＡＷデータを用いてユーザが高解像度の画像を任意に加工することができるとともに、第２のモードにおいて解像度を大きく下げることなく感度を向上させることができる。

本発明によれば、２つの高解像度モードで駆動させることができる。特に、画素からの信号を加算して処理する第２のモードでは解像度の低下を抑えつつ感度を向上させている。これらのモードを適宜使い分けることにより、光量の変化に対応できる撮像装置を実現することができる。

（第１の実施形態）
図１は、本発明の第１の実施形態に係る撮像装置の概略構成を示すブロック図であり、図２は、本実施形態のイメージセンサの撮像領域におけるカラーフィルタの配置を示す図である。

図１に示すように、本実施形態の撮像装置は、外光を集めるレンズ（光学部材）１と、レンズ１により集光された光を信号に変換するイメージセンサ（光電変換手段）３と、前置信号処理部（前置信号処理手段）１１、ＡＤ変換部（デジタル変換手段）１３、第１の補間処理部（第１の補間処理手段）１５ａ、第２の補間処理部（第２の補間処理手段）１５ｂ、及び信号処理部（デジタル信号処理手段）１７を有する信号処理ＬＳＩ５と、イメージセンサ３に駆動用の信号を供給する駆動ＩＣ９と、信号処理ＬＳＩ５から出力された画像データ等を記憶する記録部（蓄積手段）７とを備えている。

イメージセンサ３の撮像領域には受光素子が設けられた画素が多数配置されており、各画素は、Ｒ、Ｇ、Ｂのうちいずれかのカラーフィルタを有している。なお、以下の説明において、図２の左右方向を列方向とし、上下方向を行方向と呼ぶこととする。

図２に示すように、イメージセンサ３の撮像領域では、Ｇの画素のみが並ぶ列（図中の第ｎ列、第（ｎ＋２）列など）が１列おきに配置され、且つＧ画素のみで構成された列の間には、Ｒ画素２つとＢ画素２つずつとが交互に並んだ画素列が配置されている。ただし、ｋを正の奇数とするとき、第（ｎ＋ｋ）列と第（ｎ＋ｋ＋２）列とでは、画素の色が列方向に２画素分ずれており、同じ行におけるＲ画素とＢ画素の位置が逆になっている。例えば、画素の配列（言い換えれば、カラーフィルタの配列）は、第ｎ列がＧ、Ｇ、Ｇ、Ｇ、Ｇ、Ｇ、Ｇ、Ｇ…、第（ｎ＋１）列が、Ｒ、Ｒ、Ｂ、Ｂ、Ｒ、Ｒ、Ｂ、Ｂ…、第（ｎ＋２）列が、Ｇ、Ｇ、Ｇ、Ｇ、Ｇ、Ｇ、Ｇ、Ｇ…、第（ｎ＋３）列が、Ｂ、Ｂ、Ｒ、Ｒ、Ｂ、Ｂ、Ｒ、Ｒ…となっている。

本実施形態の撮像装置は撮像領域内の全画素からの信号を用いる場合と、列方向に互いに隣接する同色の２画素ずつの信号を加算して用いる場合とがある。

図６は、画素加算（画素信号を加算すること）した場合の画素の重心を示す図である。同図に示すように、画素加算後の重心の色配置は例えば斜め４５度に傾斜したベイヤー配列となっている。

画素加算する場合もしない場合も、駆動ＩＣから供給される信号によって画素からの信号がイメージセンサ３から読み出され、前置信号処理部１１に入力される。ここで、画素信号の加算はイメージセンサ３内で行われる。信号は前置信号処理部１１でキズ補正やノイズ除去など、ＪＰＥＧ圧縮等の画像信号圧縮前の信号処理を受けた後、ＡＤ変換部１３でディジタル信号に変換される。ここで、イメージセンサ内に設けられたカラムＡＤコンバータなどにより既にディジタル信号に変換されている場合は信号処理ＬＳＩ５内のＡＤ変換部１３による処理を受けなくてもよい。すなわち、この場合はイメージセンサ内に設けられたカラムＡＤコンバータが本実施形態のＡＤ変換部１３に相当することとなる。

次に、２画素の信号が加算された信号（画素加算信号）と加算されていない信号とは異なる補間処理を受ける。例えば、加算されていない信号は第１の補間処理部１５ａで補間処理を受け、画素加算信号は第２の補間処理部１５ｂで補間処理を受ける。従来の撮像装置では１つの補間処理部ですべてのモードでの信号を処理していたが、このように異なる補間処理を行うことにより、複数の高解像度モードでの駆動を効率良く行うことができるようになる。

すなわち、従来は、補間処理が高速であることが要求されること、および補間処理部の回路規模が大きいことなどから、一つの信号処理ＬＳＩ内に一つの補間処理部しか設けられなかった。そのため、従来技術では、全画素を（加算しないで）読み出したときのカラーフィルタの配列（信号が出力されるＲＧＢの順番）と、ビューファインダや動画の駆動時に用いられる画素間引き、または画素加算の駆動時の信号読み出しの順番（間引いたり、加算したりした結果の画素色配列）が同じになるように、画素間引き駆動、または画素加算駆動の方法を工夫する必要があった。

これに対し、本実施形態の撮像装置では、特性の異なる複数の高解像度モード、例えば一つは解像度が高いが感度Ｓ／Ｎが劣る第１のモード、もう一つは解像度は第１のモードに比べると若干劣るものの感度が２倍でＳ／Ｎが良好な第２のモードなど、２つ以上の高解像度のモードを持つカメラシステムが実現できる。なお、上述の補間処理は必ずディジタルデータに対して行われる。なお、上述の説明で「画素間引き駆動」とは、全画素のうちから選択された一部の画素（例えば複数の同色画素につき１つの画素）からの信号のみを出力する低解像度用の駆動を意味する。

なお、半導体の集積化技術の進歩と信号処理スピードの飛躍的な進歩により、２つの補間処理回路をＬＳＩ内部に入れることは困難でなくなってきており、本発明は十分に低コストで実現することができる。

図３〜図５は、画素信号の加算を行わない場合の各色信号の補間の例を示す図である。

図３に示すように、Ｇ画素は１列おきに配置されているので、Ｇ画素が配置されていない位置の信号を補う際には、例えば上下の画素の信号の平均を取る。あるいは、斜め（右上、右下、左上、左下）に位置する画素の信号を用いてもよい。この場合には、例えば、補いたい画素からの距離に反比例した重みをつけて周囲の画素の信号を加算平均すればよい。ここで、従来の撮像装置においてはさらに遠方に位置する画素の信号もフーリエ変換を用いて考慮していた。しかしながら、画素数が増加した近年では、近接画素の信号のみを用いて補間を行っても十分な解像度が得られるようになっている。逆に、画素数が増加することにより、遠方の画素を用いて補間をしても演算量が増加して補間処理部の面積が大きくなる割に解像度が上がらなくなってきている。そこで、本実施形態の撮像装置では、画素数が多い場合、補間対象の画素の上下左右、斜めに隣接する画素の信号のみを用いて補間処理を行う。これにより、演算量を大幅に減らすことができ、信号処理ＬＳＩ５内に補間処理部を複数設けることが可能となる。また、後述のように、第１の補間処理部１５ａおよび第２の補間処理部１５ｂの処理をソフトウェアで行うようにしてもよい。ソフトウェアを用いて複雑な補間処理を行うことは可能であるが、以前はリアルタイムで計算量の大きい補間処理を行うことが難しかった。しかし、近年の半導体高速化技術を用いれば、ソフトウェアを用いて補間処理を行うことも可能となっている。また、上述の簡略化した補間処理を行うことでソフトウェアを用いた場合の補間処理速度をさらに向上させることが可能となる。

なお、本実施形態の撮像装置においても、画素数が少ない場合などには遠方の画素の信号を用いて補間する場合がある。

図４に示すように、Ｒ画素の場合、上下あるいは斜めに隣接する画素の信号を用いて補間を行う。また、図５に示すように、Ｂ画素の補間もＲ画素と同様にして行う。なお、図３〜５は、補間の方法の一例を示すものであり、補間方法はこれに限られない。

また、図７は、２画素ずつ画素の信号を加算した場合の画素重心、すなわち補間処理の際のサンプリング点を示す図であり、図８は、画素加算信号の信号処理上の画素配列を示す図である。図８に示すように、第２の補間処理部１５ｂではベイヤー配列を４５°傾けた配置の色重心が、仮想的に画素の中央部に置かれている。

図９〜図１１は、画素信号の加算を行う場合の各色信号の補間の例を示す図である。

図９に示すように、Ｇ画素について、例えば上下または左右にＧ画素が存在する場合は上下または左右の画素の信号の平均値を補間する画素の信号値として用い、斜めにＧ画素が存在する場合は斜めに位置する４つの画素の信号を平均して補間を行う。

図１０に示すように、Ｒ画素について、例えば斜めに２つのＲ画素が隣接している場合には両Ｒ画素の信号の平均値を用いて補間を行い、Ｒ画素が形成する格子の中心部の画素を補間する場合には２画素分離れた３つまたは４つの最寄りのＲ画素の信号の平均値を用いて補間を行う。１つのＲ画素の上下左右に隣接する画素を補間する場合には近接する３つのＲ画素の信号を、距離に反比例した重みをつけて加算平均することで補間を行う。

また、図１１に示すように、Ｂ画素についてもＲ画素と同様に補間を行う。

以上のようにして補間処理を受けた信号は、信号処理部１７で画像化処理され、信号処理ＬＳＩ５から出力された画像を記録部７が不揮発的に記憶する。

また、ＡＤ変換部１３の動作は駆動ＩＣ９により制御されている。

本実施形態の撮像装置によれば、補間処理が異なる２つの高解像度モードを備えているので、外界の状態等に適した高解像モードを選択することができる。ここで、「高解像度モード」とは、補間処理後であって信号処理部１７で処理する際の画素数（記録画素数）が高解像度であるモードを言うものとする。本実施形態の場合、撮像領域の有効画素数が１０００万画素とすると、補間処理後の画素数は画素信号を加算する場合もしない場合も３０００万画素である。

特に、本実施形態の撮像装置においては、全画素を用いて信号処理を行う場合には最も高い解像度が期待でき、２画素の信号を加算する場合には加算後の画素重心がベイヤー配列となっているため、解像度を大きく落とすことがなく、且つイメージセンサ３の感度を大きく向上させることができる。つまり、２つの画素信号を加算することにより信号強度がほぼ２倍となるので、感度が大きく向上する。さらにノイズ等が大きくなることもない。そのため、暗所では画素信号の加算を行い、明所では画素信号の加算を行わないなどの使い分けを行うことができる。また、暗所であっても解像度を高くすることができるので、例えばトリミングや拡大処理を行っても十分に高い解像度を維持することができる。

なお、イメージセンサ３の転送方式はＣＣＤ型であってもＭＯＳ型であってもよい。ＣＣＤ型の場合は撮像領域の高さを低くすることができるために微細化した場合の混色を抑えることができ、さらに感度の向上および飽和特性の向上を図ることができるので、画質を大きく向上させることができる。

これに対し、ＭＯＳ型の場合は、感度の向上及び飽和特性の向上を図ることができる他、混色の発生を緩和することができる。本実施形態のイメージセンサでは同色画素同士が列方向に隣接しているので、隣接する同色画素に入射すべき光が入っても従来のイメージセンサほど大きくは画質が低下することはない。

また、読み出し手段がＣＣＤ型、ＭＯＳ型のいずれの型のイメージセンサを備えた撮像装置においても、解像度より信号処理の速度が優先されるビューファインダーでの表示や動画撮影モードでの表示の際には、３画素以上の同色画素からの信号を加算したり、画素間引き駆動を行う場合があるが、本実施形態の撮像装置では、２つの補間処理部のいずれで補間処理を行うかを選択できるので、画素から出力された信号の加算方法や間引き方のバリエーションを従来の撮像装置よりも広げることが可能となる。

なお、本実施形態では撮像領域のフィルタ配置を図２に示す構成としたが、これを９０°回転させたような配置にしても本実施形態の撮像装置と同様の効果を得ることができる。この場合、Ｇの画素のみが並ぶ行が１行おきに配置され、且つＧ画素のみで構成された行の間には、Ｒ画素２つとＢ画素２つずつとが交互に並んだ行が配置されている。

一方、従来のカラーフィルタ配列（例えばベイヤー配列）を用いて、同色の画素の出力を２画素加算すると、加算後に半ピッチずれたような信号配列を形成することができないので、信号処理上の画素数が半分になり高解像度の信号処理が困難である。

また、本実施形態の撮像装置では、図１に示すように、イメージセンサ３が搭載されたチップと信号処理ＬＳＩ５のチップとは別個になっている。

−第１の実施形態の第１の変形例−
図１２は、本発明の第１の実施形態の第１の変形例に係る撮像装置の概略構成を示す図である。本実施形態のイメージセンサ３はＭＯＳ型である。

図１２に示すように、本実施形態の撮像装置では、ＡＤ変換部１３及び前置信号処理部１１がイメージセンサと同一チップ上に設けられている。信号処理ＬＳＩ５上には第１の補間処理部１５ａ、第２の補間処理部１５ｂ、および信号処理部１７が設けられている。また、駆動ＩＣ９及び記録部７は、さらに別のチップ上に設けられている。ＭＯＳ型のイメージセンサの場合、ＡＤ変換部１３や前置信号処理部１１などの回路をセンサと同一チップ上に形成することができるので、装置の小型化を図ることが可能となる。

−第１の実施形態の第２の変形例− 図１３は、本発明の第１の実施形態の第２の変形例に係る撮像装置の概略構成を示す図である。本実施形態のイメージセンサ３はＭＯＳ型である。 図１３に示すように、本実施形態の撮像装置では、ＡＤ変換部１３、前置信号処理部１１だけでなく駆動ＩＣ９がイメージセンサ３と同一チップ上に設けられている。信号処理ＬＳＩ５上には第１の補間処理部１５ａ、第２の補間処理部１５ｂ、および信号処理部１７が設けられている。

このような構成であっても、装置の小型化を図ることが可能となっている。

−第１の実施形態の第３の変形例−
図１４は、本発明の第１の実施形態の第３の変形例に係る撮像装置の概略構成を示す図である。本実施形態のイメージセンサ３はＭＯＳ型である。

図１４に示すように、本実施形態の撮像装置では、ＡＤ変換部１３、前置信号処理部１１だけでなく駆動ＩＣ９、第１の補間処理部１５ａ、第２の補間処理部１５ｂ、および信号処理部１７がイメージセンサ３と同一チップ上に設けられている。

このような構成であっても、装置の小型化を図ることが可能となっている。

−第１の実施形態の第４の実施例−
図１５は、本発明の第１の実施形態の第４の変形例に係る撮像装置の概略構成を示す図である。本実施形態のイメージセンサ３はＣＣＤ型である。

図１５に示すように、本実施形態の撮像装置では、ＡＤ変換部１３、前置信号処理部１１、駆動ＩＣ９、第１の補間処理部１５ａ、第２の補間処理部１５ｂ、および信号処理部１７が信号処理ＬＳＩ上に設けられている。

この構成によれば、イメージセンサ３がＣＣＤ型の場合であっても装置の小型化を図ることが可能となる。

（第２の実施形態）
図１６は、本発明の第２の実施形態に係る撮像装置の概略構成を示す図である。同図に示すように、本実施形態の撮像装置では、補間処理部１５がＡＤ変換された信号を処理する。補間処理部１５は、不揮発性メモリ等に保持されたソフトウェアに基づいて、画素信号の加算を行わない場合の補間や画素信号の加算を行う場合の補間など、２種類以上の補間処理を行う。

この構成によれば、各補間処理専用の回路を設ける場合に比べて回路面積を縮小することができる。また、ソフトウェアをあらかじめ準備しておくことで３種類以上の補間処理を行うことも可能である。

（第３の実施形態）
図１７は、本発明の第３の実施形態に係る撮像装置の概略構成を示す図である。同図に示すように、本実施形態の撮像装置では、ＡＤ変換部１３から画素信号が加算されていない状態のＲＡＷデータを直接記録部７に出力する。ここで、「ＲＡＷ」とは、イメージセンサ３が捉えた情報（色情報等）をすべて保存できるディジタルカメラ独自の画像フォーマットであり、コンピュータ等のハード機器にこのＲＡＷデータを取り込むことで、ユーザが任意の画像処理を行い、再生画像を得ることが可能となる。

また、２画素の信号が加算された信号は補間処理部１５で補間処理を受ける。この際の補間処理は第１の実施形態の第２の補間処理部１５ｂでの処理と同様にする。

このような構成によっても、２つの高解像モードを使い分けて高解像度と高い感度とを合わせて実現することができる。また、本実施形態の撮像装置によれば、ＲＡＷデータを用いて高度の信号処理を行うことができるので、特に一眼レフカメラなどに用いれば高画質の画像を得ることができる。

なお、本実施形態の撮像装置が互いに異なる補間処理を行う複数の補間処理部を備えていてもよい。

また、本実施形態の撮像装置において、画素信号の加算をイメージセンサ（光電変換手段）３で行う場合を説明してきたが、デジタル変換後で且つ補間処理をする前に画素加算を行うことも可能である。すなわち、以上では、イメージセンサ３内の撮像領域で生成された信号は、撮像領域の周辺部に配置された回路などで適宜加算された後、ＡＤ変換に先立って前置信号処理部１１に出力される例について説明したが、イメージセンサ３の画素列ごとに設けられたカラムＡＤ回路等でＡＤ変換を行った後で、補間処理の前に画素信号の加算を行ってもよい。画素信号の加算は、イメージセンサ３と同一基板内に設けられた回路内で行われてもよいし、イメージセンサ３と別個の、例えば信号処理ＬＳＩ５内の回路で行われてもよい。

（第４の実施形態）
第１〜第３の実施形態に係る撮像装置では、イメージセンサのカラーフィルタ配列が、２画素ずつ画素加算を行った後にベイヤー配列となるよう工夫されており、２つの異なる補間処理を行うことで相乗的な効果が得られる。しかし、画素加算前のカラーフィルタ配列は一般的なベイヤー配列であるイメージセンサであっても本発明の撮像装置に好ましく用いられる場合がある。その一例として、いわゆる非破壊読み出しセンサを用いる撮像装置について以下説明する。

第１〜第３の実施形態で説明に用いたイメージセンサは、破壊読み出しセンサと呼ばれるものである。この破壊読み出しセンサは、一度信号を読み出した画素は信号電荷を失っており２度同じ信号を読み出すことができない。したがって、２画素ずつ信号を加算すると、加算後の信号の数は全画素数の半分になっている。しかし、第１〜第３の実施形態に係る撮像装置では、イメージセンサが破壊読み出しセンサであっても図２に示すフィルタ配置を有することにより加算後の信号が列ごとに半ピッチ（この場合は１画素の横方向のピッチ）分ずれた信号が現れるので、信号処理上の画素数を落とさないように補完できた。

一方、本実施形態に係る撮像装置は、イメージセンサ（固体撮像装置）に詳細を後述する非破壊読み出しセンサを用いることを特徴としており、これにより、一度読み出した画素の信号を再び読み出すことができる。

したがって、イメージセンサ（固体撮像装置）として、非破壊読み出しセンサを用いることにより、同じ画素からの信号を複数回読み出すことができるため、加算する画素の一部が重複するように画素加算を行うことが可能となる。そのため、画素加算を行っても信号処理部上での画素数（記録画素数）を減らさない高解像度での処理ができ、現在一般的に用いられているベイヤー配列においても画素加算後に高解像度の信号処理ができる。ただし、カラーフィルタの配列としては、ベイヤー配列、または斜めに例えば４５°傾斜したベイヤー配列が好ましく用いられるものの、特に制限はなく、第１〜第３の実施形態のイメージセンサと同様のカラーフィルタ配列であってもよい。なお、本実施形態の撮像装置において、イメージセンサ以外の構成は第１〜第３の実施形態の撮像装置と同様である。例えば、図１に示すような回路構成をとる場合、画素加算されない信号を第１の補間処理部で処理し、同一の画像について、画素加算された信号を第２の補間処理部で処理することができる。

なお、非破壊型のセンサを用いた場合、加算した後の信号の配列に自由度が出すことが出来る。したがって、加算した後の信号の配列が第１の配列（加算しない場合の信号配列）と異なる場合は第２の補間処理部で処理こともできる。

次に、非破壊読み出しセンサについての詳細について説明する。

図１８は、本実施形態に係る撮像装置に設けられたＭＯＳ型イメージセンサ（非破壊読み出しセンサ）の単位画素内における素子レイアウトについて示す平面図である。図１８に示すように、単位画素３０１内に、受光ダイオード３１１と光信号検出用ＭＯＳトランジスタ３１２とが隣接して設けられている。これらは、一つのウェル領域２１５を共有している。即ち、受光ダイオード３１１のウェル領域２１５は光照射による電荷の発生領域を構成し、光信号検出用ＭＯＳトランジスタ３１２のウェル領域２１５はゲート領域を構成している。

受光ダイオード３１１のドレイン拡散領域２１７と光信号検出用ＭＯＳトランジスタ３１２のドレイン拡散領域２１７ａとはウェル領域２１５の表層に一体的に形成されている。ドレイン拡散領域２１７ａはリング状のゲート電極２１９の外周部を取り囲むように形成され、リング状のゲート電極２１９の中心部にソース拡散領域２１６が形成されている。ゲート電極２１９下のウェル領域２１５内であって、ソース拡散領域２１６の周辺部に、ソース拡散領域２１６を取り囲むようにキャリアポケット（高濃度埋込層）２２５が形成されている。

なお、光信号検出用ＭＯＳトランジスタ３１２の動作時にゲート電極２１９下のウェル領域２１５の表面のチャネル領域が反転状態或いはデプレション状態を保つように、チャネル領域にはｎ型の不純物を導入したｎ型不純物層（反対導電型の不純物層）が形成されている。ドレイン拡散領域２１７ａはドレイン電圧（ＶＤＤ）供給線２２２と接続され、ゲート電極２１９は垂直走査信号（ＶＳＣＡＮ）供給線２２１に接続され、ソース拡散領域２１６は垂直出力線２２０に接続されている。

また、受光ダイオード３１１の受光窓２２４以外の領域は金属層（遮光膜）２２３により遮光されている。次に、本実施形態に係るＭＯＳ型イメージセンサのデバイス構造を断面図を用いて説明する。

図１９の上の図は、図１８のＡ−Ａ線断面図に相当する、本実施形態に係るＭＯＳ型イメージセンサのデバイス構造について示す断面図である。 図１９の下の図は、半導体基板表面に沿うポテンシャル図である。図２０の上の図は、チャネル領域下のウェル領域２１５内のキャリアポケット２２５の付近を詳細に示す断面図である。また、図２０の下の図は、光発生ホール（光により発生したホール）がキャリアポケット２２５に蓄積されているときの、キャリアポケット２２５を含む半導体基板表面に平行な面、即ち図中のＦ−Ｆ線に沿うポテンシャル図である。但し、キャリアポケット２２５上のチャネル領域の反転領域の電子の分布を同じ図に記載している。

図２１は、図１８のＢ−Ｂ線での断面図であり、図２２は、図１８のＣ−Ｃ線での断面図である。図１９の上の図に示すように、ｐ型シリコンからなる基板２１１上にｎ型シリコンをエピタキシャル成長し、エピタキシャル層（ｎ型層）２１２を形成する。このｎ型層２１２上にｐ型のウェル領域２１５が形成されている。なお、隣接する単位画素間には、単位画素同士を分離するためのフィールド絶縁膜２１４と、フィールド絶縁膜２１４の下に配置された素子分離拡散領域２１３とが形成されている。

次に、受光ダイオード３１１の詳細について、図１９及び図２１を用いて説明する。即ち、ウェル領域２１５と、平面的に見てウェル領域２１５の大部分の領域を覆うようにｎ型層２１２の表層に形成されたドレイン拡散領域２１７とで構成されている。即ち、受光ダイオード３１１は、正孔に対する埋め込み構造を有している。ドレイン拡散領域２１７はドレイン電圧（ＶＤＤ）供給線２２２に接続されて正の電位にバイアスされる。これにより、入射光により発生したホールはドレイン拡散領域２１７の下のウェル領域２１５内に存在するようになるため、界面捕獲準位の多い半導体層表面に影響されず、雑音の低減を図ることができる。

次に、光信号検出用ＭＯＳトランジスタ（ｎＭＯＳ）３１２の詳細について図１９及び図２２を用いて説明する。即ち、リング状のゲート電極２１９がｎ^＋型のドレイン拡散領域２１７と一体的に形成されたｎ^＋型のドレイン拡散領域２１７ａにより囲まれた構造を有する。リング状のゲート電極２１９の中央部にｎ^＋型のソース拡散領域２１６が形成されている。そして、ドレイン拡散領域２１７ａとソース拡散領域２１６の間のウェル領域２１５上にゲート絶縁膜２１８を介してゲート電極２１９が形成されている。ゲート電極２１９下のウェル領域２１５の表層がチャネル領域となる。

また、チャネル領域の下のウェル領域２１５内に、チャネル長方向の一部領域、即ちソース拡散領域２１６の周辺部であって、ソース拡散領域２１６を囲むように、ｐ^＋型のキャリアポケット２２５が形成されている。このｐ^＋型のキャリアポケット２２５は、例えばイオン注入法により形成することができる。キャリアポケット２２５は、ウェル領域２１５内のうち、ウェル領域２１５の上面部に生じるチャネル領域よりも下側に形成される。キャリアポケット２２５はチャネル領域にかからないように形成することが望ましい。さらに、通常動作電圧において、チャネル領域を反転状態或いはデプレーション状態に保持するため、チャネル領域に適当な濃度のｎ型不純物を導入してｎ型不純物層２１５ａを形成することが必要である。

上記したｐ^＋型のキャリアポケット２２５では光発生電荷のうち光発生ホールに対するポテンシャルが低くなるため、ドレイン拡散領域２１７ａに高電圧を印加したときに光発生ホールがこのキャリアポケット２２５に集まる。図は光発生ホールがキャリアポケット２２５に蓄積されている状態を示す。図１９の下図に光発生ホールがキャリアポケット２２５に蓄積し、チャネル領域に電子が誘起されて反転領域が生じている状態のポテンシャル図を示す。また、チャネル領域下のウェル領域２１５内のキャリアポケット２２５の付近の素子構造断面とポテンシャル図の詳細を図２０に示す。

次に、図２３（ａ）、（ｂ）を参照して上記の構造の単位画素を用いたＭＯＳ型イメージセンサの全体の構成について説明する。図２３（ａ）は、本実施形態に係るＭＯＳ型イメージセンサの回路構成図を示す。図２３（ａ）に示すように、このＭＯＳ型イメージセンサは、２次元アレーセンサの構成を採っており、上記した構造の単位画素が列方向及び行方向にマトリクス状に並ぶように配置されている。

また、垂直走査信号（ＶＳＣＡＮ）の駆動走査回路３０２及びドレイン電圧（ＶＤＤ）の駆動走査回路３０３が画素領域を挟んでその左右に配置されている。列毎に列方向に並ぶ全ての単位画素３０１内の光信号検出用ＭＯＳトランジスタ３１２のドレインに、ドレイン電圧（ＶＤＤ）の駆動走査回路３０３から列毎に一つずつ出ているドレイン電圧供給線２２２ａ、２２２ｂがそれぞれ接続されている。さらに、列毎に列方向に並ぶ全ての単位画素３０１内の光信号検出用ＭＯＳトランジスタ３１２のゲートに、垂直走査信号（ＶＳＣＡＮ）の駆動走査回路３０２から列毎に一つずつ出ている垂直走査信号供給線２２１ａ、２２１ｂがそれぞれ接続されている。

また、行毎に行方向に並ぶ全ての単位画素３０１内の光信号検出用ＭＯＳトランジスタ３１２のソースが行毎に異なる垂直出力線２２０ａ、２２０ｂに接続されている。各垂直出力線２２０ａ、２２０ｂは列毎に異なるスイッチとしてのＭＯＳトランジスタ３０５ａ、３０５ｂのドレイン（光検出信号入力端子）２２８ａ、２２９ａに１つずつ接続されている。各スイッチ（ＭＯＳトランジスタ３０５ａ、３０５ｂ）のゲート（水平走査信号入力端子）２２８ｂ、２２９ｂは水平走査信号（ＨＳＣＡＮ）の駆動走査回路３０４に接続されている。

また、各スイッチ３０５ａ、３０５ｂのソース（光検出信号出力端子）２２８ｃ、２２９ｃは共通の定電流源３０６を通して映像信号出力３０７に接続されている。即ち、各単位画素３０１内の光信号検出用ＭＯＳトランジスタ３１２のソースは定電流源３０６に接続され、画素単位のソースフォロワ回路を形成する。従って、各光信号検出用ＭＯＳトランジスタ３１２のゲート−ソース間の電位差、及びバルク−ソース間の電位差は接続された定電流源（負荷回路）３０６により決定される。

垂直走査信号（ＶＳＣＡＮ）及び水平走査信号（ＨＳＣＡＮ）により、遂次、各単位画素の光信号検出用ＭＯＳトランジスタ３１２を駆動して光の入射量に比例した映像信号（Ｖｏｕｔ）が読み出される。上記のように、単位画素３０１は受光ダイオード３１１及び光信号検出用ＭＯＳトランジスタ３１２で構成されるので、画素の部分をＣＭＯＳ技術を用いて作成することができる。従って、上記画素部分と、駆動走査回路３０２〜３０４及び定電流源３０６等周辺回路とを全て同じ半導体基板に作成することができる。

図２３（ｂ）は、本実施形態に係るＭＯＳ型イメージセンサを動作させるための各入出力信号のタイミングチャートを示す。ｐ型のウェル領域２１５を用い、かつ光信号検出用トランジスタ３１２がｎＭＯＳの場合に適用する。素子動作としては、掃出期間（初期化）−蓄積期間−読出期間−掃出期間（初期化）−・・という動作を繰り返し行う。

このとき、固体撮像素子の動作に伴って単位画素３０１のウェル領域２１５内のポテンシャルが変化する様子についても、図２４、図２５、及び図２６のポテンシャル図を参照しながら説明する。さらに、単位画素３０１内の光信号検出用ＭＯＳトランジスタ３１２の電流−電圧特性についても図２７に示すグラフを参照しながら説明する。

図２４乃至図２６において、縦軸はポテンシャルを表し、横軸は基板表面からの深さを表す。また、図２４（ａ）、図２５（ａ）、図２６（ａ）は、それぞれ掃出期間（初期化）、蓄積期間、読出期間における図２１のＤ−Ｄ線断面でのポテンシャル分布を表す。さらに、図２４（ｂ）、図２５（ｂ）、図２６（ｂ）は、それぞれ掃出期間（初期化）、蓄積期間、読出期間における図２２のＥ−Ｅ線断面でのポテンシャル分布を表す。

まず、掃出期間は、光発生電荷（ホール）を蓄積する前に、読み出しが終わった光発生電荷や、アクセプタやドナー等を中性化し、或いは表面準位に捕獲されている正孔や電子等、光信号の読み出し前の残留電荷を半導体内から排出する期間である。即ち、この動作を光発生電荷の基板掃出し動作（初期化動作）といい、列単位で行われる。

初期化動作を行うのは、次の蓄積期間にキャリアポケット２２５を空にして新たな光発生電荷を蓄積するためである。即ち、蓄積された光発生電荷だけを映像信号として取り出し、残留電荷によるノイズを防止するためである。この場合、ドレイン拡散領域２１７ａ、ゲート電極２１９及びソース拡散領域２１６に通常の動作電圧よりも大きい電圧を印加する。即ち、ドレイン電圧供給線２２２ａ、２２２ｂに約＋５Ｖの電圧を供給してドレイン拡散領域２１７ａに印加し、垂直走査信号供給線２２１ａ、２２１ｂに約＋５Ｖの電圧を供給してゲート電極２１９にこの電圧を印加する。また、ゲート電極２１９に約＋５Ｖの電圧を印加することによりチャネル領域が導通するため、ドレイン拡散領域２１７ａに印加された約＋５Ｖの電圧がそのままソース拡散領域２１６に印加される。

この電圧印加は、図２４（ａ）、（ｂ）に示すように、ｐｎ接合を逆バイアスし、ウェル領域２１５内の電界がＮ領域及びＰ領域を通してｐ＋型の基板２１１方向に向くようにする。これにより、ウェル領域２１５その他半導体内に残留するホールはｐ^＋型の基板２１１に排出され、電子はソース拡散領域２１６やドレイン拡散領域２１７から排出される。特に、光発生電荷がキャリアポケット２２５に蓄積されている場合、トランジスタが飽和状態で動作しうるゲート電圧及びドレイン電圧では光発生電荷をキャリアポケット２２５から排出させることはできないが、５Ｖ程度よりさらに高いゲート電圧及びドレイン電圧を印加することにより、光発生電荷をキャリアポケット２２５から排出させることができる。

残留電荷が排出された後ではウェル領域２１５は空乏化した状態にある。上記したような初期化は、残留電荷を生じさせないので、キャリアの熱的ゆらぎによる熱雑音（ｋＴＣ雑音）が発生せず、理想的である。なお、この初期化動作においては、電流パスが無いため、オンチップに搭載された昇圧回路が容易に使用できる。

次に、蓄積期間は、光照射により光発生電荷を発生させ、その光発生電荷をチャネル領域下のウェル領域２１５内のキャリアポケット２２５に蓄積させる期間である。なお、この蓄積期間では水平走査時間単位での電子シャッター動作も可能である。この場合、光照射前に、ドレイン電圧供給線２２２ａ、２２２ｂを通して、全ての単位画素３０１内の光信号検出用ＭＯＳトランジスタ３１２のドレイン拡散領域２１７にＭＯＳトランジスタが動作しうる凡そ＋２〜３Ｖ程度の電圧を印加するとともに、垂直走査信号供給線２２１ａ、２２１ｂを通して、行毎に光信号検出用ＭＯＳトランジスタ３１２のゲートにＭＯＳトランジスタがカットオフ状態を維持するような低い電圧を印加する。このように、光発生電荷の蓄積は各水平走査信号線上に配列されたセンサ列毎に行う。

ドレイン拡散領域２１７ａへの電圧印加により、ｐ型のウェル領域２１５内の多数キャリヤ（正孔）はｐ^＋型の基板２１１側に掃き出されるため、ウェル領域２１５内は空乏化し、アクセプタからなる負の空間電荷層が存在する。この状態で画素領域に光を照射すると、受光ダイオード３１１のウェル領域２１５に電子−正孔対が発生する。

ここで、光信号検出用ＭＯＳトランジスタ３１２のゲート電圧が低く設定されているので、光発生電荷のうち、光発生電子（光により発生した電子）はドレイン電圧によりドレイン拡散領域２１７から排出される。一方、光発生ホールはソース拡散領域２１６の低い電位に引かれてソース拡散領域２１６の方に移動し、最も電位の低くなっているキャリアポケット２２５に蓄積される。この状態を図２５（ａ）、（ｂ）に示す。

蓄積期間での光発生ホールの移動はｐ型のウェル領域２１５内でのみ行われるので、光発生ホールの移動に際して半導体表面の影響を受けることはなく、雑音成分は発生しない。ところで、トランジスタの表面がデプレション化している場合、ホールに対して障壁が存在することになる。

他の方式で用いられているフォトゲート電極構造では、図２９（ｂ）に示すように、表面は光発生電荷により満たされているため、表面は平衡化し、熱的励起による暗電流発生や寄生ホール蓄積によるポテンシャル変調が問題となる。一方、この実施形態においては、トランジスタのチャネル領域は、図２８（ａ）に示すように、初期化後に空乏状態が保持される。しかも、図２８（ｂ）に示すように、トランジスタのゲート及びその周辺が遮光されているため、過剰なキャリア層を形成するに至らない。従って、仮に表面に捕獲されたキャリアも、障壁を乗り越えずして暗電流となることはなく、表面からのノイズ成分を抑制することができる。

読出期間は、蓄積された光発生電荷に基づく映像信号（Ｖｏｕｔ）を読み出す期間である。光信号検出用ＭＯＳトランジスタ３１２をソースフォロワ回路として動作させ、映像信号（Ｖｏｕｔ）を出力する。この場合、光信号検出用ＭＯＳトランジスタ３１２が飽和状態で動作するように、ドレイン電圧供給線２２２ａ、２２２ｂにより、列毎に光信号検出用ＭＯＳトランジスタ３１２のドレインに凡そ＋２〜３Ｖ程度の電圧を印加するとともに、垂直走査信号供給線２２１ａ、２２１ｂにより、行毎に光信号検出用ＭＯＳトランジスタ３１２のゲートに凡そ＋２〜３Ｖ程度の電圧を印加する。さらに、光信号検出用ＭＯＳトランジスタ３１２のソースに定電流源３０６を接続して一定の電流を流すようにする。

ところで、この読出期間の直前の蓄積期間で、光発生電荷がキャリアポケット２２５内に蓄積されている。光発生電荷がキャリアポケット２２５内に蓄積されると、蓄積量に応じてフェルミレベルが変化し、空間電荷は減少するため、トランジスタの閾値電圧の低下をもたらす。同時に、電荷保存則により、キャリアポケット２２５上に反転領域が形成され、反転領域内でキャリアポケット２２５内に蓄積された光発生ホールの量と同じ量の電子が増加し、チャネルコンダクタンスは増大する。

この場合、キャリアポケット２２５上の表面電位はゲート長方向にほぼ一定値となり、反転領域には、キャリアである電子が一様な密度で分布する。一方、ドレイン拡散領域２１７ａ側では、空間電荷密度が低いため、表面に反転領域は生ぜず、高電界領域が生じる。このように、チャネル領域の一部に反転領域が生じ、他の部分に高電界領域が生じているため、図２７に示すように、光信号検出用ＭＯＳトランジスタ３１２は飽和状態での動作が可能となる。

従って、光信号検出用ＭＯＳトランジスタ３１２の各電極に通常の動作電圧を印加すると、光信号検出用ＭＯＳトランジスタ３１２は飽和状態で動作する。このとき、光信号検出用ＭＯＳトランジスタ３１２は定電流動作によるソースフォロワ回路を形成しているので、負帰還作用により光信号検出用ＭＯＳトランジスタ３１２に一定電流が流れるようにゲート−ソース間の電位差を減少させるべく、図２６（ａ）、（ｂ）に示すように、ソース電位が高くなる。このソース電位の変化を映像信号出力３０７に出力する。

なお、上記の読出動作を次のように理解してもよい。即ち、図２７に示すように、光信号検出用ＭＯＳトランジスタ３１２は飽和領域で動作するため、ドレイン−ソース間の電位差はゲート電極２１９下のポテンシャルで決定され、その電位差によりｐ型のウェル領域２１５内にはソース拡散領域２１６に向かう方向の電界が存在する。

従って、光発生ホールはソース拡散領域２１６付近のフェルミ電位を正の方向に変化させるが、電流値はその定電流源３０６により決定されているため、ソース側のポテンシャル障壁高さは保存される。このため、図２６（ａ）、（ｂ）に示すように、ソース電位（ＶＳ）には、光発生ホールの注入により中性化された空間電荷層の電位差分の変化が現れる。すなわち、バルク電位を光発生ホール量により変化させ、ソースフォロワ出力を変化させることができる。

これにより、光照射量に比例した映像信号（Ｖｏｕｔ ）を得ることができる。この場合、光発生ホールと反転領域の電荷の増減分は均衡しているので、光発生ホールによる電荷量はゲート絶縁膜２１８容量への充電量と等価であり、閾値電圧の変化分が出力される。ここで、図２９（ａ）、（ｂ）に示すように、ゲート絶縁膜２１８容量への充電は、キャリアポケット２２５上のゲート絶縁膜２１８容量に限定されるため、ゲート酸化膜厚、キャリアポケット２２５の面積及び深さにより検出感度を決定することができる。また、キャリアポケット２２５という限られた領域に光発生ホールが蓄積されるため、変換効率もよい。

しかも、この検出容量は殆ど固定容量と見なせるので、電荷−電圧変換の伝達特性の線型性に極めて優れた高感度検出が可能となる。次に、図２３（ａ）、（ｂ）にしたがって、一連の連続した固体撮像素子の光検出動作を簡単に説明する。即ち、初期化動作によりウェル領域やその他の半導体層内に残る電荷を排出する。

次いで、トランジスタのゲート電極２１９に低いゲート電圧を印加し、ドレイン拡散領域２１７ａにトランジスタの動作に必要な約２〜３Ｖの電圧（ＶＤＤ）を印加する。このとき、ウェル領域２１５は空乏化し、ドレイン拡散領域２１７ａからソース拡散領域２１６に向かう電界が生じる。光照射により電子−ホール対（光発生電荷）が生じると、上記電界によりこの光発生電荷のうち光発生ホールがゲート領域に注入され、かつキャリアポケット２２５に蓄積される。これにより、チャネル領域から基板２１１側に広がる空乏層幅が制限されるとともに、そのソース拡散領域２１６付近のポテンシャルが変調されて、光信号検出用ＭＯＳトランジスタ３１２の閾値電圧が変動する。

ここで、ゲート電極２１９に光信号検出用ＭＯＳトランジスタ３１２が飽和状態で動作しうる約２〜３Ｖのゲート電圧を印加し、ドレイン拡散領域２１７ａに光信号検出用ＭＯＳトランジスタ３１２が動作しうる約２〜３Ｖの電圧ＶＤＤを印加する。これにより、チャネル領域の一部に低電界の反転領域が形成され、残りの部分に高電界領域が形成される。

さらに、光信号検出用ＭＯＳトランジスタ３１２のソース拡散領域２１６に定電流源３０６を接続して一定の電流を流す。これにより、光信号検出用ＭＯＳトランジスタ３１２はソースフォロワ回路を形成し、従って、光発生ホールによるＭＯＳトランジスタの閾値電圧の変動に追随してソース電位が変化し、出力電圧の変化をもたらす。これにより、光照射量に比例した映像信号（Ｖｏｕｔ）を取り出すことができる。

以上のように、本実施形態によれば、掃出動作（初期化）−蓄積動作−読出動作の一連の過程において、光発生ホールが移動するときに、半導体表面やチャネル領域内の雑音源と相互作用しない理想的な光電変換機構を実現することができる。また、キャリアポケット２２５をチャネル領域下の一部領域に設けているため、チャネル領域の一部を反転領域とし、残りの部分を高電界領域とすることができる。これにより、図２７に示すように、トランジスタを飽和状態で動作させることができる。しかも、ソースフォロワ回路を形成しているので、光発生電荷による閾値電圧の変化をソース電位の変化として検出することができる。このため、線型性の良い光電変換を行うことができる。

なお、図３０（ａ）に示す従来例のＢＣＭＤ（Bulk Charge Modulated Device）型固体撮像素子の場合、電流−電圧特性は３極管特性となり、飽和状態での動作が難しい（図３０（ｂ）参照）。このため、線型性の良い光電変換を行うことは難しいといえる。さらに、本実施形態の撮像装置では、受光ダイオード３１１と光信号検出用ＭＯＳトランジスタ３１２とを別々に設けているので、フォトゲート電極への光照射のような多重干渉による分光感度特性の劣化を防止することができる。

また、素子構成は、受光ダイオード３１１と光信号検出用ＭＯＳトランジスタ３１２との単純な組合わせで行えるため、開口率を向上できる。さらに、ゲート電圧を変化させ、ソースフォロワの利得及びソース容量を調整できる特性を生かして、固定パターン雑音を抑制することができる。

以上、図１８から図３０を用いて説明したイメージセンサは一つの画素の信号を何度も読み出すことのできる非破壊読み出しセンサである。

さらに、本実施形態に係る非破壊読み出しセンサのさらなる詳細について、図３１を用いて説明する。

図３１は、本実施形態の撮像装置を詳細に説明するための図である。実際にはイメージセンサは赤、青、緑のカラーフィルタを有しているが、同図では、理解しやすいように色フィルタのない白黒の画素のセンサ（非破壊読み出しセンサ）であると仮定する。

互いに隣接する４画素（画素５０−１、５０−２、５１−１、５１−２）の信号を加算したものを画素信号６０−１とすると画素信号６０−１の信号の重心は、図示するように互いに隣接する４画素５０−１、５０−２、５１−１、５１−２の中心となる。同様に互いに隣接する４画素５０−２、５０−３、５１−２、５１−３の信号を加算したものを画素信号６０−２とすると画素信号６０−２の信号の重心は、図示するように隣接する４画素５０−２、５０−３、５１−２、５１−３の中心となる。あとは同様に加算していくと、４画素の信号を加算したにもかかわらず加算する前の画素の数と加算後の信号の数がほぼ等しくなる。なお、「ほぼ等しく」と示したのは、画素エリアの周辺部分は画素の加算ができないからであるが、このことは大きな特性問題とはならない。

このような画素加算を行うと、この場合は感度が４倍に向上するが、信号処理上の画素数は減らない高解像度の信号処理を行うことができる。

実際に色フィルタ配列がある場合は、同色のカラーフィルタを持つ画素の隣接（または最寄りの）４画素分ずつの信号を加算すればよい。また、４画素にかかわらず、２画素ずつや８画素ずつの信号加算も可能である。また色によって加算する画素信号数を変えることも考えられる。本実施形態の撮像装置において、非破壊読み出しセンサを用いることで、各画素から出力された信号を重複して加算することができるので、上述のように、実質的な画素数を落とすことなく感度を大幅に向上させることができる。

このように、画素加算の方法に自由度のある非破壊読み出しセンサを用いた撮像装置において、本発明の撮像システムは非常に有効である。

すなわち、図１〜図１７、図３１に示された本発明の実施形態に係る撮像装置に、非破壊読み出しセンサを用いることにより優れた特性を得ることができる。

以上説明したように、本発明は、ＣＣＤ型及びＭＯＳ型のイメージセンサを備えたディジタルカメラ、一眼レフカメラ、ビデオカメラ等の撮像装置に利用することができる。

本発明の第１の実施形態に係る撮像装置の概略構成を示すブロック図である。 第１の実施形態に係るイメージセンサの撮像領域におけるカラーフィルタの配置を示す図である。 画素信号の加算を行わない場合の緑信号の補間の例を示す図である。 画素信号の加算を行わない場合の赤信号の補間の例を示す図である。 画素信号の加算を行わない場合の青信号の補間の例を示す図である。 画素加算した場合の画素の重心を示す図である。 ２画素ずつ画素の信号を加算した場合の画素重心を示す図である。 画素加算信号の信号処理上の画素配列を示す図である。 画素信号の加算を行う場合の緑信号の補間の例を示す図である。 画素信号の加算を行う場合の赤信号の補間の例を示す図である。 画素信号の加算を行う場合の青信号の補間の例を示す図である。 第１の実施形態の第１の変形例に係る撮像装置の概略構成を示す図である。 第１の実施形態の第２の変形例に係る撮像装置の概略構成を示す図である。 第１の実施形態の第３の変形例に係る撮像装置の概略構成を示す図である。 第１の実施形態の第４の変形例に係る撮像装置の概略構成を示す図である。 本発明の第２の実施形態に係る撮像装置の概略構成を示す図である。 本発明の第３の実施形態に係る撮像装置の概略構成を示す図である。 本発明の第４の実施形態に係る撮像装置に設けられたＭＯＳ型イメージセンサ（非破壊読み出しセンサ）の単位画素内における素子レイアウトについて示す平面図である。 上の図は、第４の実施形態に係るＭＯＳ型イメージセンサの図１８のＡ−Ａ線における断面図であり、下の図は、当該ＭＯＳ型イメージセンサの半導体基板表面に沿う方向でのポテンシャル図である。 上の図は、第４の実施形態に係るＭＯＳ型イメージセンサにおいて、チャネル領域下のウェル領域内のキャリアポケット付近を詳細に示す断面図であり、下の図は、光発生ホールがキャリアポケットに蓄積されているときの、半導体基板表面に平行な面の、上図中のＦ−Ｆ線に沿う方向でのポテンシャル図である。 第４の実施形態に係るＭＯＳ型イメージセンサの図１８のＢ−Ｂ線における断面図である。 第４の実施形態に係るＭＯＳ型イメージセンサの図１８のＣ−Ｃ線における断面図である。 （ａ）は、第４の実施形態に係るＭＯＳ型イメージセンサの回路構成図を示し、（ｂ）は、当該ＭＯＳ型イメージセンサを動作させるための各入出力信号のタイミングチャートを示す図である。 （ａ）は、第４の実施形態に係るＭＯＳ型イメージセンサの掃出期間における図２１のＤ−Ｄ線断面でのポテンシャル分布を示す図であり、（ｂ）は、掃出期間における図２２のＥ−Ｅ線断面でのポテンシャル分布を示す図である。 （ａ）は、第４の実施形態に係るＭＯＳ型イメージセンサの蓄積期間における図２１のＤ−Ｄ線断面でのポテンシャル分布を示す図であり、（ｂ）は、蓄積期間における図２２のＥ−Ｅ線断面でのポテンシャル分布を示す図である。 （ａ）は、第４の実施形態に係るＭＯＳ型イメージセンサの読出期間における図２１のＤ−Ｄ線断面でのポテンシャル分布を示す図であり、（ｂ）は、読出期間における図２２のＥ−Ｅ線断面でのポテンシャル分布を示す図である。 光信号検出用ＭＯＳトランジスタの電流−電圧特性を示す図である。 （ａ）は、光信号検出用ＭＯＳトランジスタの初期化時におけるチャネル領域の表面ポテンシャルを示す図であり、（ｂ）は、遮光時におけるチャネル領域の表面ポテンシャルを示す図である。 （ａ）は、光検出用ＭＯＳトランジスタの縦断面におけるポテンシャルを示す図であり、（ｂ）は、当該光検出用ＭＯＳトランジスタの縦縦断面である。 （ａ）は、従来の固体撮像装置の構成を示す断面図であり、（ｂ）は、当該固体撮像装置におけるトランジスタの電流−電圧特性を示す図である。 第４の実施形態に係るイメージセンサを説明するための図である。 従来の撮像装置の概略構成を示すブロック図である。

符号の説明

１ レンズ
３ イメージセンサ
５ 信号処理ＬＳＩ
７ 記録部
９ 駆動ＩＣ
１１ 前置信号処理部
１３ ＡＤ変換部
１５ 補間処理部
１５ａ 第１の補間処理部
１５ｂ 第２の補間処理部
１７ 信号処理部
５０−１〜４、５１−１〜４、５２−１〜４、５３−１〜４ 画素
６０−１〜４ 画素信号
２１１ 基板
２１２ ｎ型層
２１３ 素子分離拡散領域
２１４ フィールド絶縁膜
２１５ ウェル領域
２１５ａ ｎ型不純物層
２１６ ソース拡散領域
２１７ ドレイン拡散領域
２１７ａ ドレイン拡散領域
２１８ ゲート絶縁膜
２１９ ゲート電極
２２０ 垂直出力線
２２０ａ、２２０ｂ 垂直出力線
２２１、２２１ａ、２２１ｂ 垂直走査信号供給線
２２２、２２２ａ、２２２ｂ ドレイン電圧供給線
２２４ 受光窓
２２５ キャリアポケット
３０１ 単位画素
３０２、３０３、３０４ 駆動走査回路
３０５ａ、３０５ｂ ＭＯＳトランジスタ
３０６ 定電流源
３０７ 映像信号出力
３１１ 受光ダイオード
３１２ 光信号検出用ＭＯＳトランジスタ

Claims (29)

1. 入射光を集光する光学部材と、
   前記光学部材により集められた光を信号に変換する複数の画素を有し、前記複数の画素全てから出力された前記信号を第１の信号として出力する第１のモードと、前記複数の画素のうち２つの同色画素からの前記信号を加算してなる第２の信号を出力する第２のモードとを有している光電変換手段と、
   前記光電変換手段から出力された前記第１の信号および前記第２の信号を前処理する前置信号処理手段と、
   前記第１の信号および前記第２の信号をディジタル信号に変換するデジタル変換手段と、
   少なくともディジタル信号に変換された前記第２の信号の補間処理を行って、前記第２の信号の記録画素数を前記光電変換手段の加算後の信号画素数以上にする少なくとも１つの補間処理手段と、
   補間処理された前記第１の信号を画像処理するデジタル信号処理手段とを備えている撮像装置。
2. 前記複数の画素には前記入射光の赤、緑、青の成分をそれぞれ前記信号に変換する赤画素、緑画素、青画素があり、同じ色の複数の画素からの信号を画素加算した後の重心の配列が斜めに傾斜したベイヤー配列を構成することを特徴とする請求項１に記載の撮像装置。
3. 前記光電変換手段において、ｎを正の整数とすると、第ｎ列と第（ｎ＋２）列の画素は前記緑画素で構成され、第（ｎ＋１）列と第（ｎ＋３）列の画素は、前記赤画素と前記青画素とが列方向に２個ずつ交互に配置されてなり、且つ前記第（ｎ＋１）列の画素と前記第（ｎ＋３）列の画素とは画素の配置が列方向に２画素分ずれており、
   前記第２のモードでは、列方向に隣接する２つの画素からの信号を加算して前記第２の信号を形成することを特徴とする請求項２に記載の撮像装置。
4. ｎを正の整数とすると、第ｎ行と第（ｎ＋２）行の画素は前記緑画素で構成され、第（ｎ＋１）行と第（ｎ＋３）行の画素は、前記赤画素と前記青画素とが少なくとも行方向に２個ずつ交互に配置されてなり、且つ前記第（ｎ＋１）行の画素ラインと前記第（ｎ＋３）行の画素ラインとは画素の配置が行方向に２画素分ずれており、
   前記第２のモードでは、行方向に隣接する２つの画素からの信号を加算して前記第２の信号を形成することを特徴とする請求項２に記載の撮像装置。
5. 前記補間処理手段として前記第１の信号を補間処理する第１の補間処理手段と、前記第２の信号を補間処理する第２の補間処理手段とを備えており、
   前記デジタル信号処理手段は、前記第２の信号も画像処理することを特徴とする請求項１〜４のうちいずれか１つに記載の撮像装置。
6. 前記光電変換手段はＣＣＤ型であることを特徴とする請求項１〜５のうちいずれか１つに記載の撮像装置。
7. 前記前置信号処理手段、前記デジタル変換手段、前記補間処理手段、および前記デジタル信号処理手段は共通の半導体チップ上に設けられていることを特徴とする請求項６に記載の撮像装置。
8. 前記複数の画素には前記入射光の赤、緑、青の成分をそれぞれ前記信号に変換する赤画素、緑画素、青画素があり、前記複数の画素の色配置がベイヤー配列または斜めに傾斜したベイヤー配列を構成することを特徴とする請求項１に記載の撮像装置。
9. 前記光電変換手段は非破壊読み出しセンサであり、
   前記第２のモードでは、前記複数の画素の各々から出力された信号は、前記第２の信号において重複して加算されることを特徴とする請求項８に記載の撮像装置。
10. 前記光電変換手段はＭＯＳ型であることを特徴とする請求項１〜５、８、９のうちいずれか１つに記載の撮像装置。
11. 前記光電変換手段、前記前置信号処理手段、前記デジタル変換手段、前記補間処理手段、および前記デジタル信号処理手段は共通の半導体チップ上に設けられていることを特徴とする請求項８に記載の撮像装置。
12. 前記第１の信号及び前記第２の信号を蓄積する蓄積手段をさらに備えていることを特徴とする請求項１〜１１のうちいずれか１つに記載の撮像装置。
13. 前記デジタル変換手段は、前記第１の信号をＲＡＷデータとして前記蓄積手段に出力することを特徴とする請求項１〜４のうちいずれか１つに記載の撮像装置。
14. 前記補間処理手段は、対象画素の補間を行う場合、前記対象画素の上下左右および斜めに隣接する同色画素の信号のみを用いることを特徴とする請求項１〜１３のうちいずれか１つに記載の撮像装置。
15. ソフトウェアを記録するメモリをさらに備え、
    前記補間処理手段は、前記ソフトウェアに基づいて前記第１の信号を補間処理するとともに、前記第１の信号とは異なる方法で前記第２の信号を補間処理することを特徴とする請求項１〜４のうちいずれか１つに記載の撮像装置。
16. 入射光を集光する光学部材と、
    前記光学部材により集光された前記入射光を分光し、光電変換する複数の色画素を持つ光電変換手段と、
    前記光電変換手段により得られた信号を読み出す読み出し手段と、
    前記読み出し手段により読み出された前記信号をデジタル化するデジタル変換手段と、
    各色画素に対応したデジタル信号を補間処理する補間処理手段と、
    補間処理後得られた補間信号を信号処理するデジタル信号処理手段と、
    デジタル信号処理した信号を蓄積する蓄積手段とを備えた撮像装置であって、
    前記複数の色画素が保持する信号を全画素独立に読み出した後、第１の補間処理する第１のモードと、
    複数の色画素の同色の画素を加算した後、第２の補間処理を行う第２のモードとを有し、
    前記第１のモードと前記第２のモードで補間された後の信号のうち、前記複数の色画素が配置された領域の周辺部を除く領域の画素からの信号数が等しい撮像装置。
17. 前記第２のモードにおいて、前記デジタル変換手段により変換される信号は、同色画素の画素加算が行われた信号であること特徴とする請求項１６に記載の撮像装置。
18. 同色画素の画素加算は、前記光電変換手段と同一基板上に設けられた回路で行われることを特徴とする請求項１７に記載の撮像装置。
19. 前記第２のモードにおいて、同色画素の画素加算は、デジタル変換後且つ補間処理の前に行われることを特徴とする請求項１６に記載の撮像装置。
20. 前記光電変換手段が非破壊読み出しが可能な画素を持つことを特徴とする請求項１６に記載の撮像装置。
21. 前記複数の色画素には前記入射光の赤、緑、青の成分をそれぞれ前記信号に変換する赤画素、緑画素、青画素があり、同じ色の複数の画素からの信号を画素加算した後の重心の配列が斜めに傾斜したベイヤー配列を構成することを特徴とする請求項１６に記載の撮像装置。
22. 前記撮像手段において、ｎを正の整数とすると、第ｎ列と第（ｎ＋２）列の画素は前記緑画素で構成され、第（ｎ＋１）列と第（ｎ＋３）列の画素は、前記赤画素と前記青画素とが列方向に２個ずつ交互に配置されてなり、且つ前記第（ｎ＋１）列の画素と前記第（ｎ＋３）列の画素とは画素の配置が列方向に２画素分ずれており、
    前記第２のモードでは、列方向に隣接する２つの画素からの信号を加算して前記第２の信号を形成することを特徴とする請求項１６に記載の撮像装置。
23. ｎを正の整数とすると、第ｎ行と第（ｎ＋２）行の画素は前記緑画素で構成され、第（ｎ＋１）行と第（ｎ＋３）行の画素は、前記赤画素と前記青画素とが少なくとも行方向に２個ずつ交互に配置されてなり、且つ前記第（ｎ＋１）行の画素ラインと前記第（ｎ＋３）行の画素ラインとは画素の配置が行方向に２画素分ずれており、
    前記第２のモードでは、行方向に隣接する２つの画素からの信号を加算して前記第２の信号を形成することを特徴とする請求項１９に記載の撮像装置。
24. 前記読み出し手段がＣＣＤ型であることを特徴とする請求項１６〜２３のうちいずれか１つに記載の撮像装置。
25. 前記読み出し手段がＭＯＳ型であることを特徴とする請求項１６〜２３のうちいずれか１つに記載の撮像装置。
26. 前記光電変換手段と前記読み出し手段と、前記デジタル変換手段とが同一チップ上に形成されていることを特徴とする請求項２５に記載の撮像装置。
27. デジタル変換手段と、
    前記補間処理手段と、
    前記デジタル信号処理手段が同一チップ上に形成されていることを特徴とする請求項２４または２５に記載の撮像装置。
28. 前記複数の色画素には前記入射光の赤、緑、青の成分をそれぞれ前記信号に変換する赤画素、緑画素、青画素があり、前記複数の色画素はベイヤー配列または斜めに傾斜したベイヤー配列を構成することを特徴とする請求項１６〜２０のうちいずれか１つに記載の撮像装置。
29. 入射光を集光する光学部材と、
    前記光学部材により集光された入射光を分光し光電変換する複数の色画素を持つ光電変換手段と、
    前記光電変換手段により得られた信号を読み出す読み出し手段と、
    前記読み出し手段により読み出された前記信号をデジタル化するデジタル変換手段と、
    各色画素に対応したデジタル信号を補間処理する補間処理手段と、
    補間処理後得られた補間信号を信号処理するデジタル信号処理手段と、
    デジタル信号処理した信号を蓄積する蓄積手段とを備えた撮像装置であり、
    前記複数の色画素を全画素独立に読み出しデジタル変換した後、ＲＡＷデータとして前記蓄積手段に直接書き込む第１のモードと、
    前記複数の色画素の同色の画素を加算した後、第２の補間処理を行う第２のモードとを有し、
    前記第２のモードおよび前記第１のモードで補間処理された信号のうち、前記複数の色画素が配置された領域の周辺部を除く領域の画素からの信号数は互いに等しいことを特徴とする撮像装置。

Images