JP2011223376A - 固体撮像装置および電子カメラ - Google Patents

Abstract

【課題】 Ａ／Ｄ変換処理における負荷を抑えつつ、固体撮像装置の高画素化や高分解化に対応すること。
【解決手段】 光電変換により光をアナログ電気信号に変換して出力する複数の画素と、任意の画素に基づく信号と、その画素と隣接する同色の画素に基づく信号との差分信号を演算する演算部と、差分信号をデジタルデータに変換する変換部とを備える。
【選択図】 図１

Description

本発明は、固体撮像装置および電子カメラに関する。

近年、固体撮像装置の高画素化や高分解化に伴って、読み出しの高速化への要望が高まっている。そのため、固体撮像装置からの高速読み出しに関する様々な技術が提案されている。例えば、特許文献１の発明では、固体撮像装置にＡ／Ｄ（アナログ／デジタル）変換器を搭載し、固体撮像装置からデジタル信号を出力する技術を提案している。

特開２００５−３０３６４８号公報

しかし、特許文献１の発明において、固体撮像装置の高画素化や高分解化に応じてＡ／Ｄ変換器を高分解能化（多ｂｉｔ化）すると、Ａ／Ｄ変換処理に時間を要するという問題がある。また、Ａ／Ｄ変換器における変換処理を高速化するためには、動作クロックを高速化しなければならず、発熱や誤作動などの問題も生じる。さらに、Ａ／Ｄ変換器により出力されるデジタルデータの高速転送においても、固体撮像装置の高画素化や高分解化に応じて転送路を広げると、ノイズが増大したり、固体撮像装置のコストが上昇したりするという問題があった。

本発明は、上記諸問題に鑑みてなされたものであり、Ａ／Ｄ変換処理における負荷を抑えつつ、固体撮像装置の高画素化や高分解化に対応することを目的とする。

本発明の固体撮像装置は、光電変換により生じた信号を出力する複数の画素と、任意の画素に基づく信号と、その画素と近接する同色の画素に基づく信号との差分信号を演算する演算部と、前記差分信号をデジタルデータに変換する変換部とを備える。

なお、前記演算部は、前記複数の画素から出力された信号に対してノイズ処理を行う処理部を備え、前記ノイズ処理と同時に前記差分信号の演算を行っても良い。

また、前記デジタルデータを可変長符号データに符号化する符号化部をさらに備えても良い。

また、前記符号化部は、前記デジタルデータに対して、発生頻度が高いほど短いデータコードを割り当てて、１つ以上の前記可変長符号データに符号化しても良い。

また、前記符号化部は、ハフマン符号化とランレングス符号化との少なくとも一方の符号化によって、前記デジタルデータを前記可変長符号データに符号化しても良い。

また、前記変換部は、前記差分信号を、前記差分信号が取り得る値の幅に応じたダイナミックレンジにおいて、前記デジタルデータに変換しても良い。

また、上述したいずれかの固体撮像装置と、撮影光学系と、撮影制御部と、画像記録部とを備えた電子カメラも本発明の具体的態様として有効である。

本発明によればＡ／Ｄ変換処理における負荷を抑えつつ、固体撮像装置の高画素化や高分解化に対応することができる。

第１実施形態における固体撮像装置１の構成を示すブロック図である。 画素１１の詳細を示す図である。 信号切り替え部１７および差分演算部１８の詳細を示す図である。 差分演算部１８の詳細を示す図である。 差分演算部１８から出力されるデジタルデータについて説明する図である。 符号化部１９の動作を示すフローチャートである。 符号化部１９における符号化について説明する図である。 符号化部１９における符号化について説明する別の図である。 第２実施形態における固体撮像装置３０の構成を示すブロック図である。 ＣＤＳおよび差分演算部３１の詳細を示す図である。 信号切り替え部３２の詳細を示す図である。 Ａ／Ｄ変換部３３の詳細を示す図である。

＜第１実施形態＞
以下、図面を用いて本発明の第１実施形態について説明する。

図１は、第１実施形態における固体撮像装置１の構成を示すブロック図である。固体撮像装置１は、複数の画素１１からなる受光面１２と、それぞれの画素に接続される水平信号線１３、垂直信号線１４、行リセット線１５と、各垂直信号線１４に接続されるＣＤＳ（相関二重サンプリング回路）１６と、信号切り替え部１７と、差分演算部１８と、符号化部１９とを備える。

画素１１は、固体撮像装置１の受光面１２においてマトリックス状に配列されている。各画素１１は、被写体の結像を光電変換し、入射光量に対応する電気信号（アナログ画像信号）を出力する。また、水平信号線１３、垂直信号線１４、行リセット線１５は、受光面１２において、各々の画素１１に応じてマトリックス状に配線されている。なお、説明の便宜上、図１の例では画素１１を受光面に８×４個のみ示すが、実際の受光面１２にはさらに多数の画素が配列されている。

各々の画素１１の前面には、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に対応するカラーフィルタが配置されている。そのため、各々の画素１１はカラーフィルタの色に対応する画像信号を出力する。図１では、各々の画素１１にカラーフィルタの色も併せて表記する。

本実施形態では、受光面１２のカラーフィルタは公知のベイヤー配列に従って配列されている。すなわち、画素１１の配列の奇数行にはＲ，Ｇのフィルタが交互に並ぶとともに、偶数行にはＧ，Ｂのフィルタが交互に並んでいる。そして、受光面１２全体ではＧのフィルタが市松模様をなしている。図１では水平方向にＲと交互に並ぶＧのフィルタをＧｒで示すとともに、水平方向にＢと交互に並ぶＧのフィルタをＧｂで示す。

また、Ｒの画素およびＢの画素については、画素番号ＮＭ（ただし、Ｎは行番号、Ｍは列番号を示す。）を併せて表記する。Ｇの画素（Ｇｒ，Ｇｂ）については画素番号を表記しないが、Ｇの画素についても同様である。

水平信号線１３、行リセット線１５は、不図示の水平走査回路によって制御され、垂直信号線１４は、不図示の垂直走査回路によって制御される。

図２は、図１におけるＲ１１の画素１１の詳細を示す図である。Ｒ１１の画素１１は、図２に示すように、フォトダイオード（ＰＤ）２１、フローテイングディフュージョン（ＦＤ）２２、画素アンプ２３、リセットトランジスタ２４、行選択スイッチ２５の各部を備える。そして、ＰＤ２１において受光した光の強度に応じてＦＤ２２に蓄積された電荷は、画素アンプ２３において電流増幅される。行リセット線１５によってリセットトランジスタ２４をＯＮすることにより、ＦＤ２２の光信号電荷をリセットし暗黒レベルへ戻すことができる。また、ＦＤ２２に蓄積された光信号電荷を読み出す場合には、水平信号線１３によって行選択スイッチ２５をＯＮとして、ＦＤ２２に蓄積された光信号電荷の電荷量に応じた電圧を、垂直信号線１４に出力する。図１の受光面１２におけるすべての画素１１は同様の構成を有する。そして、各々の画素１１から出力された電圧は、それぞれ接続された垂直信号線１４を介してＣＤＳ１６に入力される。

ＣＤＳ１６は、相関二重サンプリングによって入力信号のノイズ成分を低減する回路である。ＣＤＳ１６には、各々の画素１１から出力された電圧が、暗黒時と光信号入力時のそれぞれの電圧をＣｄａｒｋ、Ｃｓｉｇのコンデンサに時分割で入力される。ＣＤＳ１６は、ＣｄａｒｋおよびＣｓｉｇの差電圧を輝度電圧として信号切り替え部１７に出力する。なお、各々の画素１１から出力された電圧は、不図示のゲインアンプなどで任意に増幅されても良い。

図３は、図１における信号切り替え部１７および差分演算部１８の詳細を示す図である。図３において、Ｖ（Ｒ１１）は、Ｒ１１の画素の出力に基づく電圧を示す。２行目以降の画素１１についても同様である。信号切り替え部１７は、複数のスイッチ回路を有し、隣接する同色の画素１１からの出力のいずれかを選択的に差分演算部１８に入力する。差分演算部１８は、図３に示すように、Ｒの画素数より１少ない数のΔｎ回路を有する。Δ１回路には、Ｒ１１の画素１１およびＲ１２の画素１１からの出力に基づく電圧Ｖ（Ｒ１１）またはＶ（Ｒ１２）が入力される。ｎ≧２の各回路についても同様である。

図３Ａは、ＣＤＳ１６から基準電圧が入力される場合の例を示し、図３Ｂは、ＣＤＳ１６から差電圧が入力される場合の例を示す。Δ１回路においては、図３Ａの状態においてＲ１１画素からの出力に基づく電圧Ｖ（Ｒ１１）が入力され、図３Ｂの状態においてＲ１２画素からの出力に基づく電圧Ｖ（Ｒ１２）が入力される。

図４は、図３における差分演算部１８のΔ１回路の詳細を示す図である。そのほかの回路（Δ２回路からΔｎ回路）についても同様の構成を有する。Δ１回路は、図４に示すように、スイッチＳＷ１およびＳＷ２、コンデンサＣ１およびＣ２、オペレーショナルアンプ（ＯＰアンプ）、Ａ／Ｄ部の各部を備える。

図４Ａは、図３Ａの状態に対応し、Ｒ１１画素からの出力に基づく電圧Ｖ（Ｒ１１）が信号切り替え部１７からΔ１回路に入力されている状態である。Δ１回路は、電圧Ｖ（Ｒ１１）をコンデンサＣ１にチャージして、輝度値を記録するために、スイッチＳＷ１をオープンし、スイッチＳＷ２をクローズする。ＯＰアンプからの出力は＋端子の電位と同じ出力となるので、０ＶがＡ／Ｄ部に出力される。Ａ／Ｄ部は、この０Ｖをデジタルデータに変換し、符号化部１９へ出力する。

図４Ｂは、図３Ｂの状態に対応し、Ｒ１２画素からの出力に基づく電圧Ｖ（Ｒ１２）が信号切り替え部１７からΔ１回路に入力されている状態である。Δ１回路は、スイッチ
ＳＷ１をクローズした状態でスイッチＳＷ２をオープンにする。この結果、コンデンサＣ１には電圧Ｖ（Ｒ１１）と電圧Ｖ（Ｒ１２）との差電圧に相当する分の電流が流れて、その電流はコンデンサＣ２にチャージされる。その結果として、ＯＰアンプからは、−（Ｖ（Ｒ１２）−Ｖ（Ｒ１１））が出力される。この−（Ｖ（Ｒ１２）−Ｖ（Ｒ１１））は、隣接する２つの画素（Ｒ１１画素およびＲ１２画素）の輝度値の差電圧である。Ａ／Ｄ部は、この−（Ｖ（Ｒ１２）−Ｖ（Ｒ１１））Ｖをデジタルデータに変換し、符号化部１９へ出力する。

図４Ｃは、次の隣接画素との差分演算を行う為のリセット状態である。Δ１回路は、スイッチＳＷ１およびスイッチＳＷ２をともにクローズすることで、コンデンサＣ１およびコンデンサＣ２にチャージした電荷を放出する。なお、図４Ｃの状態において、ＯＰアンプからはＶ（Ｒ１２）が出力されるので、Ｖ（Ｒ１２）そのものの値をＡ／Ｄ部においてデジタルデータに変換する場合には、この状態を利用することができる。

信号切り替え部１７および差分演算部１８は、図４Ａ〜図４Ｃの状態を繰り返すことにより、隣接する同色の画素の差電圧を、アナログ電気信号のままで、次々に演算することができる。

なお、上述した構成の差分演算部１８においては、算出される差電圧は、０Ｖを中心に差電圧が正負反転してＯＰアンプから出力される。しかし、Ａ／Ｄ部によってデジタルデータに変換された後の後段で、デジタル的に正負の符号を反転して演算することで、差電圧からそれぞれの画素１１の絶対的な輝度値を容易に復元することができる。

図４の例では、コンデンサＣ１およびコンデンサＣ２の容量は等しいものとして、ＯＰアンプの出力を例示した。しかし、Ａ／Ｄ部のダイナミックレンジに合わせて、コンデンサＣ１およびコンデンサＣ２の容量をチューニングすれば、Ｓ／Ｎをより向上させることができる。

符号化部１９は、差分演算部１８から出力されたデジタルデータに対して、ハフマン符号化（可変長符号化）を行う。ハフマン符号化は、差分演算部１８から出力さるデジタルデータの発生頻度に応じて予め定められた符号を割り当てることにより行われる。ここでは、発生頻度の高い値にｂｉｔ長の短い符号を割り当て、発生頻度の低い値にｂｉｔ長の長い符号を割り当てる方式でハフマン符号化を行う。

図５は、８ｂｉｔでＡ／Ｄ変換した場合のデジタルデータの分布を示すヒストグラムである。図５Ａは、従来のように、各々の画素から出力される電圧に基づくデジタルデータのヒストグラムを示し、図５Ｂは、上述した差分演算部１８により算出された差電圧に基づくデジタルデータのヒストグラムを示す。図５Ａに示すように、８ｂｉｔでＡ／Ｄ変換処理を行うと、各々の画素から出力される電圧に基づくデジタルデータは、０〜２５５の間に広く分布する。そのため、デジタルデータの取り得る値として、常に８ｂｉｔが必要となる。

一方、図５Ｂに示すように、上述した差分演算部１８により算出された差電圧に基づくデジタルデータは、０近傍に集中し、狭い分布となる。そのため、デジタルデータの取り得る値として、８ｂｉｔは不要であり、発生頻度の高い値にｂｉｔ長の短い符号を割り当て、発生頻度の低い値にｂｉｔ長の長い符号を割り当てると、符号化後の全体のｂｉｔ数を大幅に減らすことができる。符号化後の全体のｂｉｔ数を大幅に減らすことができると、結果として、固体撮像装置１から出力するデータのデータ量も減らすことができる。

上記の例では、８ｂｉｔでＡ／Ｄ変換処理を行う場合を例にしたが、１０ｂｉｔ、１２ｂｉｔ、１４ｂｉｔ・・・とより高分解能化すればする場合には、このようなメリットがさらに大きくなる。

以下では、デジタルデータの発生頻度が最も高い値を「０」としてｂｉｔ長の最も短い符号を割り当て、以下、発生頻度が高い方から「１」→「−１」→「２」→「−２」→「３」→「−３」→「４」→「−４」→「５」→「−５」→「ｏｔｈｅｒ」の順に徐々にｂｉｔ長の長い符号を割り当てるものとする。また、上述した−５〜５以外の値については、「ｏｔｈｅｒ（その他）」を示す信号を出力する構成とする。

図６は、図１および図３における符号化部１９の動作を示すフローチャートである。

ステップＳ１において、符号化部１９は、入力されたデジタルデータの値が０であるか否かを判定し、０である場合には後述するステップＳ２２に進み、０でない場合には、ステップＳ２に進む。

ステップＳ２において、符号化部１９は、０を出力してステップＳ３に進む。

ステップＳ３，Ｓ５，Ｓ７，Ｓ９，Ｓ１１，Ｓ１３，Ｓ１５，Ｓ１７，Ｓ１９，Ｓ２１において、符号化部１９は、入力されたデジタルデータの値が「１であるか否か」、「−１であるか否か」、「２であるか否か」、「−２であるか否か」、「３であるか否か」、「−３であるか否か」、「４であるか否か」、「−４であるか否か」、「５であるか否か」、「−５であるか否か」を同様に判定し、判定がＹＥＳである場合には後述するステップＳ２２に進み、０でない場合には、それぞれ次のステップにおいて、０を出力する。

ステップＳ２２において、符号化部１９は、１を出力して一連の処理を終了する。

入力されたデジタルデータの値が−５，−４，−３，−２，−１，０，１，２，３，４，５のいずれでもない場合、ステップＳ２３において、符号化部１９は、「ｏｔｈｅｒ」を示す信号を出力する。

「ｏｔｈｅｒ」を示す信号について、この信号を検出した場合には、差分演算部１８により算出された差電圧に基づくデジタルデータではなく、差電圧を求める対象となった画素そのものの電圧（図４の例ではＶ（Ｒ１１）およびＶ（Ｒ１２））に基づくデジタルデータを出力する構成としても良い。また、非連続的なノイズ成分の重畳されたあり得ない値として、この値を無効とし、隣接する一つ前の値、または後の値を代わりに出力する構成としてもよい。

以上説明した一連の処理によって、「０」→「１」→「―１」→「２」→「−２」→「３」→「−３」→「４」→「−４」→「５」→「−５」→「ｏｔｈｅｒ」の順に検知が行われることになる。早く検知された場合には、処理フローが早く終了するとともに、出力されるデータのｂｉｔ長も短くなる。

図７および図８を用いて具体例を例示する。ｍ個の画素を有する固体撮像装置において、内部でＡ／Ｄ変換処理を行い、そのデジタルデータを、可変長符号化の代表的手法であるハフマン符号化を行って、出力する場合を想定する。

図７は、図５Ｂのヒストグラムの０近傍を拡大し、それぞれのデータの出現率を仮定した図である。

デジタルデータの値が「０」である場合は、出現率が３８％である。つまり０．３８ｍ個の画素に基づくデジタルデータの値が「０」の値である。同様に、画素に基づくデジタルデータの値が「１」または「−１」である画素の数は、それぞれ０．１６ｍ個であり、画素に基づくデジタルデータの値が「２」または「−２」である画素の数は、それぞれ０．０８ｍ個である。さらに、画素に基づくデジタルデータの値が「３」または「−３」である画素の数は、それぞれ０．０４ｍ個であり、画素に基づくデジタルデータの値が「４」または「−４」である画素の数は、それぞれ０．０２ｍ個であり、画素に基づくデジタルデータの値が「５」または「−５」である画素の数は、それぞれ０．０１ｍ個である。

ここで、ハフマン符号化を行うために、出現率の高い各デジタルデータにｂｉｔ長の短い符号を、出現確率の低いデータに長い符号を割り付ける方針に基づいて、以下のような割り付けを行う。

デジタルデータ「０」については、ｂｉｔ長＝１ｂｉｔ、具体的には［１］とする。

デジタルデータ「１」については、ｂｉｔ長＝２ｂｉｔ、具体的には［０１］とする。

デジタルデータ「−１」については、ｂｉｔ長＝３ｂｉｔ、具体的には［００１］とする。

デジタルデータ「２」については、ｂｉｔ長＝４ｂｉｔ、具体的には［０００１］とする。

デジタルデータ「−２」については、ｂｉｔ長＝５ｂｉｔ、具体的には［００００１］とする。

デジタルデータ「３」については、ｂｉｔ長＝６ｂｉｔ、具体的には［０００００１］とする。

デジタルデータ「−３」については、ｂｉｔ長＝７ｂｉｔ、具体的には［００００００１］とする。

デジタルデータ「４」については、ｂｉｔ長＝８ｂｉｔ、具体的には［０００００００１］とする。

デジタルデータ「−４」については、ｂｉｔ長＝９ｂｉｔ、具体的には［００００００００１］とする。

デジタルデータ「５」については、ｂｉｔ長＝１０ｂｉｔ、具体的には［０００００００００１］とする。

デジタルデータ「−５」については、ｂｉｔ長＝１１ｂｉｔ、具体的には［００００００００００１］とする。

この総画素数ｍ個のデジタルデータを符号化した平均転送ｂｉｔ数Ｔは、次式により算出できる。

Ｔ＝（１ｂｉｔ×０．３８ｍ＋２ｂｉｔ×０．１６ｍ＋３ｂｉｔ×０．１６ｍ＋４ｂｉｔ×０．０８ｍ＋５ｂｉｔ×０．０８ｍ＋６ｂｉｔ×０．０４ｍ＋７ｂｉｔ×０．０４ｍ＋８ｂｉｔ×０．０２ｍ＋９ｂｉｔ×０．０２ｍ＋１０ｂｉｔ×０．０１ｍ＋１１ｂｉｔ×０．０１ｍ）÷ｍ＝２．９７ｂｉｔ・・・（式１）
図５Ａにおいて説明したように、８ｂｉｔでＡ／Ｄ変換処理を行うと、各々の画素から出力される電圧に基づくデジタルデータは、常に８ｂｉｔが必要となる。そこで、この場合を基準とした圧縮率Ｃは、次式により求められる。

Ｃ＝２．９７÷８×１００＝３７．１２５％・・・（式２）
すなわち、ハフマン符号化により３７．１２５％のデータ圧縮を実現することができる。

図８は、ハフマン符号化の有無を比較した具体例である。図８に示すように、符号化の対象となる元データが、例えば、「０」，「−１」，「３」，「０」，「−２」，「１」，「０」である場合には、符号化により明らかに、データを圧縮することができる。

なお、符号化部１９の出力は、固体撮像装置１の外部に出力される。例えば、固体撮像装置１が電子カメラに搭載されている場合には、符号化部１９の出力は、電子カメラの画像処理部などに出力される。

以上説明したように、第１実施形態によれば、複数の画素を備え、任意の画素に基づく信号と、その画素と隣接する同色の画素に基づく信号との差分信号を演算し、差分信号をデジタルデータに変換する。より具体的には、近隣の同色画素からは、近い値の信号が出直されるという相関性を有するので、この特性を利用し、とり得る値の範囲が狭い差分信号を生成し、この差分信号に対してＡ／Ｄ変換処理を行ってデジタルデータを生成する。したがって、Ａ／Ｄ変換処理の対象となる信号のデータ量を少なくすることができる。そのため、Ａ／Ｄ変換処理における負荷を抑えつつ、固体撮像装置の高画素化や高分解能化に対応することができる。さらに、差電圧に基づくデジタルデータのみを固体撮像装置から外部に転送することができるので、全体のデータ出力量を減らすことができ、後段の画像処理部などへの転送路の簡略化も期待できる。

また、第１実施形態によれば、デジタルデータを可変長符号データに符号化する。したがって、固体撮像素子の外部に出力するデジタルデータのデータ量を大幅に減らすことができる。

また、第１実施形態によれば、デジタルデータに対して、発生頻度が高いほどｂｉｔ長が短いデータコードを割り当てて、１つ以上の可変長符号データに符号化する。したがって、符号化を効率的に行うことができるとともに、符号化による圧縮率をさらに上げることができる。そのため、Ａ／Ｄ変換処理により生成されるデジタルデータの高分解能化（多ｂｉｔ化）および高いフレームレートを実現することができる。

また、第１実施形態によれば、差分信号を、差分信号が取り得る値の幅に応じたダイナミックレンジにおいて、デジタルデータに変換する。したがって、Ａ／Ｄ変換処理におけるスキャンの幅を好適に制御し、精度を落とすことなくＡ／Ｄ変換処理に要する処理時間を短縮することができる。

なお、第１実施形態では、隣接画素を重ね合わせて設定する（Ｒ１１画素とＲ１２画素、Ｒ１２画素とＲ１３画素。以下同様）場合を例に挙げて説明したが、本発明はこの例に限定されない。例えば、重ね合わせを持たない隣接画素（Ｒ１１画素とＲ１２画素、Ｒ１３画素とＲ１４画素。以下同様）間の差電圧を求めて、同様の処理を行っても良い。この場合、連続性は低下するが、ＣＤＳ１６、信号切り替え部１７、差分演算部１８、符号化部１９の各部における構成を減らすことができる。特に、差分演算部１８に設けるＡ／Ｄ部の数を略半減することができる。

また、第１実施形態では、差分演算部１８による演算後にＡ／Ｄ変換処理を行う場合を例に挙げたが、本発明はこの例に限定されない。例えば、差分演算前の適当なタイミングでＡ／Ｄ変換処理を行い、デジタルデータに対して差分演算を行う構成としても良い。この場合であっても、データ量の少ない差分データを利用することにより、全体のデータ量を減らすことができる。
＜第２実施形態＞
以下、図面を用いて本発明の第２実施形態について説明する。なお、第２実施形態は、第１実施形態の変形例であるため、第１実施形態と異なる部分についてのみ説明し、第１実施形態と同様の部分については、説明を省略する。

図９は、第２実施形態における固体撮像装置３０の構成を示すブロック図である。固体撮像装置３０は、第１実施形態の固体撮像装置１と同様の複数の画素１１からなる受光面１２と、それぞれの画素に接続される水平信号線１３、垂直信号線１４、行リセット線１５とを備える。また、固体撮像装置３０は、第１実施形態の固体撮像装置１のＣＤＳ１６、信号切り替え部１７、差分演算部１８、符号化部１９の各部に代えて、ＣＤＳおよび差分演算部３１、信号切り替え部３２、Ａ／Ｄ変換部３３、符号化部３４の各部を備える。

図１０は、図９におけるＣＤＳおよび差分演算部３１の詳細を示す図である。ＣＤＳおよび差分演算部３１は、図１０に示すように、スイッチＳＷ１ａ〜ＳＷｎａ、ＳＷ１ｂ〜ＳＷｎｂ、ＳＷ１ｃ〜ＳＷｎｃ、ＳＷ２ｄ〜ＳＷｎｄ、ＳＷ２ｅ〜ＳＷｐｅ（ただし、ｐ＝ｎ／２）、ＳＷ２ｆ〜ＳＷｐｆ（ただし、ｐ＝ｎ／２）の各スイッチと、コンデンサＣ１ａ〜Ｃｎａ、Ｃ１ｂ〜Ｃｎｂ、Ｃ２ｃ〜Ｃｐｃ（ただし、ｐ＝ｎ／２）の各コンデンサと、オペレーショナルアンプ（ＯＰアンプ）ＯＰ１〜ＯＰｎの各部を備える。

ＣＤＳおよび差分演算部３１は、図１０に示す構成を、２組有する。１つは、Ｒの画素およびＧｂの画素用であり、もう１つは、Ｂの画素およびＧｒの画素用である。そして、ＣＤＳおよび差分演算部３１は、各々の画素１１の出力に基づく電圧に対して、差電圧の算出と、相関二重サンプリングとを同時に行う。

以下では、１行目のＲの画素１１の出力に基づく電圧に対して、差電圧の算出と、相関二重サンプリングとを同時に行う場合を例に挙げて説明する。そのほかの色の画素１１および２行目以降の画素１１についても同様である。また、以下では、各ＯＰにおける演算の基準を０Ｖ（ＧＮＤ）として説明を行うが、任意の規定値電圧を基準としてもよい。

以下、ＣＤＳおよび差分演算部３１の動作について説明する。

まず、リセット動作について説明する。ＣＤＳおよび差分演算部３１は、まず、スイッチＳＷ１ａ〜ＳＷｎａをオープンし、さらに、スイッチＳＷ１ｂ〜ＳＷｎｂおよびスイッチＳＷ１ｃ〜ＳＷｎｃをクローズする。また、スイッチＳＷ２ｆ〜ＳＷｐｆ（ただし、ｐ＝ｎ／２）をＧＮＤ側に接続する。この結果、コンデンサＣ１ａ〜ＣｎａおよびコンデンサＣ１ｂ〜Ｃｎｂにチャージされている電荷を放出して、リセットすることができる。なお、ＯＰアンプＯＰ１〜ＯＰｎの出力電圧は、すべて０Ｖ（ＧＮＤ）となる。

次に、ｄａｒｋ電圧のチャージ動作について説明する。ＣＤＳおよび差分演算部３１は、スイッチＳＷ１ａ〜ＳＷｎａをクローズし、さらに、スイッチＳＷ１ｂ〜ＳＷｎｂをオープンする。この結果、Ｒの各画素１１のｄａｒｋ電圧（Ｖ（Ｒ１１−Ｄ）〜Ｖ（Ｒ１ｎ−Ｄ）を入力し、コンデンサＣ１ａ〜Ｃｎａに、ＧＮＤとｄａｒｋ電圧との差電圧の電荷をチャージすることができる。この時点でも、ＯＰアンプＯＰ１〜ＯＰｎの出力電圧は、すべて０Ｖ（ＧＮＤ）となる。

次に、ｂｒｉｇｈｔ電圧（各々の画素１１が露光して発生した電荷による電圧、Ｖ（Ｒ１１−Ｂ）〜Ｖ（Ｒ１ｎ−Ｂ））と、ｄａｒｋ電圧とのＣＤＳ（相関二重サンプリング）動作について説明する。ＣＤＳおよび差分演算部３１は、スイッチＳＷ１ｃ〜ＳＷｎｃをオープンする。この結果、Ｒの各画素１１のｂｒｉｇｈｔ電圧を入力し、上述したｄａｒｋ電圧のチャージ動作時の状態で既にコンデンサＣ１ａ〜Ｃｎａにチャージされていたｄａｒｋ電圧と入力したｂｒｉｇｈｔ電圧との差電圧の電荷を、コンデンサＣ１ｂ〜Ｃｎｂチャージすることができる。この時点において、ＯＰアンプＯＰ１の出力電圧は、コンデンサＣ１ｂの端子間の電圧を示し、次式で求められる。

Ｖ（Ｒ１１−Ｄ）−Ｖ（Ｒ１１−Ｂ）＝Ｖ（Ｒ１１−Ｓ）・・・（式３）
式３により、Ｒ１１の画素１１の露光による信号電圧だけを取り出すことができる。その他のＯＰアンプについても同様である。

上記の例では、ｄａｒｋ電圧（Ｖ（Ｒ１１−Ｄ）〜Ｖ（Ｒ１ｎ−Ｄ））＝０であるため、式３を次式で表すことができる。

０−Ｖ（Ｒ１１−Ｂ）＝Ｖ（Ｒ１１−Ｓ）・・・（式４）
式４は、ＣＤＳ動作そのものを示す。

次に、入力リセット動作について説明する。ＣＤＳおよび差分演算部３１は、まず、スイッチＳＷ１ａ〜ＳＷｎａをオープンし、さらに、スイッチＳＷ１ｂ〜ＳＷｎｂをクローズする。この結果、コンデンサＣ１ａ〜Ｃｎａにチャージされている電荷を放出して、リセットすることができる。なお、また、ＯＰアンプＯＰ１〜ＯＰｎの出力電圧は、コンデンサＣ１ｂ〜Ｃｎｂに電荷をチャージしたままになっているため、それぞれ、Ｖ（Ｒ１１−Ｓ）〜Ｖ（Ｒ１ｎ−Ｓ）となる。このようなリセット動作は、次に行う画素間の差電圧を抽出する動作の前準備として必要な動作である。

次に、隣接画素の差電圧演算の動作について説明する。ＣＤＳおよび差分演算部３１は、まず、スイッチＳＷ１ｂ〜ＳＷｎｂをオープンし、偶数行のスイッチＳＷ２ｄ〜ＳＷｎｄおよびＳＷ２ｅ〜ＳＷｎｅをクローズする。この結果、奇数行のＯＰアンプＯＰ１〜ＯＰｎの出力電圧であるＶ（Ｒ１１−Ｓ）〜Ｖ（Ｒ１ｎ−Ｓ）が、同色の隣接する画素に対応する列に伝達される。そのため、偶数行のコンデンサＣ２ａからＣｎａおよびコンデンサＣ２ｂ〜Ｃｎｂに、ＧＮＤと伝達された隣接する画素の電圧との差電圧の電荷をチャージすることができる。つまり、偶数行のＯＰアンプＯＰ２〜ＯＰｎは、以下の式に示す演算を行う。

Ｖ（Ｒ１ｎ−Ｓ）−Ｖ（Ｒ１（ｎ−１）−Ｓ）・・・（式５）
例えば、ＯＰアンプＯＰ２は、Ｖ（Ｒ１２−Ｓ）−Ｖ（Ｒ１１−Ｓ）の演算を行うことになる。そのほかの偶数行のＯＰアンプＯＰ４〜ＯＰｎについても同様である。式５は、隣接画素の差電圧の演算動作そのものを示す。詳細は、後述するが、この時点で、ＣＤＳおよび差分演算部３１は、演算結果を、信号切り替え部３２を介してＡ／Ｄ変換部３３に出力する。

次に、隣接画素の差電圧演算の２段階目の動作について説明する。ＣＤＳおよび差分演算部３１は、まず、偶数行のスイッチＳＷ２ｄ〜ＳＷｎｄおよびＳＷ２ｅ〜ＳＷｎｅをオープンする。そして、偶数行のスイッチＳＷ２ｆ〜ＳＷｎｐ（ただし、ｐ＝ｎ／２）をＧＮＤ側からＣ２ｃ〜Ｃｐｃ（ただし、ｐ＝ｎ／２）側に切り替える。偶数行のコンデンサＣ２ｃ〜Ｃｐｃには、上述した差電圧演算の動作によって、同色の隣接する画素に対応する列の電圧であるＶ（Ｒ１１−Ｓ）〜Ｖ（Ｒ１ｎ−Ｓ）がチャージされている。例えば、Ｃ２ｃには、Ｖ（Ｒ１１−Ｓ）がチャージされ、Ｃ４ｃには、Ｖ（Ｒ１３−Ｓ）がチャージされている。このような偶数行のコンデンサＣ２ｃ〜Ｃｐｃを、偶数行のＯＰアンプＯＰ２〜ＯＰｎの＋端子に接続すると、偶数行のＯＰアンプＯＰ２〜ＯＰｎは、以下の式に示す演算を行うことになる。

Ｖ（Ｒ１ｎ−Ｓ）−Ｖ（Ｒ１（ｎ−１）−Ｓ）＋Ｖ（Ｒ１（ｎ−１）−Ｓ）＝Ｖ（Ｒ１ｎ−Ｓ）・・・（式６）
例えば、ＯＰアンプＯＰ２は、Ｖ（Ｒ１２−Ｓ）−Ｖ（Ｒ１１−Ｓ）＋Ｖ（Ｒ１１−Ｓ）＝Ｖ（Ｒ１２−Ｓ）の演算を行うことになる。そのほかの偶数行のＯＰアンプＯＰ４〜ＯＰｎについても同様である。すなわち、偶数行のＯＰアンプＯＰ２〜ＯＰｎの出力は、上述した入力リセット動作時の状態に戻る。

次に、隣接画素の差電圧演算の３段階目の動作について説明する。ＣＤＳおよび差分演算部３１は、まず、奇数行のスイッチＳＷ３ｄ〜ＳＷｎｄをクローズする。この結果、偶数行のＯＰアンプＯＰ２〜ＯＰｎの出力電圧であるＶ（Ｒ１２−Ｓ）〜Ｖ（Ｒ１ｎ−Ｓ）が、同色の隣接する画素に対応する列に伝達される。そのため、奇数行のコンデンサＣ１ａ〜ＣｎａおよびコンデンサＣ１ｃ〜Ｃｎｃに、ＧＮＤと伝達された隣接する画素の電圧との差電圧の電荷をチャージすることができる。つまり、奇数行のＯＰアンプＯＰ３〜ＯＰｎは、以下の式に示す演算を行う。

Ｖ（Ｒ１ｎ−Ｓ）−Ｖ（Ｒ１（ｎ−１）−Ｓ）・・・（式７）
例えば、ＯＰアンプＯＰ３は、Ｖ（Ｒ１３−Ｓ）−Ｖ（Ｒ１２−Ｓ）の演算を行うことになる。そのほかの奇数行のＯＰアンプＯＰ５〜ＯＰｎについても同様である。式７は、式５と同様に、隣接画素の差電圧の演算動作そのものを示す。詳細は、後述するが、この時点で、ＣＤＳおよび差分演算部３１は、演算結果を、信号切り替え部３２を介してＡ／Ｄ変換部３３に出力する。

ＣＤＳおよび差分演算部３１は、上述した一連の動作を繰り返すことで、すべての画素１１について、差電圧の算出と、相関二重サンプリングとを同時に行うことができる。

図１１は、図９における信号切り替え部３２の詳細を示す図である。図１１Ａは、上述した隣接画素の差電圧演算の動作時の信号切り替え部３２を示し、図１１Ｂは、上述した隣接画素の差電圧演算の第３段階目の動作時の信号切り替え部３２を示す。信号切り替え部３２は、複数のスイッチ回路を有し、ＣＤＳおよび差分演算部３１における動作に応じて、ＣＤＳおよび差分演算部３１からの出力電圧を、Ａ／Ｄ変換部３３に伝達する。

本実施形態では、信号切り替え部３２により時分割で切り替えてＡ／Ｄ変換部３３と接続するので、Ａ／Ｄ変換部３３におけるＡ／Ｄ部の個数を、受光面１２における列数ｎの１／２の個数に減らすことができる。

従来は、列数ｎに応じた数だけＡ／Ｄ部を設けなければならなかったのに比べ、固体撮像装置の半導体チップ面積を大幅に縮小することができる。そのため、製造時において、半導体ウエハ１枚に露光可能なチップの数を増やすことができるので、コストダウンも期待することができる。

図１２は、図９におけるＡ／Ｄ変換部３３内のＡ／Ｄ部の詳細を示す図である。図１２では、一般的に広く使われている逐次比較型Ａ／Ｄ変換処理を例にあげて説明する。Ａ／Ｄ部は、図１２に示すように、サンプル−ホールド（Ｓ／Ｈ）部４１、ランプＤＡＣ部４２、コンパレータ４３、カウンタ部４４、発振器４５の各部を備える。

Ｓ／Ｈ部４１は、ＣＤＳおよび差分演算部３１の出力電圧を、信号切り替え部３２を介して入力し、一時記録する。Ｓ／Ｈ部４１によりＡ／Ｄ変換処理対象の電圧が記録された後は、ＣＤＳおよび差分演算部３１や信号切り替え部３２の状態が変化しても、問題は生じない。Ｓ／Ｈ部４１の出力は、コンパレータ４３の＋端子に接続される。

ランプＤＡＣ部４２は、コンパレータ４３における比較の対象となるランプ電圧を発生する回路である。ランプＤＡＣ部４２は、初めの電圧（Ｖｂｏｔｔｏｍ）と、終わりの電圧（Ｖｔｏｐ）とで与えられる範囲において、発振器４５からクロックＣＬＫが入力される度に徐々に発生する電圧を上げていく。ランプＤＡＣ部４２の出力は、コンパレータ４３の−端子に接続される。

本実施形態においては、ＣＤＳおよび差分演算部３１によって求めた差電圧に対してＡ／Ｄ変換処理を行う。そのため、第１実施形態の図５において説明したのと同様に、ＣＤＳおよび差分演算部３１により算出された差電圧は、０近傍に集中し、狭い分布となる。したがって、従来のように差電圧を求めずにＡ／Ｄ変換処理を行う場合に比べて、（Ｖｂｏｔｔｏｍ）および（Ｖｔｏｐ）により定められる電圧の幅（レンジ）を狭くすることができる。電圧の幅（レンジ）を狭くすると、ランプＤＡＣ部４２により発生する電圧の幅が小さくなるため、ランプＤＡＣ部４２の負荷を抑えることができる。さらに、コンパレータ４３における比較の対象となるランプ電圧の幅（レンジ）を狭くすることにより、従来のように差電圧を求めずにフルレンジでＡ／Ｄ変換処理を行う場合に比べて、Ａ／Ｄ変換処理に要する処理時間を大幅に短縮することができる。

コンパレータ４３は、Ｓ／Ｈ部４１で保持された電圧と、ランプＤＡＣ部４２により発生したランプ電圧とを比較してその大小を判別する回路である。本実施形態では、コンパレータ４３の＋端子にＳ／Ｈ部４１で保持された電圧を入力し、−端子にランプ電圧を入力しているので、ランプ電圧が初めの電圧（Ｖｂｏｔｔｏｍ）から電圧上昇し、＋端子の電圧を下回っている間はＨを出力し、逆転した瞬間にＬを出力する。このコンパレータ４３の出力は、カウンタ部４４のＣＥ（チップイネーブル）に接続される。

カウンタ部４４は、ＣＥがＨの間は、発振器４５から入力されるＣＬＫに同期してカウントアップしていく。そして、ＣＥがＬになった瞬間に、ＣＬＫが入力されているか否かにもかかわらず、カウントアップせずに、その時点でのカウンタ値を保持する。このようなシーケンスで、ＶｂｏｔｔｏｍからＶｔｏｐまでＡ／Ｄスキャンが終わると、カウンタの値がデジタルコード値となる。

第１実施形態の図５でも説明したのと同様に、本実施形態においても、ＣＤＳおよび差分演算部３１により算出された差電圧に基づくデジタルデータは、０近傍に集中し、狭い分布となる。そのため、Ａ／Ｄスキャンの範囲を限定することができるので、Ａ／Ｄ変換処理に要する時間を短縮することができる。また、Ａ／Ｄスキャンの範囲を狭くすることにより、全体のｂｉｔ数を減らすことができる。全体のｂｉｔ数を減らすことができると、結果として、固体撮像装置３０から出力するデータのデータ量も減らすことができる。

従来、このような逐次比較型Ａ／Ｄ変換処理において、処理時間を短縮するためには、発振器４５のＣＬＫ周波数を上げる必要があった。しかし、ＣＬＫ周波数を上げると、消費電力が増えて、発熱の原因になっていた。さらに、ランプＤＡＣ部４２、コンパレータ４３、カウンタ部４４の高速化も同時に行わなければならず、それぞれの基本構成（プリミティブ）の面積を大きくするなど、最終的にはコスト上昇の要因となっていた。これに対して、本実施形態の構成によれば、このような問題が発生することなく、逐次比較型Ａ／Ｄ変換処理における処理時間を短縮することができる。

符号化部３４における符号化は、第１実施形態の符号化部１９と同様におこなわれる。その結果、符号化については、第１実施形態と同様に、データの圧縮を実現することができる。

以上説明したように、第２実施形態によれば、複数の画素から出力されたアナログ電気信号に対して、相関二重サンプリング処理と同時に差分信号の演算を行う。したがって、第１実施形態の効果に加えて、Ａ／Ｄ変換部３３に必要なＡ／Ｄ部の数を減らすことができる。また、相関二重サンプリング処理と同時に差分信号の演算を行うことにより、処理の高速化も期待できる。

なお、第２実施形態では、逐次比較型Ａ／Ｄ変換処理を例にあげて説明したが、本発明はこの例に限定されない。例えば、サブレンジＡ／Ｄ変換方式、巡回型Ａ／Ｄ変換方式、△Σ型Ａ／Ｄ変換方式などにおいても、同様の処理を行うことができる。いずれの場合においても、高Ｓ／ＮによるＡ／Ｄ変換処理が可能となり、Ａ／Ｄ変換処理における負荷を抑えつつ、固体撮像装置の高画素化や高分解化に対応することができる。

また、上記した各実施形態において、Ａ／Ｄ変換部におけるレンジを変更可能な場合には、差分信号が取り得る値の幅に応じて、Ａ／Ｄスキャンの範囲を適宜変更する構成としても良い。Ａ／Ｄスキャンの範囲を適宜調整することにより、さらなる処理の高速化が可能である。

また、上記した各実施形態において、受光面１２に含まれる複数の画素１１に欠陥がそが含まれる場合、公知の欠陥画素に関する技術と同様に対処すればよい。例えば、予め位置が分かっている欠陥画素については、隣接画素の値に置き換える構成や、所定の固定値に置き換える構成としても良い。

また、上記した各実施形態において、受光面１２に含まれる複数の画素１１のうち、各列の先頭の画素については、所定の初期基準電圧を用いて差電圧を求める構成としても良いし、他の同色の画素が取り得る任意の電圧を初期基準電圧としても良い。

また、上記した各実施形態においては、水平方向（同じ行内）において隣接する同色の画素について差分信号を求める場合を例にあげて説明したが、本発明はこの例に限定されず、近接あるいは隣接する同色の画素信号について差分信号を求めることにより、同様の効果を得ることができる。例えば、垂直方向（同じ列内）や、斜め方向において隣接する同色の画素について差分信号を求める構成としても良い。この場合、適宜ラインバッファなどを設けて、差分信号を求めれば良い。このような構成は、所定の複数画素の出力をまとめてブロックごとに読み出す方式などにおいても、ランダムアクセスなどにより同様の処理を行うことができる。

また、上記した各実施形態において、固体撮像装置内の各部は単一チップ上に形成されても良いし、複数のチップ上に分割して形成されても良い。

また、上記した各実施形態において、固体撮像装置は、ＣＭＯＳ方式が基本であるが、本発明の概念をＣＣＤ方式の固体撮像装置に適用しても同様の効果を得ることができる。

また、上記した各実施形態においては、ハフマン符号化を例に挙げて説明したが、本発明はこの例に限定されない。例えば、隣接する同色の画素において近い値が連続することが推測される場合には、ランレングス符号化によって可変長符号データに符号化しても良い。また、ハフマン符号化とランレングス符号化とを併用して可変長符号データに符号化しても良い。

また、上記した各実施形態の一部を省略しても良いし、上記した各実施形態の構成を組み合わせて実行しても良い。例えば、第１実施形態および第２実施形態で説明した符号化を省略しても良い。この場合であっても、差分信号を用いてＡ／Ｄ変換処理を行うことにより、処理の高速化も期待できる。

また、上記した各実施形態で説明した固体撮像装置を搭載した各種電子機器も、本発明の具体的態様として有効である。例えば、電子カメラ、ビデオカメラ、携帯電話などにも有用である。

１・３０…固体撮像装置、１１…画素、１６…ＣＤＳ、１７・３２…信号切り替え部、１８…差分演算部、１９・３４…符号化部、３１…ＣＤＳおよび差分演算部、３３…Ａ／Ｄ部

Claims (7)

1. 光電変換により生じた信号を出力する複数の画素と、
   任意の画素に基づく信号と、その画素と近接する同色の画素に基づく信号との差分信号を演算する演算部と、
   前記差分信号をデジタルデータに変換する変換部と
   を備えたことを特徴とする固体撮像装置。
2. 請求項１に記載の固体撮像装置において、
   前記演算部は、前記複数の画素から出力された信号に対してノイズ処理を行う処理部を備え、前記ノイズ処理と同時に前記差分信号の演算を行う
   ことを特徴とする固体撮像装置。
3. 請求項１に記載の固体撮像装置において、
   前記デジタルデータを可変長符号データに符号化する符号化部をさらに備える
   ことを特徴とする固体撮像装置。
4. 請求項３に記載の固体撮像装置において、
   前記符号化部は、前記デジタルデータに対して、発生頻度が高いほど短いデータコードを割り当てて、１つ以上の前記可変長符号データに符号化する
   ことを特徴とする固体撮像装置。
5. 請求項３に記載の固体撮像装置において、
   前記符号化部は、ハフマン符号化とランレングス符号化との少なくとも一方の符号化によって、前記デジタルデータを前記可変長符号データに符号化する
   ことを特徴とする固体撮像装置。
6. 請求項１から請求項６のいずれか一項に記載の固体撮像装置において、
   前記変換部は、前記差分信号を、前記差分信号が取り得る値の幅に応じたダイナミックレンジにおいて、前記デジタルデータに変換する
   ことを特徴とする固体撮像装置。
7. 請求項１から請求項６のいずれか一項に記載の固体撮像装置と、撮影光学系と、撮影制御部と、画像記録部とを備えることを特徴とする電子カメラ。

Images