以下、図面を参照して本発明の実施形態について詳細に説明する。なお、以下においては、X−Yアドレス型の固体撮像装置の一例である、CMOS固体撮像装置をデバイスとして使用した場合を例に説明する。また、CMOS固体撮像装置は、全ての画素がNMOSよりなるものであるとして説明する。
ただしこれは一例であって、対象となるデバイスはMOS型の固体撮像装置に限らない。光や放射線などの外部から入力される電磁波に対して感応性をする単位構成要素をライン状もしくはマトリクス状に複数個配列してなる物理量分布検知用の半導体装置の全てに、後述する全ての実施形態が同様に適用できる。
<固体撮像装置の全体概要:第1実施形態>
図1は、本発明に係る固体撮像装置の一実施形態であるCMOS固体撮像装置(CMOSイメージセンサ)の概略構成図の第1実施形態を示す図である。
固体撮像装置1は、入射光量に応じた信号を出力する受光素子(電荷生成部の一例)を含む複数個の画素が行および列に配列された(すなわち2次元マトリクス状の)画素部を有し、各画素からの信号出力が電圧信号であって、CDS(Correlated Double Sampling ;相関2重サンプリング)処理機能部やデジタル変換部(ADC;Analog Digital Converter)などが列並列に設けられているものである。
“列並列にCDS処理機能部やデジタル変換部が設けられている”とは、垂直列の垂直信号線(列信号線の一例)19に対して実質的に並列に複数のCDS処理機能部やデジタル変換部が設けられていることを意味する。
複数の各機能部は、デバイスを平面視したときに、ともに画素アレイ部10に対して列方向の一方の端縁側(図の下側に配されている出力側)にのみ配されている形態のものであってもよいし、画素アレイ部10に対して列方向の一方の端縁側(図の下側に配されている出力側)とその反対側である他方の端縁側(図の上側)に分けて配されている形態のものであってもよい。後者の場合、行方向の読出走査(水平走査)を行なう水平走査部も、各端縁側に分けて配して、それぞれが独立に動作可能に構成するのがよい。
たとえば、列並列にCDS処理機能部やデジタル変換部が設けられている典型例としては、撮像部の出力側に設けたカラム領域と呼ばれる部分に、CDS処理機能部やその他のアナログ信号処理部やデジタル変換部を垂直列ごとに設け、順次出力側に読み出す、垂直列とCDS処理機能部やデジタル変換部などが1対1に接続されるカラム型のものである。また、カラム型(列並列型)に限らず、隣接する複数(たとえば2つ分)の垂直信号線19(垂直列)に対して1つのCDS処理機能部やデジタル変換部を割り当てる形態や、N本おき(Nは正の整数;間にN−1本を配する)のN本分の垂直信号線19(垂直列)に対して1つのCDS処理機能部やデジタル変換部を割り当てる形態などを採ることもできる。
カラム型を除くものは、何れの形態も、複数の垂直信号線19(垂直列)が1つのCDS処理機能部やデジタル変換部を共通に使用する構成となるので、画素アレイ部10側から供給される複数列分の画素信号を1つのCDS処理機能部やデジタル変換部に供給する切替回路(スイッチ)を設ける。なお、後段の処理によっては、出力信号を保持するメモリを設けるなどの対処が別途必要になる。
何れにしても、複数の垂直信号線19(垂直列)に対して1つのCDS処理機能部やデジタル変換部を割り当てる形態などを採ることで、各画素信号の信号処理を画素列単位で読み出した後に行なうことで、同様の信号処理を各単位画素内で行なうものに比べて、各単位画素内の構成を簡素化し、イメージセンサの多画素化、小型化、低コスト化などに対応できる。
また、列並列に配された複数の信号処理部にて1行分の画素信号を同時並行処理することができるので、出力回路側やデバイスの外部で1つのCDS処理機能部やデジタル変換部にて処理を行なう場合に比べて、信号処理部を低速で動作させることができ、消費電力や帯域性能やノイズなどの面で有利である。逆に言えば、消費電力や帯域性能などを同じにする場合、センサ全体の高速動作が可能となる。
なお、カラム型の構成の場合、低速で動作させることができ消費電力や帯域性能やノイズなどの面で有利であるとともに切替回路(スイッチ)が不要である利点もある。以下の実施形態では、特に断りのない限り、このカラム型で説明する。
図1に示すように、本実施形態の固体撮像装置1は、複数の単位画素3が行および列に配列された画素部や撮像部などとも称される画素アレイ部10と、画素アレイ部10の外側に設けられた駆動制御部7と、画素アレイ部10の単位画素3に画素信号読出用の動作電流(読出電流)を供給する読出電流制御部24と、垂直列ごとに配されたカラムAD回路250を有するカラム処理部26と、カラム処理部26にAD変換用の参照信号Vslopを供給する参照信号生成部27と、出力回路28とを備えている。これらの各機能部は、同一の半導体基板上に設けられている。
なお、必要に応じて、出力回路28の前段に、デジタル演算部29を設けてもよい。ここで、「必要に応じて」とは、カラムAD回路250において複数行に関しての複数画素の積和演算処理を行なう場合を意味する。デジタル演算部29は、基本的には、垂直方向について、カラムAD回路250にて複数行のデータを積和演算する際に、初期値(詳細は後述する)の補正機能を備えたものとする。なお積和演算処理は、複数画素の加算のみ処理、複数画素の減算のみ処理、複数画素の加算と減算とを組み合わせた処理の何れであってもよい。また、各画素についてのAD変換処理にゲイン要素を同一とすることに限らず、異なるものとしてもよい(たとえば参照信号Vslopの傾きを変更する)。
参照信号比較型AD変換方式を採用する場合に、考え方としては、参照信号生成部27も列並列で(画素列ごとに)設けることも考えられる。たとえば、各画素列に比較器と参照信号発生器を設け、自列の比較器の比較結果を基に、逐次、参照信号の値を対応する列の参照信号発生器で変化させていく構成を採る場合である。しかしながらこれでは回路規模や消費電力が増える。そこで、本実施形態では、参照信号生成部27を全列共通に使用する構成を採り、参照信号生成部27から発生される参照信号Vslopを各画素列のカラムAD回路250が共通に使用し、各画素列では、比較処理が完了した時点でカウンタ値を各画素列のAD変換結果として保持することでAD変換を行なう構成にする。
参照信号Vslopは、全体的にある傾きを持って線形に変化する波形を持つものであればよく、その変化が滑らかなスロープ状を呈するものであってもよいし、階段状に順次変化するものであってもよい。
本実施形態のカラムAD回路250は、画素信号Soの基準レベルであるリセットレベルSrst と信号レベルSsig とを独立にデジタルデータに変換するAD変換部と、リセットレベルSrst のAD変換結果と信号レベルSsig のAD変換結果との間で差分処理を実行することで、リセットレベルSrst と信号レベルSsig の差で示される信号成分Vsig のデジタルデータDsig を取得する差分処理部の機能を備えている。
駆動制御部7は、画素アレイ部10の信号を順次読み出すための制御回路機能を備えている。たとえば駆動制御部7としては、列アドレスや列走査を制御する水平アドレス設定部12aおよび水平駆動部12bを有する水平走査部(列走査回路)12と、行アドレスや行走査を制御する垂直アドレス設定部14aおよび垂直駆動部14bを有する垂直走査部(行走査回路)14と、内部クロックを生成するなどの機能を持つ通信・タイミング制御部20とを備えている。
なお、図中、通信・タイミング制御部20の近傍に点線で示すように、高速クロック生成部の一例であって、入力されたクロック周波数よりも高速のクロック周波数のパルスを生成するクロック変換部23を設けるようにしてもよい。通信・タイミング制御部20は、端子5aを介して入力される入力クロック(マスタークロック)CLK0やクロック変換部23で生成された高速クロックに基づいて内部クロックを生成する。
クロック変換部23で生成された高速クロックを源とする信号を用いることで、AD変換処理などを高速に動作させることができるようになる。また、高速クロックを用いて、高速の計算を必要とする動き抽出や圧縮処理を行なうことができる。また、カラム処理部26から出力されるパラレルデータをシリアルデータ化してデバイス外部に映像データD1を出力することもできる。こうすることで、AD変換されたデジタルデータのビット分よりも少ない端子で高速動作出力する構成を採ることができる。
クロック変換部23は、入力されたクロック周波数よりも高速のクロック周波数のパルスを生成する逓倍回路を内蔵している。このクロック変換部23は、通信・タイミング制御部20から低速クロックCLK2を受け取り、それを元にして2倍以上高い周波数のクロックを生成する。クロック変換部23の逓倍回路としては、k1を低速クロックCLK2の周波数の倍数としたときk1逓倍回路を設ければよく、周知の様々な回路を利用することができる。
図1では、簡単のため行および列の一部を省略して示しているが、現実には、各画素行や各画素列には、数十から数千の単位画素3が配置される。この単位画素3は、典型的には、検知部の一例である受光素子(電荷生成部)としてのフォトダイオードと、増幅用の半導体素子(たとえばトランジスタ)を有する画素内アンプ(画素信号生成部の一例)とから構成される。
画素内アンプとしては、単位画素3の電荷生成部で生成・蓄積された信号電荷を電気信号として出力することができるものであればよく、様々な構成を採ることができるが、一般的には、フローティングディフュージョンアンプ構成のものが用いられる。一例としては、電荷生成部に対して、電荷読出部(転送ゲート部/読出ゲート部)の一例である読出選択用トランジスタを有する転送部、リセットゲート部の一例であるリセットトランジスタを有する初期化部、垂直選択用トランジスタ、およびフローティングディフュージョン(フローティングノードとも称される)の電位変化を検知する検知素子の一例であるソースフォロア構成の増幅用トランジスタを有する、CMOSセンサとして汎用的な4つのトランジスタからなる構成のものを使用することができる。
あるいは、電荷生成部により生成された信号電荷に対応する信号電圧を増幅するための、ドレイン線(DRN)に接続された増幅用トランジスタと、電荷生成部をリセットするためのリセットトランジスタと、垂直シフトレジスタより転送配線(TRF)を介して走査される読出選択用トランジスタ(転送ゲート部)を有する、3つのトランジスタからなる構成のものを使用することもできる。
なお、固体撮像装置1は、色分解(色分離)フィルタを使用することで、画素アレイ部10をカラー撮像対応にすることができる。すなわち、画素アレイ部10における各電荷生成部(フォトダイオードなど)の電磁波(本例では光)が入射される受光面に、カラー画像を撮像するための複数色の色フィルタの組合せからなる色分解フィルタの何れの色フィルタを、たとえばいわゆるベイヤー(Bayer)配列などにして設けることで、カラー画像撮像対応とする。
単位画素3は、行選択のための行制御線15を介して垂直走査部14と、また垂直信号線19を介してカラムAD回路250が垂直列ごとに設けられているカラム処理部26と、それぞれ接続されている。ここで、行制御線15は垂直走査部14から画素に入る配線全般を示す。
水平走査部12は、カラム処理部26からカウント値を水平信号線18へ読み出す読出走査部の機能を持つ。
水平走査部12や垂直走査部14などの駆動制御部7の各要素は、画素アレイ部10とともに、半導体集積回路製造技術と同様の技術を用いて単結晶シリコンなどの半導体領域に一体的に形成され、半導体システムの一例である固体撮像装置として構成される。
これらの各機能部は、半導体集積回路製造技術と同様の技術を用いて単結晶シリコンなどの半導体領域に一体的に形成されたいわゆる1チップもの(同一の半導体基板上に設けられているもの)として、半導体システムの一例であるCMOSイメージセンサとして、本実施形態の固体撮像装置1の一部をなすように構成される。
なお、固体撮像装置1は、このように各部が半導体領域に一体的に形成された1チップとして形成された形態であってもよいし、図示を割愛するが、画素アレイ部10、駆動制御部7、カラム処理部26などの各種の信号処理部の他に、撮影レンズ、光学ローパスフィルタ、あるいは赤外光カットフィルタなどの光学系をも含む状態で、これらを纏めてパッケージングされた撮像機能を有するモジュール状の形態としてもよい。
水平走査部12や垂直走査部14は、たとえばデコーダを含んで構成され、通信・タイミング制御部20から与えられる制御信号CN1,CN2に応答してシフト動作(走査)を開始するようになっている。このためたとえば、行制御線15には、単位画素3を駆動するための種々のパルス信号(たとえば、初期化制御電位を規定する画素リセットパルスRST 、転送制御電位を規定する転送パルスTRG 、垂直選択パルスVSELなど)が含まれる。
通信・タイミング制御部20は、図示しないが、各部の動作に必要なクロックや所定タイミングのパルス信号を供給するタイミングジェネレータTG(読出アドレス制御装置の一例)の機能ブロックと、端子5aを介して外部の主制御部から供給されるマスタークロックCLK0を受け取り、また端子5bを介して外部の主制御部から供給される動作モードなどを指令するデータを受け取り、さらに固体撮像装置1の情報を含むデータを外部の主制御部に出力する通信インタフェースの機能ブロックとを備える。
通信・タイミング制御部20は、たとえば、水平アドレス信号を水平アドレス設定部12aへ、また垂直アドレス信号を垂直アドレス設定部14aへ出力し、各アドレス設定部12a,14aは、それを受けて対応する行もしくは列を選択する。
この際、単位画素3を2次元マトリクス状に配置してあるので、画素信号生成部5により生成され垂直信号線19を介して列方向に出力されるアナログの画素信号を行単位で(列並列で)アクセスし取り込む(垂直)スキャン読みを行ない、この後に、垂直列の並び方向である行方向にアクセスし画素信号(本例ではデジタル化された画素データ)を出力側へ読み出す(水平)スキャン読みを行なうようにすることで、画素信号や画素データの読出しの高速化を図るのがよい。もちろん、スキャン読みに限らず、読み出したい単位画素3を直接にアドレス指定することで、必要な単位画素3の情報のみを読み出すランダムアクセスも可能である。
また、通信・タイミング制御部20では、端子5aを介して入力される入力クロック(マスタークロック)CLK0と同じ周波数のクロックCLK1や、それを2分周したクロックやより分周した低速のクロックをデバイス内の各部、たとえば水平走査部12、垂直走査部14、カラム処理部26などに供給する。以下、2分周したクロックやそれ以下の周波数のクロック全般を纏めて、低速クロックCLK2とも言う。
垂直走査部14は、画素アレイ部10の行を選択し、その行に必要なパルスを供給するものである。たとえば、垂直方向の読出し行を規定する(画素アレイ部10の行を選択する)垂直アドレス設定部14aと、垂直アドレス設定部14aにて規定された読出アドレス上(行方向)の単位画素3に対する行制御線15にパルスを供給して駆動する垂直駆動部14bとを有する。なお、垂直アドレス設定部14aは、信号を読み出す行(読出し行:選択行や信号出力行とも称する)の他に、電子シャッタ用の行なども選択する。
水平走査部12は、低速クロックCLK2に同期してカラム処理部26のカラムAD回路250を順番に選択し、その信号を水平信号線(水平出力線)18に導くものである。たとえば、水平方向の読出列を規定する(カラム処理部26内の個々のカラムAD回路250を選択する)水平アドレス設定部12aと、水平アドレス設定部12aにて規定された読出アドレスに従って、カラム処理部26の各信号を水平信号線18に導く水平駆動部12bとを有する。なお、水平信号線18は、たとえばカラムAD回路250が取り扱うビット数n(nは正の整数)分、たとえば10(=n)ビットならば、そのビット数分に対応して10本配置される。
このような構成の固体撮像装置1において、単位画素3から出力された画素信号は、垂直列ごとに、垂直信号線19を介して、カラム処理部26のカラムAD回路250に供給される。
カラム処理部26の各カラムAD回路250は、対応する列の単位画素3のアナログ信号Soを受けて、そのアナログ信号Soを処理する。たとえば、各カラムAD回路250は、アナログ信号Soを、たとえば低速クロックCLK2を用いて、たとえば10ビットのデジタル信号に変換するADC(Analog Digital Converter)回路を持つ。
カラム処理部26におけるAD変換処理としては、行単位で並列に保持されたアナログ信号Soを、列ごとに設けられたカラムAD回路250を使用して、行ごとに並列にAD変換する方法を採る。この際には、参照信号比較型AD変換の手法を使用する。この手法は、簡単な構成でAD変換器が実現できるため、並列に設けても回路規模が大きくならないという特徴を有している。
参照信号比較型のAD変換に当たっては、変換開始(比較処理の開始)から変換終了(比較処理の終了)までの時間に基づいて、アナログの処理対象信号をデジタル信号に変換する。特許文献1に記載の仕組みでは、2回に亘る各回の処理時に何れも、変換開始(比較処理の開始)を参照信号Vslopの変化開始時点とし変換終了(比較処理の終了)を参照信号Vslopと処理対象信号電圧とが一致する時点としている。
これに対して、本実施形態では、2回に亘る各回の処理の何れか一方は、変換開始(比較処理の開始)を参照信号Vslopの変化開始時点とし変換終了(比較処理の終了)を参照信号Vslopと処理対象信号電圧とが一致する時点とするが、他方は変換開始(比較処理の開始)を参照信号Vslopと処理対象信号電圧とが一致する時点とし変換終了(比較処理の終了)をその回の所望のカウント数が完了する時点(典型的には最大AD変換期間が到達した時点)とする点に特徴を有する。
このための仕組みとしては、原理的には、コンパレータ(電圧比較器)にランプ状の参照信号Vslopを供給するとともに、クロック信号でのカウント(計数)を開始し、垂直信号線19を介して入力されたアナログの画素信号を参照信号Vslopと比較することによって、指定されているカウント期間におけるクロック数をカウントすることでAD変換を行なう。
また、この際、回路構成を工夫することで、AD変換とともに、垂直信号線19を介して入力された電圧モードの画素信号に対して、画素リセット直後の信号レベル(ノイズレベルもしくはリセットレベルと称する)と(受光光量に応じた)信号レベルとの差分をとる処理(いわゆるCDS処理と等価)を行なうことができる。これにより、固定パターンノイズ(FPN;Fixed Pattern Noise )やリセットノイズと言われるノイズ信号成分を取り除くことができる。
<参照信号生成部とカラムAD回路の詳細>
参照信号生成部27は、DA変換回路(DAC;Digital Analog Converter)27aを有して構成されており、通信・タイミング制御部20からの制御データCN4で示される初期値からカウントクロックCKdac に同期して、階段状の鋸歯状波(ランプ波形;以下参照信号Vslopとも称する)を生成して、参照信号制御部25を介してカラム処理部26の個々のカラムAD回路250に、この生成した階段状の鋸歯状波の参照信号VslopをAD変換用の参照電圧(ADC基準信号)として供給するようになっている。なお、図示を割愛しているが、ノイズ防止用のフィルタを設けるとよい。なお、カウントクロックCKdac はカウントクロックCK0と同一にしてもよい。
参照信号Vslopは、たとえば逓倍回路で生成される逓倍クロックを元に生成される高速クロックを基準とすることで、端子5aを介して入力されるマスタークロックCLK0に基づき生成するよりも高速に変化させることができる。
通信・タイミング制御部20から参照信号生成部27のDA変換回路27aに供給する制御データCN4は、比較処理ごとの参照信号Vslopが基本的には同じ傾き(変化率)となるように、時間に対するデジタルデータの変化率を同じにする情報も含んでいる。具体的には、カウントクロックCKdac に同期して、単位時間ごとに1ずつカウント値を変化させ、そのカウント値を電流加算型のDA変換回路で電圧信号に変換するようにする。
カラムAD回路250は、参照信号生成部27のDA変換回路27aで生成される参照信号Vslopと、行制御線15(V1,V2,V3,…,Vv)ごとに単位画素3から垂直信号線19(H1,H2,…,Hh)を経由し得られるアナログの画素信号を比較する電圧比較部(コンパレータ)252と、電圧比較部252が比較処理を完了するまでの時間をカウントし、その結果を保持するカウンタ部254とを備えて構成されnビットAD変換機能を有している。
また、特許文献1に記載の仕組みとの大きな相違点として、電圧比較部252とカウンタ部254との間に、カウンタ部254におけるカウント処理の期間を制御するカウント位相切替部(PH SEL)253を有する。カウント位相切替部253には、通信・タイミング制御部20からカウント期間を制御するカウント期間制御信号SELが供給され、また、電圧比較部252から比較パルスCOMPが供給される。
カウント位相切替部253は、カウント期間制御信号SELに基づき電圧比較部252からの比較パルスCOMPを論理反転して(逆相で)カウントイネーブル信号ENとしてカウンタ部254に渡すか、もしくは比較パルスCOMPをそのまま(同相で)カウントイネーブル信号ENとしてカウンタ部254に渡す。カウント位相切替部253は、電圧比較部252の比較結果である比較パルスCOMPとカウント期間制御信号SELに基づき、カウント期間を決定するカウント期間制御部の一例である。
たとえば、カウント位相切替部253としてはEX−OR(排他的論理和)ゲートを使用し、一方の入力端に比較パルスCOMPを入力し、他方の入力端にカウント期間制御信号SELを入力する。この場合、EX−ORゲートは、カウント期間制御信号SELがHレベルのときに比較パルスCOMPを論理反転してカウントイネーブル信号ENとし、カウント期間制御信号SELがLレベルのときに比較パルスCOMPをそのままカウントイネーブル信号ENとする。
この動作から理解されるように、カウント位相切替部253は、電圧比較部252とカウンタ部254との間において、比較パルスCOMPを論理反転するか否かの機能を有すればよく、カウンタ部254にアップダウンカウント機能を設ける際に必要となる各ビットに用いられるセレクタなどの構成要素よりも小面積にすることができる。
列ごとに配された電圧比較部252にDA変換回路27aから参照信号Vslopが共通に供給され、各電圧比較部252が処理を担当する画素信号電圧Vxについて、共通の参照信号Vslopを使用して比較処理を行なう。カウンタ部254は、カウント位相切替部253の出力をカウントイネーブル信号CENとして使用し、カウントイネーブル信号ENがHレベルのときにカウントクロックCK0を元にカウント処理を行ない、カウント処理終了時のカウント結果を保持する。
通信・タイミング制御部20は、電圧比較部252が画素信号のリセットレベルVrst と信号成分Vsig の何れについて比較処理を行なっているのかに応じてカウンタ部254におけるカウント処理のカウント期間をカウント位相切替部253に供給するカウント期間制御信号SELを制御することで切り替える制御部の機能を持つ。
通信・タイミング制御部20から各カラムAD回路250のカウント位相切替部253やカウンタ部254には、カウント期間制御信号SELの他にも、カウンタ部254が2回に亘るカウント処理をダウンカウントモードで動作するのかアップカウントモードで動作するのかや、1回目のカウント処理における初期値Dini の設定やリセット処理など、その他の制御情報を指示するための制御信号CN5が入力されている。
電圧比較部252の一方の入力端子RAMPは、他の電圧比較部252の入力端子RAMPと共通に、参照信号生成部27で生成される階段状の参照信号Vslopが入力され、他方の入力端子には、それぞれ対応する垂直列の垂直信号線19が接続され、画素アレイ部10からの画素信号電圧が個々に入力される。電圧比較部252の出力信号(比較パルスCOMP)はカウント位相切替部253に供給される。
カウンタ部254のクロック端子CKには、他のカウンタ部254のクロック端子CKと共通に、通信・タイミング制御部20からカウントクロックCK0が入力されている。このカウンタ部254は、その構成については図示を割愛するが、ラッチで構成されたデータ記憶部の配線形態を同期カウンタ形式に変更することで実現でき、1本のカウントクロックCK0の入力で、内部カウントを行なうようになっている。カウントクロックCK0も、参照信号Vslopと同様に、逓倍回路で生成される逓倍クロック(高速クロック)を使用することができ、この場合、端子5aを介して入力されるマスタークロックCLK0を使用するよりも高分解能にできる。
カウンタ部254は、1画素の信号成分Vsig のデジタルデータDsig を取得するための2回に亘るカウント処理においては、ダウンカウント動作とアップカウント動作の何れか一方のみで動作すればよく、その動作に対応するアップカウンタもしくはダウンカウンタの何れかであれば十分である。ただし、原理的には、利用形態として、ダウンカウント動作とアップカウント動作とを切替可能なアップダウンカウンタを用いて、ダウンカウント動作とアップカウント動作の何れか一方で動作させるようにしても差し支えない。しかしながら通常は、アップダウンカウンタは、そのモード切替用の回路構成が必要であり、アップカウンタやダウンカウンタと言った単一のカウントモードのみに対応した構成に比べると回路規模が大きくなるので、本実施形態ではアップダウンカウンタを採用しない。
また、本実施形態のカウンタ部254としては、カウント出力値がカウントクロックCK0に同期せずに出力される非同期カウンタを使用するのが好ましい。基本的には、同期カウンタを使用することもできるが、同期カウンタの場合、全てのフリップフロップ(カウンタ基本要素)の動作がカウントクロックCK0で制限される。よって、より高周波数動作が要求される場合には、カウンタ部254としては、その動作制限周波数が最初のフリップフロップ(カウンタ基本要素)の制限周波数でのみ決められるため高速動作に適する非同期カウンタの使用がより好ましいのである。
カウンタ部254には、水平走査部12から制御線12cを介して制御パルスが入力される。カウンタ部254は、カウント結果を保持するラッチ機能を有しており、制御線12cを介しての制御パルスによる指示があるまでは、カウンタ出力値を保持する。個々のカラムAD回路250の出力側は、第1実施形態の構成では、カウンタ部254の出力を水平信号線18にそのまま接続している。
このような構成において、カラムAD回路250は、所定の画素信号読出期間において、カウント動作を行ない、所定のタイミングでカウント結果を出力する。すなわち、先ず、電圧比較部252では、参照信号生成部27からの参照信号Vslopと、垂直信号線19を介して入力される画素信号電圧Vxとを比較する。双方の電圧が同じになると、電圧比較部252の比較パルスCOMP(コンパレート出力)が反転する。たとえば、電圧比較部252は、電源電位などのHレベルをインアクティブ状態として、画素信号電圧Vxと参照信号Vslopとが一致したときに、Lレベル(アクティブ状態)へ遷移する。
カウント位相切替部253は、電圧比較部252による比較結果である比較パルスCOMPと通信・タイミング制御部20からのカウント期間制御信号SELに基づきカウンタ部254におけるカウント処理期間を決定しカウンタ部254に指示する。カウンタ部254は、カウント期間制御信号SELに基づくカウント位相切替部253により指定されたカウント処理期間においてダウンカウントモードもしくはアップカウントモードでカウント処理を行ない、カウント処理期間のカウント数を画素データとしてラッチ(保持・記憶)することでAD変換を完了する。
この後、カウンタ部254は、所定のタイミングで水平走査部12から制御線12cを介して入力される水平選択信号CH(i)によるシフト動作に基づいて、記憶・保持した画素データを、順次、カラム処理部26外や画素アレイ部10を有するチップ外へ出力端子5cから出力する。
なお、本実施形態の説明としては直接関連しないため特に図示しないが、その他の各種信号処理回路なども、固体撮像装置1の構成要素に含まれる場合がある。
<固体撮像装置の全体概要:第2実施形態>
図1Aは、本発明に係る固体撮像装置の一実施形態であるCMOS固体撮像装置(CMOSイメージセンサ)の概略構成図の第2実施形態を示す図である。この第2実施形態の固体撮像装置1は、第1実施形態の固体撮像装置1に対して、カラムAD回路250の構成を変形している。
すなわち、第2実施形態におけるカラムAD回路250は、カウンタ部254の後段に、このカウンタ部254の保持したカウント結果を保持するnビットのメモリ装置としてのデータ記憶部256と、カウンタ部254とデータ記憶部256との間に配されたスイッチ258とを備えている。
データ記憶部256を備える構成を採る場合、スイッチ258には、他の垂直列のスイッチ258と共通に、通信・タイミング制御部20から、所定のタイミングで、制御パルスとしてのメモリ転送指示パルスCN8が供給される。スイッチ258は、メモリ転送指示パルスCN8が供給されると、対応するカウンタ部254のカウント値をデータ記憶部256に転送する。データ記憶部256は、転送されたカウント値を保持・記憶する。
なお、カウンタ部254のカウント値を所定のタイミングでデータ記憶部256に保持させる仕組みは、両者間にスイッチ258を配する構成に限らず、たとえば、カウンタ部254とデータ記憶部256とを直接に接続しつつ、カウンタ部254の出力イネーブルをメモリ転送指示パルスCN8で制御することで実現することもできるし、データ記憶部256のデータ取込タイミングを決めるラッチクロックとしてメモリ転送指示パルスCN8を用いることでも実現できる。
データ記憶部256には、水平走査部12から制御線12cを介して制御パルスが入力される。データ記憶部256は、制御線12cを介しての制御パルスによる指示があるまでは、カウンタ部254から取り込んだカウント値を保持する。
水平走査部12は、カラム処理部26の各電圧比較部252とカウンタ部254とが、それぞれが担当する処理を行なうのと並行して、各データ記憶部256が保持していたカウント値を読み出す読出走査部の機能を持つ。
データ記憶部256の出力は、水平信号線18に接続されている。水平信号線18は、カラムAD回路250のビット幅であるnビット幅分の信号線を有し、図示しないそれぞれの出力線に対応したn個のセンス回路を経由して出力回路28に接続される。
特に、データ記憶部256を備えた構成とすれば、カウンタ部254が保持したカウント結果を、データ記憶部256に転送することができるため、カウンタ部254のカウント動作すなわちAD変換処理と、カウント結果の水平信号線18への読出動作とを独立して制御可能であり、AD変換処理と外部への信号の読出動作とを並行して行なう、いわゆるパイプライン動作が実現できる。
<固体撮像装置の動作;比較例の動作>
図2は、図1に示した第1実施形態の固体撮像装置1のカラムAD回路250における基本動作である信号取得差分処理に対しての比較例の動作を説明するためのタイミングチャートである。ここでは、本実施形態の参照信号比較型AD変換処理を適用したカラムAD変換処理の特徴の理解を容易にするため、特許文献1に記載の参照信号比較型AD変換処理の一般的な処理手法について示し、その後に、本実施形態の処理の特徴について動作原理と具体的な実施形態を説明する。
画素アレイ部10の各単位画素3で感知されたアナログの画素信号をデジタル信号に変換する仕組みとしては、たとえば、所定の傾きで下降する(階段状に下降する場合でもよい)ランプ波形状の参照信号Vslopと単位画素3からの画素信号における基準成分や信号成分の各電圧とが一致する点を探し、この比較処理で用いる参照信号Vslopの生成(変化開始)時点から、画素信号における基準成分や信号成分に応じた電気信号と参照信号とが一致した時点までをカウントクロックでカウント(計数)することで、基準成分や信号成分の各大きさに対応した画素信号レベルのカウント値を得る手法を採る。
つまり、垂直信号線19に読み出したアナログの画素信号電圧Vxを、列ごとに配置されたカラムAD回路250の電圧比較部252で参照信号Vslopと比較する。このとき、電圧比較部252と同様に列ごとに配置されたカウンタ部254を動作させておき、参照信号Vslopのある電位とカウンタ部254とを1対1の対応をとりながら変化させることで、垂直信号線19の画素信号電圧Vxをデジタルデータに変換する。ここで、参照信号Vslopの変化は電圧の変化を時間の変化に変換するものであり、その時間をある周期(クロック)で量子化しながらカウンタ部254で数えることで、デジタルデータに変換する。参照信号Vslopがある時間Δtの間にΔV変化するとして、Δtの周期でカウンタ部254を動作させると参照信号VslopがN×ΔV変化したときのカウンタ値はNとなる。
ここで、垂直信号線19から出力される画素信号So(画素信号電圧Vx)は、時間系列として、基準レベルとしての画素信号の雑音を含むリセットレベルSrst の後に信号レベルSsig が現れるものである。P相の処理を基準レベル(リセットレベルSrst 、事実上リセットレベルVrst と等価)について行なう場合、D相の処理はリセットレベルSrst に信号成分Vsig を加えた信号レベルSsig についての処理となる。
詳細な説明は割愛するが、特許文献1に記載のAD変換処理においては、先ず、1回目の処理時、つまりリセットレベルSrst についてのAD変換期間であるプリチャージ相(P相と省略して記すこともある)の処理期間においては、先ず通信・タイミング制御部20は、リセット制御信号CLRをアクティブHにして、カウンタ部254の各フリップフロップのカウント値を初期値“0”にリセットさせるとともに、カウンタ部254をダウンカウントモードに設定する(t1)。
このとき、通信・タイミング制御部20は、データ保持制御パルスHLDCをアクティブHに、またカウントモード制御信号UDCをローレベル(つまりダウンカウントモード)にしておく。またこのとき、単位画素3をリセット電位する(t1〜t2)。このリセット電位が画素信号Soとして垂直信号線19に出力される。これにより、画素信号電圧Vxとしては、リセットレベルSrst が垂直信号線19に現れるようになる。
垂直信号線19(H1,H2,…)上のリセットレベルSrst が収束して安定となったら、通信・タイミング制御部20は、カウンタ部254におけるカウント動作開始と同時に参照信号Vslopが変化し始めるようにするべく、制御データCN4として、データ保持制御パルスHLDCを使用し、このデータ保持制御パルスHLDCをインアクティブLにする(t10)。これを受けて、参照信号生成部27は、電圧比較部252の一方の入力端子RAMPへの比較電圧である参照信号Vslopとして、初期電圧SLP_ini を始点とする、全体として鋸歯状(RAMP状)に時間変化させた階段状もしくは線形状の電圧波形を入力する。電圧比較部252は、この参照信号Vslopと画素アレイ部10から供給される垂直信号線19の画素信号電圧Vxとを比較する。
電圧比較部252の入力端子RAMPへの参照信号Vslopの入力と同時に、電圧比較部252における比較時間を、参照信号生成部27から発せられる参照信号Vslopに同期して、行ごとに配置されたカウンタ部254で計測する。実際には、参照信号Vslopの生成のためにデータ保持制御パルスHLDCがインアクティブLにされており、カウンタ部254は、P相のカウント動作として、初期値“0”からダウンカウントを開始する。すなわち、負の方向にカウント処理を開始する。
電圧比較部252は、参照信号生成部27からの参照信号Vslopと垂直信号線19を介して入力される画素信号電圧Vxとを比較し、双方の電圧が同じになったときに、コンパレート出力をHレベルからLレベルへ反転させる。つまり、リセットレベルVrst に応じた電圧信号(リセットレベルSrst )と参照信号Vslopとを比較して、リセットレベルVrst の大きさに対応した時間軸方向に大きさを持っているアクティブロー(L)のパルス信号を生成して、カウンタ部254に供給する。
この結果を受けて、カウンタ部254は、コンパレート出力の反転とほぼ同時にカウント動作を停止し、その時点のカウント値(符号を加味して“−Drst ”とする)を画素データとしてラッチ(保持・記憶)することでAD変換を完了する。つまり、電圧比較部252における比較処理によって得られる時間軸方向に大きさを持っているアクティブロー(L)のパルス信号の幅をカウントクロックCK0でカウント(計数)することで、リセットレベルVrst の大きさに対応したデジタル値Drst を示す(符号を加味すれば−Drst を示す)カウント値を得る。
通信・タイミング制御部20は、所定のダウンカウント期間を経過すると、データ保持制御パルスHLDCをアクティブHにする(t14)。これにより、参照信号生成部27は、ランプ状の参照信号Vslopの生成を停止し(t14)、初期電圧SLP_ini に戻る。
P相の処理時は、画素信号電圧VxにおけるリセットレベルVrst を電圧比較部252で検知してカウンタ部254でカウント動作を行なっているので、単位画素3のリセットレベルVrst を読み出してリセットレベルVrst のAD変換を実施することになる。
続いての2回目の処理時、つまり信号レベルSsig についてのAD変換期間であるデータ相(D相と省略して記すこともある)の処理期間には、リセットレベルVrst に加えて、単位画素3ごとの入射光量に応じた信号成分Vsig を読み出し、P相の読出しと同様の動作を行なう。すなわち、先ず通信・タイミング制御部20は、カウントモード制御信号UDCをハイレベルにしてカウンタ部254をアップカウントモードに設定する(t16)。
またこのとき、単位画素3では、読出対象行Vnの垂直選択信号φVSELをアクティブHにしたままで転送信号φTRG をアクティブHにして垂直信号線19に信号レベルSsig を読み出す(t18〜t19)。垂直信号線19(H1,H2,…)上の信号レベルSsig が収束して安定となったら、通信・タイミング制御部20は、カウンタ部254におけるカウント動作開始と同時に参照信号Vslopが変化し始めるようにするべく、制御データCN4として、データ保持制御パルスHLDCを使用し、このデータ保持制御パルスHLDCをインアクティブLにする(t20)。
これを受けて、参照信号生成部27は、電圧比較部252の一方の入力端子RAMPへの比較電圧である参照信号Vslopとして、初期電圧SLP_ini を始点としP相と同じ傾きを持った全体として鋸歯状(RAMP状)に時間変化させた階段状もしくは線形状の電圧波形を入力する。電圧比較部252は、この参照信号Vslopと画素アレイ部10から供給される垂直信号線19の画素信号電圧Vxとを比較する。
電圧比較部252の入力端子RAMPへの参照信号Vslopの入力と同時に、電圧比較部252における比較時間を、参照信号生成部27から発せられる参照信号Vslopに同期して、行ごとに配置されたカウンタ部254で計測する。ここでも、実際には、参照信号Vslopの生成のためにデータ保持制御パルスHLDCがインアクティブLにされており、カウンタ部254は、D相のカウント動作として、P相の読出しおよびAD変換時に取得された画素信号電圧VxのリセットレベルSrst のデジタル値Drst (ここでは負の値となっている)から、P相とは逆にアップカウントを開始する。すなわち、正の方向にカウント処理を開始する。
電圧比較部252は、参照信号生成部27からのランプ状の参照信号Vslopと垂直信号線19を介して入力される画素信号電圧Vxとを比較し、双方の電圧が同じになったときに、コンパレート出力をHレベルからLレベルへ反転させる(t22)。つまり、信号成分Vsig に応じた電圧信号(画素信号電圧Vxの信号レベルSsig )と参照信号Vslopとを比較して、信号成分Vsig の大きさに対応した時間軸方向に大きさを持っているアクティブロー(L)のパルス信号を生成して、カウンタ部254に供給する。
この結果を受けて、カウンタ部254は、コンパレート出力の反転とほぼ同時にカウント動作を停止し、その時点のカウント値を画素データとしてラッチ(保持・記憶)することでAD変換を完了する(t22)。つまり、電圧比較部252における比較処理によって得られる時間軸方向に大きさを持っているアクティブロー(L)のパルス信号の幅をカウントクロックCK0でカウント(計数)することで、画素信号電圧Vxにおける信号レベルSsig に対応したカウント値を得る。
所定のアップカウント期間を経過すると、単位画素3では、読出対象行Vnの垂直選択信号φVSELをインアクティブLにして画素信号Soの垂直信号線19への出力を禁止し、次の読出対象行Vn+1について、垂直選択信号φVSELをアクティブHにする(t26)。このとき、通信・タイミング制御部20は、次の読出対象行Vn+1についての処理に備える。たとえば、カウントモード制御信号UDCをローレベルにしてカウンタ部254をアッダウンカウントモードに設定する。
このD相の処理時は、画素信号電圧Vxにおける信号レベルSsig を電圧比較部252で検知してカウント動作を行なっているので、単位画素3の信号成分Vsig を読み出して信号レベルSsig のAD変換を実施することになる。
ここで、信号レベルSsig は、リセットレベルSrst に信号成分Vsig を加えたレベルであるので、信号レベルSsig のAD変換結果のカウント値は、基本的には“Drst +Dsig ”であるが、アップカウントの開始点を、リセットレベルSrst のAD変換結果である“−Drst ”としているので、実際に保持されるカウント値は、“−Drst +(Dsig+Drst ) =Dsig ”となる。
つまり、カウンタ部254におけるカウント動作を、P相の処理時にはダウンカウント、D相の処理時にはアップカウントと、それぞれのカウントモードを異なるものとしているので、カウンタ部254内で自動的に、リセットレベルSrst のAD変換結果であるカウント数“−Drst ”と信号レベルSsig のAD変換結果であるカウント数“Drst +Dsig ”との間での差分処理(減算処理)が自動的に行なわれ、この差分処理結果に応じたカウント数Dsig がカウンタ部254に保持される。この差分処理結果に応じたカウンタ部254に保持されるカウント数Dsig は信号成分Vsig に応じたデジタルデータを表すものとなる。
上述のようにして、P相の処理時におけるダウンカウントとD相の処理時におけるアップカウントといった、2回の読出しとカウント処理によるカウンタ部254内での差分処理によって、単位画素3ごとのばらつきを含んだリセットレベルVrst を除去することができ、単位画素3ごとの入射光量に応じた信号成分Vsig のみのAD変換結果を簡易な構成で取得することができる。よって、カラムAD回路250は、アナログの画素信号をデジタルの画素データに変換するデジタル変換部としてだけでなく、CDS(Correlated Double Sampling ;相関2重サンプリング)処理機能部としても動作することとなる。
また、カラムAD回路250では、カウンタ部254の後段にデータ記憶部256を備えており、カウンタ部254の動作前に、通信・タイミング制御部20からのメモリ転送指示パルスCN8に基づき、前行Hx−1のカウント結果をデータ記憶部256に転送することができる。つまり、AD変換期間終了後、カウンタ部254内のデータをデータ記憶部256へと退避し、カラムAD回路250は次の行Vx+1のAD変換を開始する。データ記憶部256内のデータは、その裏で水平走査部12により順に選択され、出力回路28を用いて読み出すことができる。
<<本実施形態のカラムAD変換処理の原理>>
前述の比較例のAD変換処理では、P相の処理時におけるダウンカウントとD相の処理時におけるアップカウントといった、2回の読出しとカウント処理によるカウンタ部254内での差分処理によって、画素信号電圧Vxにおける信号成分Vsig についてのAD変換とCDS機能とを同時に実現している。しなしながら、その動作から明らかなように、AD変換とCDS機能とを同時に実現するために、カウントモードを切り替えなければならず、その対応のため、全列のカウンタ部254にモード切替えの仕組みを採ることが必要となるので、カウンタ領域の面積が増大してしまう不都合がある。
本実施形態では、この点を勘案して、参照信号比較型などと称されるAD変換方式を採用する場合に、カウンタ部254の面積増大の問題を抑えながら、差分処理機能をAD変換と同時に行なうことのできる仕組みにする。以下具体的に説明する。
回路構成面では、図1に示したように、カウントモードを切り替える仕組みを採らずに、1回目と2回目の各AD変換処理時に同一カウントモードでカウントするとともに、それぞれのカウント位相を異なるものとする仕組みを採る点に特徴を有する。2回目のカウント処理時には、1回目のカウント処理結果からカウント処理を開始する。この点は比較例と同様である。
ここで、「カウント位相を異なるものとする」とは、1回目のAD変換処理(たとえばP相の処理)時と2回目のAD変換処理(たとえばD相の処理)時とで、カウント処理期間を異なるものとすることを意味する。より具体的には、参照信号Vslopの変化を開始した時点から参照信号Vslopと画素信号電圧Vxが同一になるまでの期間でカウント処理を行なうか、参照信号Vslopと画素信号電圧Vxが同一になった時点からその回の最大AD変換期間に到達する時点(通常は参照信号Vslopの変化を停止させる時点)までの期間でカウント処理を行なうかの違いがカウント位相の違いを意味する。
本願明細書において、参照信号Vslopの変化を開始した時点から参照信号Vslopと画素信号電圧Vxが同一になるまでの期間でカウント処理を行なうことを、実数のカウント処理とも称する。一方、参照信号Vslopと画素信号電圧Vxが同一になった時点からその回の最大AD変換期間に到達する時点までの期間でカウント処理を行なうことを、補数のカウント処理とも称する。
一般的には、参照信号Vslopの変化を開始した時点から参照信号Vslopと画素信号電圧Vxが同一になるまでの期間および参照信号Vslopと画素信号電圧Vxが同一になった時点からその回の最大AD変換期間に到達する時点までの期間と、電圧比較部252から出力される比較パルスCOMPの出力レベルとが対応しているので、比較パルスCOMPがLレベルの期間でカウント処理を開始するかHレベルの期間でカウント処理を開始するかを切り替えればよい。
加えて、本実施形態では、2回に亘るカウント処理結果として差分処理結果が取得できるように、第1の手法としては、1回目のカウント処理を開始する際に、参照信号Vslopと画素信号電圧Vxが同一になった時点以降でカウント処理を行なう回の最大AD変換期間に相当するカウント値をカウントモードに応じた符号(正または負)を付して初期値Dini として初期設定し、その初期値Dini からカウント処理を開始する。あるいは、第2の手法としては、比較例と同様に“0”からカウント処理を開始しつつ、2回目のカウント処理が完了した後に、カウンタ部254の後段で初期値Dini の分を補正する。第1の手法は、カウンタ部254の後段で初期値Dini の分を補正する必要がなく、1画素分のAD変換処理結果が得られればよい場合に好適な手法である。一方、第2の手法は、複数画素の信号成分Vsig の積和演算のAD変換処理結果を得る場合に好適な手法である。
なお、ここでは1画素分の画素信号電圧Vxについて、リセットレベルSrst と信号レベルSsig との差分結果で示される信号成分Vsig のデジタルデータDsig を取得する事例で説明したが、この仕組みを利用することで、任意の2種類の処理対象信号の減算処理結果のデジタルデータを取得することもできる。この場合、差し引く方に対して補数のカウント処理を割り当て、差し引かれる方に対して実数のカウント処理を割り当てる。
<原理:第1例>
図3は、本実施形態のカラムAD変換処理の動作原理の第1例を説明する図である。図3に示す第1例は、カウンタ部254としてアップカウンタを用いた例であり、減算要素の処理対象信号の一例である1回目のリセットレベルSrst についてのAD変換処理時には、参照信号Vslopと画素信号電圧Vx(リセットレベルSrst )が同一になった時点から、参照信号Vslopが所定の終了値に到達する時点まで、具体的には、その回の最大AD変換期間に到達する時点までの期間でアップカウントモードでカウント処理を行ない、加算要素の一例である2回目の信号レベルSsig についてのAD変換処理時には、参照信号Vslopが初期値SLP_ini から変化を開始した時点から参照信号Vslopと画素信号電圧Vx(信号レベルSsig )が同一になるまでの期間でアップカウントモードでカウント処理を行なう例を示している。
この場合、1回目のリセットレベルSrst についてのAD変換処理でのカウント数(Drst_cnt と記す)は、図から明らかなように、リセットレベルSrst についての最大AD変換期間に対応する最大カウント数Drmから、参照信号Vslopの変化を開始した時点から参照信号Vslopと画素信号電圧Vx(リセットレベルSrst )が同一になるまでの期間に対応するカウント数Drst を差し引いた値(=Drm−Drst )になる。したがって、1回目のAD変換処理後にカウンタ部254に保持されるカウント値D1は式(1−1)のようになる。
ここで、仮に、1回目のカウント処理の初期値Dini を、リセットレベルSrst についての最大AD変換期間に対応する最大カウント数Drmの負数に設定すれば、1回目のリセットレベルSrst についてのAD変換処理後にカウンタ部254に保持されるカウント値D1は式(1−2)で示される。
1回目のP相の処理時に、画素信号電圧VxにおけるリセットレベルVrst を電圧比較部252で検知してカウンタ部254でカウント動作を行なう際に、初期値Dini を最大カウント数Drmの負数に設定することで、単位画素3のリセットレベルVrst を読み出してリセットレベルVrst のAD変換を実施し、リセットレベルVrst のデジタルデータを負数として保持できることが分かる。
比較例では、単位画素3のリセットレベルVrst を読み出してリセットレベルVrst のAD変換を実施し、リセットレベルVrst のデジタルデータを負数として保持するために、1回目のカウント処理時には、2回目のカウント処理時のカウントモードと異なるモードにしなければならないが、第1例の動作原理の仕組みを採れば、そのようなカウントモードの切替えが不要となる。
この後の2回目の信号レベルSsig についてのAD変換処理時には、1回目と同一のアップカウントモードで、1回目のAD変換処理後にカウンタ部254に保持されたカウント値D1(=Dini +(Drm−Drst )=−Drst )からカウント処理を開始し、参照信号Vslopと画素信号電圧Vx(信号レベルSsig )が同一になったときのカウント値を保持する。この2回目の信号レベルSsig についてのAD変換処理でのカウント数(Dsig_cnt と記す)は、図から明らかなように、リセットレベルSrst と信号成分Vsig とを合成したものに対応するので、“Drst +Dsig ”となる。したがって、2回目のAD変換処理後にカウンタ部254に保持されるカウント値D2は式(2)のようになる。
式(2)から明らかように、2行目に示される減算式はリセットレベルSrst と信号レベルSsig との間での減算処理を行なっていることになる。これから分かるように、信号レベルSsig は、リセットレベルSrst に信号成分Vsig を加えたレベルであるので、信号レベルSsig のAD変換結果のカウント数は、基本的には“Drst +Dsig ”であるが、2回目のカウント処理の開始点を、リセットレベルSrst のAD変換結果である“−Drst ”とすることで、比較例と同様に、実際に保持されるカウント値を、“−Drst +(Dsig+Drst ) =Dsig ”とできるのである。
つまり、第1例の動作原理のように、2回に亘るカウント処理を同一モード(本例ではアップカウントモード)にしても、それぞれのカウント位相を異なるものとし、1回目のカウント処理の初期値Dini を1回目のカウント処理の最大カウント数Drmの負数に設定すれば、カウンタ部254内で自動的に、リセットレベルSrst のAD変換結果であるカウント数“−Drst ”と信号レベルSsig のAD変換結果であるカウント数“Drst +Dsig ”との間での差分処理(減算処理)が自動的に行なわれ、この差分処理結果に応じたカウント数Dsig をカウンタ部254が保持でき、比較例と同様にCDS機能と信号成分Vsig についてのAD変換を同時に実現できる。
なお、前例では初期値Dini を最大カウント数Drmの負数としていたが、比較例と同様に“0”としてもよい。この場合、2回目のカウント処理後にカウンタ部254に保持されるカウント値D2は式(3)のようになり、信号成分Vsig のデジタル値Dsig に最大カウント数Drmを加算した状態となる。
最大カウント数Drmは、定数であり、通信・タイミング制御部20により外部から調整ができる。またその値はリセットレベルSrst についての最大AD変換期間に応じて任意に決めることができるものである。このことから分かるように、通信・タイミング制御部20は、複数の処理対象信号の積和演算結果のデジタルデータを取得するに当たり、積和演算結果のデジタルデータが、減算要素の処理対象信号についてのカウント処理における参照信号Vslopが初期値Dini から終了値に到達する期間に対応するカウント値の分(本例ではDrm)が修正されたものとなるようにする修正部の機能を持つ。
また、カウンタ部254の後段にデジタル演算部29を設け補正演算する(本例では減算する)ことで修正の対処可能であり、容易に信号成分Vsig のデジタル値Dsig を取得できる。この場合、デジタル演算部29が修正部の機能を持つ。ただし、初期値Dini を最大カウント数Drmの負数としておくことで、2回に亘るカウント処理で最終的に得られる値は、正の信号成分Vsig を示すので、1画素の信号成分Vsig のデジタルデータDsig を取得するだけでよければ、既存のシステムとの親和性が高い。
<具体的処理:第1例>
図4は、動作原理の第1例を図1に示す第1実施形態の固体撮像装置1に適用した具体例の動作(第1例の具体的処理)を説明するタイミングチャートである。
第1例の具体的処理においては、単位画素3から得られたアナログの画素信号電圧Vxをデジタル変換する仕組みとしては、参照信号Vslopと単位画素3から得られるリセットレベルSrst もしくは信号レベルSsig の各電圧とが一致する点を探し、リセットレベルSrst については、参照信号Vslopと画素信号電圧VxのリセットレベルSrst が一致した点から所望のカウント時間(本例ではセットレベルSrst についての最大AD変換期間に到達するまで)を、信号レベルSsig については、参照信号Vslopの生成時点から信号レベルSsig と参照信号Vslopが一致するまでをカウントクロックCK0でカウントすることで、リセットレベルSrst や信号レベルSsig の情報を含んだカウント値を得る手法を採る。
通信・タイミング制御部20は、カウントクロックCKdac を参照信号生成部27に供給することで参照信号生成部27が参照信号Vslopを生成するのと同期してカウントクロックCK0をカウンタ部254に供給し、各回の最大AD変換期間に到達した時点でカウントクロックCK0の供給を停止する。このとき同時に、参照信号生成部27は参照信号Vslopの変化を停止させる。
ここで、垂直信号線19から出力される画素信号電圧Vxは、時間系列として、基準成分としての画素信号の雑音を含むリセット成分ΔVを示すリセットレベルSrst の後に信号レベルSsig が現れるものである。1回目の処理をリセットレベルSrst (リセット成分ΔV)について行なう場合、2回目の処理はリセットレベルSrst に信号成分Vsig を加えた信号レベルSsigについての処理となる。
1回目の読出しのため、通信・タイミング制御部20は、カウンタ部254のカウント値を所望の初期値Dini (ここでは、リセットレベルSrst についての最大AD変換期間に対応する最大カウント数Drmの負数=−128)にリセットする(t0〜t1内で)。つまり、1回目のカウント動作の初期値Dini は7ビットカウント分のオフセットを引いた“−128”とする。また、カウント位相切替部253をカウント期間制御信号SELにて制御することにより、カウント位相切替部253が、電圧比較部252の逆相の信号をカウントイネーブル信号ENとして出力するようにモードを設定する。そして、任意の行Hxの単位画素3から垂直信号線19への1回目の読出しが安定した後、通信・タイミング制御部20は、参照信号生成部27に向けて、参照信号Vslopを生成するための制御データを供給する。
これを受けて、参照信号生成部27は、電圧比較部252の一方の入力端子への比較電圧として、全体としてランプ状に変化させた参照信号Vslopを入力する。電圧比較部252は、この参照信号Vslopと画素アレイ部10から供給される任意の垂直信号線19の画素信号電圧Vxとを比較する。電圧比較部252の参照信号Vslopの入力と同時に、電圧比較部252における比較時間を、行ごとに配置されたカウンタ部254で計測するために、参照信号生成部27から発せられる参照信号Vslopの変化に同期して、カウンタ部254のクロック端子にカウントクロックCK0を入力する。
参照信号Vslopと画素信号電圧Vx(=リセットレベルSrst )の比較を電圧比較部252にて行ない、参照信号VslopとリセットレベルSrst が同じになった時点で電圧比較部252は比較パルスCOMPをHレベルからLレベルに反転させる(t2)。この比較パルスCOMPをカウント位相切替部253に入力し、カウント期間制御信号SELによる制御によって、反転動作がなされる。カウント位相切替部253の出力であるカウントイネーブル信号ENとしては、電圧比較部252において、参照信号VslopとリセットレベルSrst とが同じになった時点から、LレベルからHレベルに反転することとなる。この結果を受けて、カウンタ部254は、電圧比較部252の比較パルスCOMPが反転してからカウントクロックCK0がストップするまでをアップカウントモードでカウントし、1回目のカウント処理をストップした時点のカウント値を保持してAD変換を終了する。このとき、カウンタ部254に保持されるカウント値は、前述の第1例の動作原理の説明から理解されるように、“Dini +(Drm−Drst )=−Drst ”となる。
カウントクロックCK0のストップする期間は通信・タイミング制御部20で制御可能であり、ここでは、参照信号Vslopの時間変化開始(カウント時間開始)から128カウント分のカウントクロックを供給することでストップさせている(7ビットカウント分)。このとき同時に、参照信号生成部27は参照信号Vslopの生成をストップする。これにより参照信号Vslopの時間的変化も停止する(t3)。
続いて2回目の読出し時には、リセットレベルSrst に加えて、単位画素3ごとの入射光量に応じた信号成分Vsig を読み出し、1回目の読出しと同様の動作を行なう。すなわち、先ず、通信・タイミング制御部20は、カウント位相切替部253をカウント期間制御信号SELにて制御することにより、カウント位相切替部253が、比較パルスCOMPと同相の信号をカウントイネーブル信号ENとして出力するようにモードを設定する(t4)。そして、任意の行Hxの単位画素3から垂直信号線19への2回目の読出しが安定した後、通信・タイミング制御部20は、参照信号生成部27に向けて、参照信号Vslopを生成するための制御データを供給する。
これを受けて、参照信号生成部27は、電圧比較部252へ、全体としてランプ波状に時間変化させた参照信号Vslopを入力する(t5)。電圧比較部252は、この参照信号Vslopと信号レベルSsig とを比較する。電圧比較部252の参照信号Vslopの入力と同時に、電圧比較部252における比較時間を行ごとに配置されたカウンタ部254で計測するために、通信・タイミング制御部20は、参照信号生成部27から発せられる参照信号Vslopの変化に同期して、カウンタ部254のクロック端子にカウントクロックCK0を入力する。2回目のカウント動作の初期値は、1回目の処理で取得された単位画素3のリセットレベルSrst のデジタルデータである“−Drst ”とする。つまり、1回目のAD変換処理で得られたカウント値から2回目のカウント処理を1回目と同一のアップカウントモードで継続する。
参照信号Vslopと信号レベルSsig の比較を電圧比較部252にて行ない、参照信号Vslopと信号レベルSsig が同じになった時点で電圧比較部252は比較パルスCOMPをHレベルからLレベルに反転させる(t7)。この比較パルスCOMPをカウント位相切替部253に入力し、カウント期間制御信号SELによる制御によって、カウント位相切替部253の出力としては、参照信号Vslopと信号レベルSsig とが同じになった時点で、HレベルからLレベルに反転するとする。この結果を受けて、カウンタ部254は、参照信号Vslopが生成開始された時点から比較パルスCOMPが反転するまでの時間(つまり、Vslop=ΔV+Vsig となるまでのカウント数)を、1回目と同じアップカウントモードでカウントし、カウント処理をストップした時点のカウント値を保持してAD変換を終了する。
2回目のカウントクロックCK0のストップする期間も通信・タイミング制御部20で制御可能であり、ここでは、参照信号Vslopの時間変化開始(カウント時間開始)から1024カウント分(10ビットカウント分)のカウントクロックを供給することでストップさせている。このとき同時に、参照信号生成部27は参照信号Vslopの生成をストップする。これにより参照信号Vslopの時間的変化も停止する(t8)。この後のタイミングt9以降にて画素信号データDsig を外部へ出力する。全体としては、タイミングt0〜t8がAD変換期間であり、タイミングt9以降が信号出力期間である。
ここで、本例においては、カウンタ部254における比較パルスCOMPを、1回目の読出し時には反転させ、2回目の読み出し時には同相でカウントイネーブル信号ENとして用い、それぞれアップカウントを行なうことによって、カウンタ部254内で、自動的に式(4)で示す減算(3行目)が行われ、この減算結果に応じたカウント値がカウンタ部254に保持される。
式(4)から明らかように、3行目に示される減算式は式(2)の2行目に示される減算式と同一であり、リセットレベルSrst と信号レベルSsig との間での減算処理を行なっていることになる。リセットレベルSrst と信号レベルSsig についての2回に亘るアップカウントモードでのカウント処理によって、カウンタ部254に保持されるカウント値は信号成分Vsig に応じたDsig となる。
つまり、前述のようにして、1回目のリセット成分ΔVについての読出し時におけるアップカウントモードでのカウント処理と2回目の信号成分Vsig についての読出し時におけるアップカウントモードでのカウント処理によって、カウンタ部254内では信号レベルSsig とリセットレベルSrst の各デジタルデータの減算処理がなされ、単位画素3ごとのばらつきを含んだリセット成分ΔVとカラムAD回路250ごとのオフセット成分を除去することができ、単位画素3ごとの入射光量に応じた信号成分Vsig のデジタルデータDsig のみを簡単な構成で取り出すことができる。この際、リセット雑音も除去できる利点がある。
よって、本実施例形態のカラム処理部26(詳細には各列のカラムAD回路250)は、アナログの画素信号をデジタルの画素デジタルデータに変換するデジタル変換器としてだけでなく、CDS(Correlated Double Samplimg:相関2重サンプリング)処理機能部としても動作することとなる。
以上のように、列並列にAD変換部が配されたカラムAD部のカウンタに単一カウントモードのみを持たせ、駆動方式を比較例とは異なるものに変えることによって、2回のAD変換処理を行なうことで、カラム処理部26(詳細にはカラムAD回路250)において、CDS処理機能が実現でき、単位画素3からの信号成分Vsig のデジタルデータDsig のみを取得できる。これにより、カウントモードを切り替えるためのビットごとの構成要素を必要としないので、カラムAD回路250の多くの面積を占めるカウンタ部254の回路規模や回路面積の問題を解消することができる。
たとえば、比較例の処理タイミングを実現するには、列並列にアップダウンカウンタを配置し、アップカウントモードとダウンカウントモードの機能を用いることで、2つの信号の減算によりCDSを行なう必要がある。これに対して本方式では、列並列に配置されるカウンタはアップカウントモードのみの機能を有しているだけでよく、アップダウンカウンタを使用する場合に用いられるセレクタなどを構成から排除し、単純なアップカウンタを用いることができ、カウンタ面積を小さくすることができる。
特に、高分解能を実現するためにはビット数増加とともにカウントモード切替用の構成要素(たとえばセレクタなど)も増加するが、本実施形態の仕組みで用いるカウント位相切替部253は列並列に配されたカウンタ部に1つでよい点で、小面積化の効果が大きいと言える。たとえば、12ビット精度とする場合、カウンタ構成要素(フリップフロップ)を12個とカウント位相切替部253(たとえばEX−ORゲート)を1つ設けるだけでよい。
<具体的処理:第2例>
図5は、動作原理の第1例を図1Aに示す第2実施形態の固体撮像装置1に適用した具体例の動作(第2例の具体的処理)を説明するタイミングチャートである。カラムAD回路250におけるAD変換処理は、具体的処理の第1例の場合と同様である。ここではその詳細な説明を割愛する。
第2例の具体的処理の場合、図1Aに示す第2実施形態の固体撮像装置1への適用であるので、第1実施形態の固体撮像装置1に対してデータ記憶部256を追加したものであり、AD変換処理を始めとする基本的な動作は具体的処理の第1例と同様であるが、カウンタ部254の動作前に、通信・タイミング制御部20からのメモリ転送指示パルスCN8に基づき、前行Hx−1のカウント結果をデータ記憶部256に転送する。全体としてAD変換期間でもあり、信号出力期間でもある。
第1例の具体的処理では、2回目の読出処理、すなわちAD変換処理が完了した後でなければ画素データをカラム処理部26の外部に出力することができないので、読出処理には制限があるのに対して、第2例の具体的処理では、1回目の読出処理(AD変換処理)に先立って前回の減算処理結果を示すカウント値をデータ記憶部256に転送できるので、読出処理には制限がない。こうすることで、データ記憶部256から水平信号線18および出力回路28を経た外部への信号出力動作と、現行Hxの読出しおよびカウンタ部254のカウント動作とを並行して行なうことができ、より効率のよい信号出力が可能となる。
<原理:第2例>
図6は、本実施形態のカラムAD変換処理の動作原理の第2例を説明する図である。図6に示す第2例は、カウンタ部254としてダウンカウンタを用いた例であり、加算要素の一例である1回目のリセットレベルSrst についてのAD変換処理時には、参照信号Vslopが初期値SLP_ini から変化を開始した時点から参照信号Vslopと画素信号電圧Vx(リセットレベルSrst )が同一になるまでの期間でダウンカウントモードでカウント処理を行ない、減算要素の一例である2回目の信号レベルSsig についてのAD変換処理時には、参照信号Vslopと画素信号電圧Vx(信号レベルSsig )が同一になった時点から、参照信号Vslopが所定の終了値に到達する時点まで、具体的には、その回の最大AD変換期間に到達する時点までの期間でダウンカウントモードでカウント処理を行なう例を示している。
この場合、1回目のリセットレベルSrst についてのAD変換処理でのカウント数Drst_cnt は、リセットレベルSrst のデジタル値Drst となる。したがって、ダウンカウントモードである点も考慮すれば、1回目のAD変換処理後にカウンタ部254に保持されるカウント値D1は式(5)のようになる。
本例の場合、1回目のリセットレベルSrst は、加算要素の一例であるが、負の方向へのカウントを行なうダウンカウントモードとの組合せによって実質的に減算処理を行なうようになり、式(6−1)の1行目に示されるように、事実上、AD変換後には減算要素に変換できる。
この後の2回目の信号レベルSsig についてのAD変換処理時には、参照信号Vslopと画素信号電圧Vx(信号レベルSsig )が同一になった時点から、1回目と同一のダウンカウントモードで、1回目のAD変換処理後にカウンタ部254に保持されたカウント数“Dini −Drst ”からカウント処理を開始し、その回の最大AD変換期間に到達するとカウント処理を停止し、その時点のカウント値をカウンタ部254に保持する。
2回目の信号レベルSsig についてのAD変換処理でのカウント数Dsig_cnt は、図から明らかなように、信号レベルSsig についての最大AD変換期間に対応する最大カウント数Dsmから、参照信号Vslopの変化を開始した時点から参照信号Vslopと画素信号電圧Vx(信号レベルSsig )が同一になるまでの期間に対応するカウント数“Drst +Dsig ”を差し引いた値(=Dsm−(Drst +Dsig ))になる。したがって、ダウンカウントモードである点も考慮すれば、2回目のAD変換処理後にカウンタ部254に保持されるカウント値D2は式(6−1)のようになる。
本例の場合、2回目の信号レベルSsig は、減算要素の一例であるが、負の方向へのカウントを行なうダウンカウントモードとの組合せによって実質的に減算処理を行なうようになり、式(6−1)の1行目に示されるように、事実上、AD変換後には減算要素とと減算処理との合成で加算要素に変換できる。
式(6−1)から明らかように、2行目に示される減算式は式(2)の2行目や式(4)の3行目に示される減算式と同一の成分を含んでおり、リセットレベルSrst と信号レベルSsig との間での減算処理を行なっていることになる。式(2),(4)との相違としては、“Dini −Dsm”の成分が存在するが、リセットレベルSrst と信号レベルSsig についての2回に亘るアップカウントモードでのカウント処理によって信号成分Vsig に応じたDsig を取得できる。
ここで、仮に、1回目のカウント処理の初期値Dini を、信号レベルSsig についての最大AD変換期間に対応する最大カウント数Dsmに設定すれば、2回目の信号レベルSsig についてのAD変換処理後にカウンタ部254に保持されるカウント値D2は式(6−2)で示される。比較例や第1例の動作原理と同様に、実際に保持されるカウント値を、“Dsig ”とできる。
つまり、第2例の動作原理のように、2回に亘るカウント処理を同一モード(本例ではダウンカウントモード)にしても、それぞれのカウント位相を異なるものとし、1回目のカウント処理の初期値Dini を2回目のカウント処理の最大カウント数Dsmの正数に設定すれば、カウンタ部254内で自動的に、リセットレベルSrst のAD変換結果であるカウント数“−Drst ”と信号レベルSsig のAD変換結果であるカウント数“Drst +Dsig ”との間での差分処理(減算処理)が自動的に行なわれ、この差分処理結果に応じたカウント数Dsig をカウンタ部254が保持でき、比較例や第1例の動作原理と同様にCDS機能と信号成分Vsig についてのAD変換を同時に実現できる。第2例の動作原理の仕組みを採っても、比較例のようなカウントモードの切替えが不要となる。
第1例の動作原理では、リセットレベルSrst 側に関してアップカウントモードで補数のカウント処理を行ない、信号レベルSsig 側に関してアップカウントモードで実数のカウント処理を行なうようにし、補数のカウント処理を行なう際の最大カウント数Drmの負数を初期値Dini に設定することで実際に保持されるカウント値が“Dsig ”となるようにしていた。これに対して、第2例の動作原理では、リセットレベルSrst 側に関してダウンカウントモードで実数のカウント処理を行ない、信号レベルSsig 側に関してダウンカウントモードで補数のカウント処理を行なうようにし、補数のカウント処理を行なう際の最大カウント数Dsmの正数を初期値Dini に設定することで実際に保持されるカウント値が“Dsig ”となるようにしている。
補数のカウント処理を1回目の処理とするのか2回目の処理とするのかに応じてアップカウントモードにするかダウンカウントモードにするかを設定するとともに、初期値Dini を補数のカウント処理を行なう際の最大カウント数Dsmに対応した値としつつ、カウントモードに応じて正数にするか負数にするか設定しており、第1例と第2例の各動作原理は、基本的な仕組みに大差はない。
すなわち、2回目のカウント処理後にカウンタ部254に保持されるカウント値は、第1例の動作原理では“Dini +(Drm−Drst )+(Drst +Dsig )=Dini +Drm+Dsig ”になり、第2例の動作原理では“Dini −Dsm+Dsig ”になり、何れも、信号成分Vsig のデジタル値Dsig に、初期値Dini と最大カウント数Drm,Dsmの調整分(第1例では“Dini +Drm”,第2例では“Dini −Dsm”)を加算した状態となる。
なお、前例では初期値Dini を最大カウント数Dsmとしていたが、比較例と同様に“0”としてもよい。この場合、2回目のカウント処理後にカウンタ部254に保持されるカウント値は、“Dini −Dsm+Dsig =−Dsm+Dsig ”になり、信号成分Vsig のデジタル値Dsig から最大カウント数Dsmを減算した状態となる。この最大カウント数Dsmは、定数であり、通信・タイミング制御部20により外部から調整ができる。またその値は信号レベルSsig についての最大AD変換期間に応じて任意に決めることができるものである。このためたとえば、カウンタ部254の後段にデジタル演算部29を設け補正演算する(本例では加算する)ことで対処可能であり、容易に信号成分Vsig のデジタル値Dsig を取得できる。この場合、デジタル演算部29が修正部の機能を持つ。ただし、この通信・タイミング制御部20が修正部の機能を持つようにし、初期値Dini を最大カウント数Dsmとしておくことで、2回に亘るカウント処理で最終的に得られる値は、正の信号成分Vsig を示すので、1画素の信号成分Vsig のデジタルデータDsig を取得するだけでよければ、既存のシステムとの親和性が高い。
<具体的処理:第3例>
図7は、動作原理の第3例を図1に示す第1実施形態の固体撮像装置1に適用した具体例の動作(第3例の具体的処理)を説明するタイミングチャートである。
第3例の具体的処理においては、単位画素3から得られたアナログの画素信号電圧Vxをデジタル変換する仕組みとしては、参照信号Vslopと単位画素3から得られるリセットレベルSrst もしくは信号レベルSsig の各電圧とが一致する点を探し、リセットレベルSrst については、参照信号Vslopの生成時点からリセットレベルSrst と参照信号Vslopが一致するまでをカウントクロックCK0でカウントすることで、信号レベルSsig については、参照信号Vslopと画素信号電圧Vxの信号レベルSsig が一致した点から所望のカウント時間(本例では信号レベルSsig についての最大AD変換期間に到達するまで)をカウントクロックCK0でカウントすることで、リセットレベルSrst や信号レベルSsig の情報を含んだカウント値を得る手法を採る。
通信・タイミング制御部20は、カウントクロックCKdac を参照信号生成部27に供給することで参照信号生成部27が参照信号Vslopを生成するのと同期してカウントクロックCK0をカウンタ部254に供給し、各回の最大AD変換期間に到達した時点でカウントクロックCK0の供給を停止する。このとき同時に、参照信号生成部27は参照信号Vslopの変化を停止させる。
1回目の処理をリセットレベルSrst (リセット成分ΔV)について行なう場合、2回目の処理はリセットレベルSrst に信号成分Vsig を加えた信号レベルSsigについての処理となる。この点は第1例の具体的処理と同様である。
1回目の読出しのため、通信・タイミング制御部20は、カウンタ部254のカウント値を所望の初期値Dini (ここでは、信号レベルSsig についての最大AD変換期間に対応する最大カウント数Dsmの正数=1024)にリセットする(t0〜t1内で)。つまり、1回目のカウント動作の初期値Dini は10ビットカウント分“1024”のオフセットとする。また、カウント位相切替部253をカウント期間制御信号SELにて制御することにより、カウント位相切替部253が、電圧比較部252と同相の信号をカウントイネーブル信号ENとして出力するようにモードを設定する。そして、任意の行Hxの単位画素3から垂直信号線19への1回目の読出しが安定した後、通信・タイミング制御部20は、参照信号生成部27に向けて、参照信号Vslopを生成するための制御データを供給する。
これを受けて、参照信号生成部27は、電圧比較部252の一方の入力端子への比較電圧として、全体としてランプ状に変化させた参照信号Vslopを入力する。電圧比較部252は、この参照信号Vslopと画素アレイ部10から供給される任意の垂直信号線19の画素信号電圧Vxとを比較する。電圧比較部252の参照信号Vslopの入力と同時に、電圧比較部252における比較時間を、行ごとに配置されたカウンタ部254で計測するために、参照信号生成部27から発せられる参照信号Vslopの変化に同期して、カウンタ部254のクロック端子にカウントクロックCK0を入力する。
参照信号Vslopと画素信号電圧Vx(=リセットレベルSrst )の比較を電圧比較部252にて行ない、参照信号VslopとリセットレベルSrst が同じになった時点で電圧比較部252は比較パルスCOMPをHレベルからLレベルに反転させる(t2)。この比較パルスCOMPをカウント位相切替部253に入力し、カウント期間制御信号SELによる制御によって、カウント位相切替部253の出力としては、参照信号VslopとリセットレベルSrst とが同じになった時点で、HレベルからLレベルに反転するとする。
この結果を受けて、カウンタ部254は、参照信号Vslopが生成開始された時点から比較パルスCOMPが反転するまでの時間(つまり、Vslop=ΔV=リセットレベルSrst となるまでのカウント数だけ)をダウンカウントモードでカウントし、1回目のカウント処理をストップした時点のカウント値を保持してAD変換を終了する(t2)。このとき、カウンタ部254に保持されるカウント値は、前述の第2例の動作原理の説明から理解されるように、“Dini −Drst =1024−Drst ”となる。
カウントクロックCK0のストップする期間は通信・タイミング制御部20で制御可能であり、ここでは、参照信号Vslopの時間変化開始(カウント時間開始)から128カウント分のカウントクロックを供給することでストップさせている(7ビットカウント分)(t3)。このとき同時に、参照信号生成部27は参照信号Vslopの生成をストップする。これにより参照信号Vslopの時間的変化も停止する。
続いて2回目の読出し時には、リセットレベルSrst に加えて、単位画素3ごとの入射光量に応じた信号成分Vsig を読み出し、1回目の読出しと同様の動作を行なう。すなわち、先ず、通信・タイミング制御部20は、カウント位相切替部253をカウント期間制御信号SELにて制御することにより、カウント位相切替部253が、比較パルスCOMPと同相の信号をカウントイネーブル信号ENとして出力するようにモードを設定する(t4)。そして、任意の行Hxの単位画素3から垂直信号線19への2回目の読出しが安定した後、通信・タイミング制御部20は、参照信号生成部27に向けて、参照信号Vslopを生成するための制御データを供給する。
これを受けて、参照信号生成部27は、電圧比較部252へ、全体としてランプ波状に時間変化させた参照信号Vslopを入力する(t5)。電圧比較部252は、この参照信号Vslopと信号レベルSsig とを比較する。電圧比較部252の参照信号Vslopの入力と同時に、電圧比較部252における比較時間を行ごとに配置されたカウンタ部254で計測するために、通信・タイミング制御部20は、参照信号生成部27から発せられる参照信号Vslopの変化に同期して、カウンタ部254のクロック端子にカウントクロックCK0を入力する。2回目のカウント動作の初期値は、1回目の処理で取得された単位画素3のリセットレベルSrst のデジタルデータである“−Drst ”とする。つまり、1回目のAD変換処理で得られたカウント値から2回目のカウント処理を1回目と同一のアップカウントモードで継続する。
参照信号Vslopと信号レベルSsig の比較を電圧比較部252にて行ない、参照信号Vslopと信号レベルSsig が同じになった時点で電圧比較部252は比較パルスCOMPをHレベルからLレベルに反転させる(t7)。この比較パルスCOMPをカウント位相切替部253に入力し、カウント期間制御信号SELによる制御によって反転動作がなされる。カウント位相切替部253の出力であるカウントイネーブル信号ENとしては、電圧比較部252において、参照信号Vslopと信号レベルSsig とが同じになった時点から、LレベルからHレベルに反転することとなる。
この結果を受けて、カウンタ部254は、電圧比較部252の比較パルスCOMPが反転してからカウントクロックCK0がストップするまでを、1回目と同じダウンカウントモードでカウントし、カウント処理をストップした時点のカウント値を保持してAD変換を終了する。通信・タイミング制御部20は、参照信号Vslopの時間変化開始(カウント時間開始)から1024カウント分(10ビットカウント分)のカウントクロックを供給することでストップさせる。このとき同時に、参照信号生成部27は参照信号Vslopの生成をストップする。これにより参照信号Vslopの時間的変化も停止する(t8)。
ここで、本例においては、カウンタ部254における比較パルスCOMPを、1回目の読出し時には同相で、2回目の読み出し時には逆相でカウントイネーブル信号ENとして用い、それぞれダウンカウントを行なうことによって、カウンタ部254内で、自動的に式(7)で示す減算が行われ、この減算結果に応じたカウント値がカウンタ部254に保持される。
式(7)から明らかように、3行目に示される減算式は式(2)の2行目や式(4)の3行目に示される減算式と同一であり、リセットレベルSrst と信号レベルSsig との間での減算処理を行なっていることになる。リセットレベルSrst と信号レベルSsig についての2回に亘るアップカウントモードでのカウント処理によって、カウンタ部254に保持されるカウント値は信号成分Vsig に応じたDsig となる。
つまり、前述のようにして、1回目のリセット成分ΔVについての読出し時におけるダウンカウントモードでのカウント処理と2回目の信号成分Vsig についての読出し時におけるダウンカウントモードでのカウント処理によって、カウンタ部254内では信号レベルSsig とリセットレベルSrst の各デジタルデータの減算処理がなされ、単位画素3ごとのばらつきを含んだリセット成分ΔVとカラムAD回路250ごとのオフセット成分を除去することができ、単位画素3ごとの入射光量に応じた信号成分Vsig のデジタルデータDsig のみを簡単な構成で取り出すことができる。この際、リセット雑音も除去できる利点がある。
よって、第2例の具体的処理においても、カラム処理部26(詳細には各列のカラムAD回路250)は、アナログの画素信号をデジタルの画素デジタルデータに変換するデジタル変換器としてだけでなく、CDS処理機能部としても動作することとなる。第2例の具体的処理においては、列並列に配置されるカウンタはダウンカウントモードのみの機能を有しているだけでよく、アップダウンカウンタを使用する場合に用いられるセレクタなどを構成から排除し、単純なダウンカウンタを用いることができ、カウンタ面積を小さくすることができる。
<原理:第3例>
図8は、本実施形態のカラムAD変換処理の動作原理の第3例を説明する図である。図8に示す第3例は、2行分の同一列の2画素分の各信号成分Vsig の加算結果のデジタルデータDadd (=D1sig+D2sig)を取得する例を示している。前述の第2例の動作原理の最後に、第1例と第2例の総括を記載したが、本実施形態のAD変換処理では、1画素分についての1回目のカウント処理と2回目のカウント処理において、一方は補数のカウント処理を行ない他方は実数のカウント処理を行なうことが大きな特徴となっている。事実上、補数のカウント処理は負の方向のカウント処理であり減算要素と見なすことができ、実数のカウント処理は正の方向のカウント処理であり加算要素と見なすことができる。この特質を複数画素の積和演算結果のデジタルデータを取得するのに利用することができる。ただし、本実施形態特有の処理として、補数のカウント処理を行なうことに対応した初期値Dini の取扱いに留意する必要がある。
第3例の動作原理では、2画素分の処理において、それぞれのリセットレベルSrst のカウント処理を補数のカウント処理に割り当てかつ信号レベルSsig のカウント処理を実数のカウント処理に割り当てることで、2画素分の各信号成分Vsig の加算結果のデジタルデータDadd (=D1sig+D2sig)を取得するようにしている。
この際、各画素の1回目のカウント処理時におけるそれぞれの補数のカウント処理を行なうことに対応した初期値D1ini,D2iniの取扱いに留意する。少なくとも、2画素目の処理においては、1画素目の処理結果からカウント処理を開始する必要があるので、2画素目の1回目のカウント処理時に、2画素目の最大カウント数Drmの負数もしくはDsmを初期値D2iniとして設定することができない。
図8では、動作原理の第1例を適用して、2画素分を何れもアップカウントモードで処理することとしている。この場合、少なくとも2画素目の最大カウント数Drm(=D2ini)については、カウンタ部254の後段にデジタル演算部29を設け補正演算する(本例では減算する)ことで対処する。一方、1画素目の最大カウント数Drmについては、1画素目の1回目のカウント処理時に、1画素目の最大カウント数Drmの負数を初期値D1iniとして設定することができるし、デジタル演算部29で補正演算する(本例では減算する)ことで対処してもよい。
図8では、1つ目の画素信号電圧Vx(リセットレベルSrst および信号レベルSsig )のAD変換処理時には初期値Dini として、リセットレベルSrst についての最大AD変換期間に対応する最大カウント数Drmの負数にリセットしている。こうすることで、2画素分のカウント処理が完了したときにカウンタ部254に保持されるカウント値D2は“D1sig+D2sig+Drm”となる。2画素目の最大カウント数Drm(=D2ini)をデジタル演算部29で減算することで、2画素分の各信号成分の加算結果のデジタルデータDadd (=D1sig+D2sig)を取得できる。
なお、2画素分の処理において、それぞれのリセットレベルSrst のカウント処理を実数のカウント処理に割り当てかつ信号レベルSsig のカウント処理を補数のカウント処理に割り当てることで、2画素分の各信号成分Vsig の加算結果のデジタルデータDadd (=−D1sig−D2sig)を取得することもできる。1画素目のAD変換処理時の参照信号Vslopの傾きと2画素目のAD変換処理時の参照信号Vslopの傾きとを異なるものとすることで重付け加算も実現できる。もちろん、カウント処理時の係数を全て正もしくは負にすることもできる。これにより、減算処理を含む積和演算処理では実現できないようなフィルタ処理を実現できるようになる。
たとえば、i行目とi+1行目の2行分の単位画素3の信号成分を加算したデジタルデータDadd (=D1sig+D2sig)を出力することができる。同様の動作を繰り返すことにより、垂直方向(センサ面縦(列)方向)において画素情報を1/2に間引いた画像を得ることができる。その結果、フレームレートを全ての画素情報を読み出す通常フレームレートモード時に比べて2倍に高速化できる。
読み出した画素情報数の観点からすれば、画素情報について垂直方向で1/2に間引き読み出し(飛ばし読み出し)を行なったのと同じことになるが、垂直方向における2画素間で画素情報を加算しているため、1つの画素情報についての情報量の観点からすれば2倍となる。したがって、フレームレートをたとえば2倍に向上すべく、単位画素3の露光時間を1/2に設定したとしても、AD変換の際にデジタル値を2行分の単位画素間で加算することで、1つの画素情報についての情報量が2倍になるため、通常フレームレートモード時に比べて感度が低下することはない。単位画素3の露光時間を短縮したとしても、結果として1つの画素情報の情報量が減ることはないため、感度低下を招くことなく、高フレームレート化を実現できる。
図8では、2画素分を何れもアップカウントモードで処理することとしているが、動作原理の第2例を適用して、2画素分を何れもダウンカウントモードで処理することにしてもよい。この場合、少なくとも2画素目の最大カウント数Dsmについては、カウンタ部254の後段にデジタル演算部29を設け補正演算することで対処する。一方、1画素目の最大カウント数Dsmについては、1画素目の1回目のカウント処理時に、1画素目の最大カウント数Dsmを初期値D1iniとして設定することができるし、デジタル演算部29で補正演算することで対処してもよい。
なお、ここでは2画素分の画素信号電圧Vxについての加算データDadd を取得する事例で説明したが、この仕組みを利用することで、任意の4種類の処理対象信号の加減算処理結果(たとえばその順は加算→減算→加算)のデジタルデータを取得することもできる。この場合も、減算要素(最初の補数要素も含む)に対して補数のカウント処理を割り当て、加算要素に対して実数のカウント処理を割り当てる。
また、2画素分の加算処理について説明したが、同様の考え方を3以上の画素信号電圧Vxに適用することで、3画素分以上の各信号成分Vsig の加算結果(符号は正もしくは負)のデジタルデータDaddを取得することができる。たとえば、処理対象画素信号の全ての係数を同じにすれば平滑化フィルタ処理を実現できる。また、周辺画素の係数よりも中央画素の係数を大きくすれば、中央画素を強調する重付け加算処理を実現することができる。
<原理:第4例>
図9は、本実施形態のカラムAD変換処理の動作原理の第4例を説明する図である。図9に示す第4例は、2行分の同一列の2画素分の各信号成分Vsig の減算結果のデジタルデータDsubを取得する例を示している。
第4例の動作原理では、2画素分の処理において、何れか一方のリセットレベルSrst のカウント処理を補数のカウント処理に割り当てかつ信号レベルSsig のカウント処理を実数のカウント処理に割り当てるとともに、他方のリセットレベルSrst のカウント処理を実数のカウント処理に割り当てかつ信号レベルSsig のカウント処理を補数のカウント処理に割り当てることで、2画素分の各信号成分Vsig の減算結果のデジタルデータDsub (=D1sig−D2sigあるいはD2sig−D1sig)を取得するようにしている。
この際、各画素の1回目のカウント処理時におけるそれぞれの補数のカウント処理を行なうことに対応した初期値D1ini,D2iniの取扱いに留意する。少なくとも、2画素目の処理においては、1画素目の処理結果からカウント処理を開始する必要があるので、2画素目の1回目のカウント処理時に、2画素目の最大カウント数Drmの負数もしくはDsmを初期値D2iniとして設定することができない。
図9では、動作原理の第1例を適用して、2画素分を何れもアップカウントモードで処理することとしている。1つ目のリセットレベルSrst のカウント処理を補数のカウント処理に割り当てかつ信号レベルSsig のカウント処理を実数のカウント処理に割り当てるとともに、2つ目のリセットレベルSrst のカウント処理を実数のカウント処理に割り当てかつ信号レベルSsig のカウント処理を補数のカウント処理に割り当てることで、2画素分の各信号成分Vsig の減算結果のデジタルデータDsub (=D1sig−D2sig)を取得する。
この場合、少なくとも2画素目の最大カウント数Dsmについては、カウンタ部254の後段にデジタル演算部29を設け補正演算する(本例では減算する)ことで対処する。一方、1画素目の最大カウント数Drmについては、1画素目の1回目のカウント処理時に、1画素目の最大カウント数Drmの負数を初期値D1iniとして設定することができるし、デジタル演算部29で補正演算する(本例では減算する)ことで対処してもよい。
図9では、1つ目の画素信号電圧Vx(リセットレベルSrst および信号レベルSsig )のAD変換処理時には初期値Dini として、リセットレベルSrst についての最大AD変換期間に対応する最大カウント数Drmの負数にリセットしている。こうすることで、2画素分のカウント処理が完了したときにカウンタ部254に保持されるカウント値D2は“D1sig−D2sig+Dsm”となる。2画素目の最大カウント数Dsm(=D2ini)をデジタル演算部29で減算することで、2画素分の信号成分の減算結果のデジタルデータDsub (=D1sig−D2sig)を取得できる。
なお、2画素分の処理において、1つ目のリセットレベルSrst のカウント処理を実数のカウント処理に割り当てかつ信号レベルSsig のカウント処理を補数のカウント処理に割り当てるとともに2つ目のリセットレベルSrst のカウント処理を補数のカウント処理に割り当てかつ信号レベルSsig のカウント処理を実数のカウント処理に割り当てることで、2画素分の各信号成分Vsig の減算結果のデジタルデータDsub (=−D1sig+D2sig)を取得することもできる。1画素目のAD変換処理時の参照信号Vslopの傾きと2画素目のAD変換処理時の参照信号Vslopの傾きとを異なるものとすることで重付け減算も実現できる。
2行ごとの減算処理を実現することにより差分画像を取得することができるが、その一利用形態としては、カラム処理部26の外部に特殊な回路を用いることなく、エッジ抽出処理の機能を実現できるようになる。カウンタ部254にて列方向に差分処理を行なうと、2行ごとすなわち垂直走査方向に隣り合う画素間で減算がなされエッジ検出ができるようになる。垂直走査方向に隣り合う画素の信号を減算する動作をすると、被写体の中に走査方向にある白と黒の境界で信号強度が最も強くなる。すなわち、フォトダイオードなどの電荷生成部の信号レベルが一定している部分では差分画像には出力が現れないが、信号レベルが変化する境界部分に差し掛かると差分出力が得られるので、これによりエッジ検出を行なうことができる。この垂直方向のエッジ検出処理を複数の垂直列について処理することによって、水平行列方向の直線検出処理が実現できる。
また、差分処理を、パターン・マッチング処理として利用することもできる。パターン・マッチングもエッジ検出と同様の概念で処理することができ、たとえば抽出しようとしているパターンと同じ減算パターンの組合せで走査することで、減算パターンの組合せと同じ模様の部分から最も強い信号が得られる。これは、1次元の空間フィルタを通すのと同じ操作に該当する。
なお、デジタル演算部29に行方向(水平方向)の減算処理機能も持たせるようにすれば、2次元処理対応とできる。列方向だけでなく、行方向についても差分演算処理を行なうことができるようにすることで、たとえば、高精度な図形の認識機能を実現することができるようになる。
図9では、2画素分を何れもアップカウントモードで処理することとしているが、動作原理の第2例を適用して、2画素分を何れもダウンカウントモードで処理することにしてもよい。この場合、少なくとも2画素目の最大カウント数Dsmについては、カウンタ部254の後段にデジタル演算部29を設け補正演算することで対処する。一方、1画素目の最大カウント数Dsmについては、1画素目の1回目のカウント処理時に、1画素目の最大カウント数Dsmを初期値D1iniとして設定することができるし、デジタル演算部29で補正演算することで対処してもよい。
なお、ここでは2画素分の画素信号電圧Vxについての減算データDsub を取得する事例で説明したが、この仕組みを利用することで、任意の4種類の処理対象信号の加減算処理結果(たとえばその順は加算→加算→減算)のデジタルデータを取得することもできる。この場合も、減算要素(最初の補数要素も含む)に対して補数のカウント処理を割り当て、加算要素に対して実数のカウント処理を割り当てる。
また、2画素分の減算処理について説明したが、同様の考え方を3以上の画素信号電圧Vxに適用することで、3画素分以上の各信号成分Vsig の加減算結果のデジタルデータDを取得することができる。たとえば、垂直方向についての1次元の空間フィルタ処理の機能を実現できるようになる。たとえば、“1,−2,1”としたり、“1,−3,1”としたりすることで、中央画素強調の空間フィルタを実現できる。あるいは、“−1,2,−1”としたり、“−1,3,−1”としたりすることで、前述とは逆特性の中央画素強調の空間フィルタを実現できる。
また、特定画素についてのカウント処理を停止して係数を“0”に設定することもできるので、たとえば“−1,0,1”としたり、“1,0,−1”としたりすることで、垂直列方向の微分フィルタを実現することもできる。
また、これらのことから、画像圧縮処理で頻繁に使われる離散的コサイン変換を実現することもできる。離散的コサイン変換では、たとえば8×8画素について、コサイン係数を掛けて和を求める必要があるとともに、コサイン係数には正負があるので、このような両極性の演算が必要な場合に、加算と減算を組み合わせた処理とすることで、要求される機能を簡単に実現することができる。
<カウント位相切替部の詳細>
図10および図11は、カウント期間制御部の一例であるカウント位相切替部253の詳細構成例を説明する図である。ここで、図10は、カウント位相切替部253の回路構成例を示す図であり、図11は、その動作を説明するタイミングチャートである。
前述の説明においては、カウント位相切替部253の構成例としては、電圧比較部252とカウンタ部254との間において、P相とD相でカウント位相を切り替えるべく、比較パルスCOMPを論理反転するか否かの機能を有するものとして、EX−ORゲートを極性反転素子として使用し、一方の入力端に比較パルスCOMPを入力し、他方の入力端にカウント期間制御信号SELを入力する例を説明した。
ここで、P相とD相でカウンタ位相を切り替える際には、P相とD相でカウントイネーブル信号ENの極性が反転するため、P相時とD相時の経路に差異が生じる。このP相とD相の経路の差分がカラムごとにばらつく場合、画に縦筋として現れる場合が想定される。
P相とD相の経路差分起因としては、極性反転素子(簡単な例ではEX−ORゲート)を構成する反転回路のP相とD相でON/OFFするトランジスタTrが異なること、配線抵抗などの寄生素子ばらつきによる遅延による影響などがあげられる。このばらつきが大きくなると、P相とD相でのカウントイネーブル信号ENの反転タイミングが大きく変わる可能性がある。カウントクロックCK0が高速になればなるほど、比較パルスCOMPの遅延をカラムごとに保証(たとえばCK0の1CLK以内など)することは困難となり、カラム間の縦筋ノイズが1LSBを超えてしまうことになる。
その対策として、図10に示すカウント位相切替部253では、ばらつきによる影響をカウントクロックCK0の1CLK内に納めCDS誤差要因を極性反転素子(簡単な例ではEX−ORゲート)の立上り期間trと立下り期間tfの差分のみに抑えるため、反転直前にカウントクロックCK0にて比較パルスCOMPの同期をとる仕組みを採用する。以下、図11を参照しつつ、カウント位相切替部253の構成と動作を説明する。
図10に示すように、カウント位相切替部253は、カウントクロックCK0を論理反転するインバータ302,304の縦続回路と、2つのD型フリップフロップ(D−FF)312,314と、2入力型のANDゲート322と、EX−ORゲート324とを有する。
D型フリップフロップ312は、D入力端に供給された比較パルスCOMPをインバータ302の出力であるカウントクロックNCK0の立上りエッジ(事実上カウントクロックCK0の立下りエッジ)でラッチし比較パルスCOMP_NCK0 としてANDゲート322の一方の入力端に供給する。
D型フリップフロップ314は、D入力端に供給された比較パルスCOMPをインバータ304の出力であるカウントクロックCK0の立上りエッジでラッチし比較パルスCOMP_CK0としてANDゲート322の他方の入力端に供給する。
ANDゲート322は、D型フリップフロップ312からの比較パルスCOMP_NCK0 とD型フリップフロップ314からの比較パルスCOMP_CK0との論理積をとり、比較パルスCOMP_CK0AND としてEX−ORゲート324の一方の入力端に供給する。
EX−ORゲート324の他方の入力端には、P相時にはH(=1)でD相時にはL(=0)のカウント期間制御信号SELが供給される。これにより、EX−ORゲート324は、P相時にはANDゲート322からの比較パルスCOMP_CK0AND を論理反転してカウントイネーブル信号ENとして出力し、D相時にはANDゲート322からの比較パルスCOMP_CK0AND をそのままカウントイネーブル信号ENとして出力する。
比較パルスCOMPの経路は、P相とD相でCLK同期前では(つまりD型フリップフロップ312,314のD入力端まででは)等しい。それをD型フリップフロップ312,314にてカウントクロックCK0および半クロック遅延のカウントクロックNCK0で同期をとりANDゲート322で論理積をとって比較パルスCOMP_CK0AND としてEX−ORゲート324に供給することで、カウントイネーブル信号ENのばらつきをEX−ORゲート324の遅延のみで規定できるようになる。
これにより、比較パルスCOMPに基づくカウントイネーブル信号ENをカウントクロックCK0で同期をとることができ、比較パルスCOMPのばらつきがあっても、カウントイネーブル信号ENとしては、ばらつきをカウントクロックCK0の1CLK内に納めることができる。その結果、CDS誤差要因を極性反転素子(EX−ORゲート324)のtr,tfの差分のみにおさえることができる。CDS誤差はEX−ORゲート324の遅延(tr−tf)がDDRの場合0.5CLK以内ならばカラム間での縦筋を1LSB以下に抑圧できるからである(図11を参照)。
カウントイネーブル信号ENをカウントクロックCK0で同期をとる構成のカウント位相切替部253を採用しない場合(たとえば比較パルスCOMPが直接にEX−ORゲート324に入力される場合)、EX−ORゲート324のトランジスタTrのスイッチSWに比較パルスCOMPの遅延が大きく影響を与え、比較パルスCOMPの遅延によってP相とD相でのカウントイネーブル信号ENの反転タイミングが大きく変わる可能性がある。カウントクロックCK0が高速になればなるほど、比較パルスCOMPの遅延をカラムごとに保証(たとえば1CLK以内など)することは困難となる。
これに対して、図10に示す回路例では、カウントイネーブル信号ENをカウントクロックCK0で同期をとる構成のカウント位相切替部253を採用する。すなわち、電圧比較部252からの比較パルスCOMPをカウンタ部254でのカウント処理に使用されるカウントクロックCK0で同期を取り、この同期の取られた比較パルス(ANDゲート322からの比較パルスCOMP_CK0AND )に基づきEX−ORゲート324にてカウントイネーブル信号ENを生成して減算要素と加算要素の各カウント期間を決定する。
この場合、D型フリップフロップ312,314直前まではD相とP相の経路は同じなので、EX−ORゲート324による反転直前に比較パルスCOMPをカウントクロックCK0により同期をとることにより、この遅延を最大で1CLK内に抑えることができる。
この結果、比較パルスCOMP_CK0AND とEX−ORゲート324によるP相とD相の遅延差(tr−tf)が1CLK1以内であればカラム間の縦筋を1LSB以内に抑圧可能となるのである。カウントイネーブル信号ENを規定することになる比較パルスCOMPをカウントクロックCK0で同期を取ることにより、カラム間縦筋を抑圧することができるのである。
<撮像装置>
図12は、前述の固体撮像装置1と同様の仕組みを利用した物理情報取得装置の一例である撮像装置の概略構成を示す図である。この撮像装置8は、可視光カラー画像を得る撮像装置になっている。
前述した固体撮像装置1の仕組みは固体撮像装置のみではなく、撮像装置にも適用可能である。この場合、撮像装置としても、参照信号比較型AD変換方式を採用する場合に、回路面積(特にカラムAD回路250)の増大を抑えつつ、積和演算処理をAD変換と同時に行なうことのできる仕組みを実現できるようになる。
この際、参照信号比較型AD変換を実行するための参照信号Vslopの生成の制御、あるいは参照信号Vslopの傾き(1カウント当たりのLSBステップ数)の制御や、カウント期間の制御は、外部の主制御部において、切替指示を通信・タイミング制御部20に対するデータ設定で任意に指定できるようにする。
具体的には、撮像装置8は、蛍光灯などの照明装置801の下にある被写体Zの像を担持する光Lを撮像装置側に導光して結像させる撮影レンズ802と、光学ローパスフィルタ804と、たとえばR,G,Bの色フィルタがベイヤー配列とされている色フィルタ群812と、画素アレイ部10と、画素アレイ部10を駆動する駆動制御部7と、画素アレイ部10から出力される画素信号の動作電流を制御する読出電流制御部24と、画素アレイ部10から出力された画素信号に対してCDS処理やAD変換処理などを施すカラム処理部26と、カラム処理部26に参照信号Vslopを供給する参照信号生成部27と、カラム処理部26から出力された撮像信号を処理するカメラ信号処理部810を備えている。
光学ローパスフィルタ804は、折返し歪みを防ぐために、ナイキスト周波数以上の高周波成分を遮断するためのものである。また、図中に点線で示しように、光学ローパスフィルタ804と合わせて、赤外光成分を低減させる赤外光カットフィルタ805を設けることもできる。この点は、一般的な撮像装置と同様である。
カラム処理部26の後段に設けられたカメラ信号処理部810は、撮像信号処理部820と、撮像装置8の全体を制御する主制御部として機能するカメラ制御部900とを有する。
撮像信号処理部820は、色フィルタとして原色フィルタ以外のものが使用されているときにカラム処理部26のAD変換機能部から供給されるデジタル撮像信号をR(赤),G(緑),B(青)の原色信号に分離する原色分離機能を具備した信号分離部822と、信号分離部822によって分離された原色信号R,G,Bに基づいて色信号Cに関しての信号処理を行なう色信号処理部830とを有する。
また撮像信号処理部820は、信号分離部822によって分離された原色信号R,G,Bに基づいて輝度信号Yに関しての信号処理を行なう輝度信号処理部840と、輝度信号Y/色信号Cに基づいて映像信号VDを生成するエンコーダ部860とを有する。
色信号処理部830は、図示を割愛するが、たとえば、ホワイトバランスアンプ、ガンマ補正部、色差マトリクス部などを有する。ホワイトバランスアンプは、図示しないホワイトバランスコントローラから供給されるゲイン信号に基づき、信号分離部822の原色分離機能部から供給される原色信号のゲインを調整(ホワイトバランス調整)し、ガンマ補正部および輝度信号処理部840に供給する。
ガンマ補正部は、ホワイトバランスが調整された原色信号に基づいて、忠実な色再現のためのガンマ(γ)補正を行ない、ガンマ補正された各色用の出力信号R,G,Bを色差マトリクス部に入力する。色差マトリクス部は、色差マトリクス処理を行なって得た色差信号R−Y,B−Yをエンコーダ部860に入力する。
輝度信号処理部840は、図示を割愛するが、たとえば、信号分離部822の原色分離機能部から供給される原色信号に基づいて比較的周波数が高い成分までをも含む輝度信号YHを生成する高周波輝度信号生成部と、ホワイトバランスアンプから供給されるホワイトバランスが調整された原色信号に基づいて比較的周波数が低い成分のみを含む輝度信号YLを生成する低周波輝度信号生成部と、2種類の輝度信号YH,YLに基づいて輝度信号Yを生成しエンコーダ部860に供給する輝度信号生成部とを有する。
エンコーダ部860は、色信号副搬送波に対応するデジタル信号で色差信号R−Y,B−Yをデジタル変調した後、輝度信号処理部840にて生成された輝度信号Yと合成して、デジタル映像信号VD(=Y+S+C;Sは同期信号、Cはクロマ信号)に変換する。
エンコーダ部860から出力されたデジタル映像信号VDは、さらに後段の図示を割愛したカメラ信号出力部に供給され、モニター出力や記録メディアへのデータ記録などに供される。この際、必要に応じて、DA変換によってデジタル映像信号VDがアナログ映像信号Vに変換される。
本実施形態のカメラ制御部900は、コンピュータが行なう演算と制御の機能を超小型の集積回路に集約させたCPU(Central Processing Unit )を代表例とする電子計算機の中枢をなすマイクロプロセッサ(microprocessor)902と、読出専用の記憶部であるROM(Read Only Memory)904、随時書込みおよび読出しが可能であるとともに揮発性の記憶部の一例であるRAM(Random Access Memory)906と、図示を割愛したその他の周辺部材を有している。マイクロプロセッサ902、ROM904、およびRAM906を纏めて、マイクロコンピュータ(microcomputer )とも称する。
なお、上記において“揮発性の記憶部”とは、装置の電源がオフされた場合には、記憶内容を消滅してしまう形態の記憶部を意味する。一方、“不揮発性の記憶部”とは、装置のメイン電源がオフされた場合でも、記憶内容を保持し続ける形態の記憶部を意味する。記憶内容を保持し続けることができるものであればよく、半導体製のメモリ素子自体が不揮発性を有するものに限らず、バックアップ電源を備えることで、揮発性のメモリ素子を“不揮発性”を呈するように構成するものであってもよい。
また、半導体製のメモリ素子により構成することに限らず、磁気ディスクや光ディスクなどの媒体を利用して構成してもよい。たとえば、ハードディスク装置を不揮発性の記憶部として利用できる。また、CD−ROMなどの記録媒体から情報を読み出す構成を採ることでも不揮発性の記憶部として利用できる。
カメラ制御部900は、システム全体を制御するものであり、特に前述の参照信号比較型AD変換方式を採用する場合の積和演算処理との関係においては、参照信号Vslopの生成の制御、あるいは参照信号Vslopの傾き(1カウント当たりのLSBステップ数)の制御や、カウント期間の制御のための各種の制御パルスのオン/オフタイミングや設定値を調整する機能を有している。
ROM904にはカメラ制御部900の制御プログラムなどが格納されているが、特に本例では、カメラ制御部900によって、各種の制御パルスのオン/オフタイミングを設定するためのプログラムが格納されている。RAM906にはカメラ制御部900が各種処理を行なうためのデータなどが格納されている。
また、カメラ制御部900は、メモリカードなどの記録媒体924を挿脱可能に構成し、またインターネットなどの通信網との接続が可能に構成している。たとえば、カメラ制御部900は、マイクロプロセッサ902、ROM904、およびRAM906の他に、メモリ読出部907および通信I/F(インタフェース)908を備える。
記録媒体924は、たとえば、マイクロプロセッサ902にソフトウェア処理をさせるためのプログラムデータや、輝度信号処理部840からの輝度系信号に基づく測光データDLの収束範囲や露光制御処理(電子シャッタ制御を含む)、並びに参照信号比較型AD変換方式を採用する場合の積和演算処理のための各種の制御パルスのオン/オフタイミングや設定値など様々な設定値などのデータを登録するなどのために利用される。
メモリ読出部907は、記録媒体924から読み出したデータをRAM906に格納(インストール)する。通信I/F908は、インターネットなどの通信網との間の通信データの受け渡しを仲介する。
なお、このような撮像装置8は、駆動制御部7およびカラム処理部26を、画素アレイ部10と別体にしてモジュール状のもので示しているが、固体撮像装置1について述べたように、これらが画素アレイ部10と同一の半導体基板上に一体的に形成されたワンチップものの固体撮像装置1を利用してもよいのは言うまでもない。
また、図では、画素アレイ部10や駆動制御部7やカラム処理部26や参照信号生成部27やカメラ信号処理部810の他に、撮影レンズ802、光学ローパスフィルタ804、あるいは赤外光カットフィルタ805などの光学系をも含む状態で、撮像装置8を示しており、この態様は、これらを纏めてパッケージングされた撮像機能を有するモジュール状の形態とする場合に好適である。
ここで、前述の固体撮像装置1におけるモジュールとの関係においては、図示のように、画素アレイ部10(撮像部)と、AD変換機能や差分(CDS)処理機能を具備したカラム処理部26などの画素アレイ部10側と密接に関連した信号処理部(カラム処理部26の後段のカメラ信号処理部は除く)が纏めてパッケージングされた状態で撮像機能を有するモジュール状の形態で固体撮像装置1を提供するようにし、そのモジュール状の形態で提供された固体撮像装置1の後段に、残りの信号処理部であるカメラ信号処理部810を設けて撮像装置8の全体を構成するようにしてもよい。
または、図示を割愛するが、画素アレイ部10と撮影レンズ802などの光学系とが纏めてパッケージングされた状態で撮像機能を有するモジュール状の形態で固体撮像装置1を提供するようにし、そのモジュール状の形態で提供された固体撮像装置1に加えて、カメラ信号処理部810をもモジュール内に設けて、撮像装置8の全体を構成するようにしてもよい。
また、固体撮像装置1におけるモジュールの形態として、カメラ信号処理部200に相当するカメラ信号処理部810を含めてもよく、この場合には、事実上、固体撮像装置1と撮像装置8とが同一のものと見なすこともできる。
このような撮像装置8は、「撮像」を行なうための、たとえば、カメラや撮像機能を有する携帯機器として提供される。なお、「撮像」は、通常のカメラ撮影時の像の撮り込みだけではなく、広義の意味として、指紋検出なども含むものである。
このような構成の撮像装置8においては、前述の固体撮像装置1の全ての機能を包含して構成されており、前述の固体撮像装置1の基本的な構成および動作と同様とすることができ、参照信号比較型AD変換方式を採用する場合に、カラムAD回路250の面積増大を抑えつつ、積和演算処理をAD変換と同時に行なうことのできる仕組みを実現できるようになる。
たとえば、上述した処理をコンピュータに実行させるプログラムは、フラッシュメモリ、ICカード、あるいはミニチュアーカードなどの不揮発性の半導体メモリカードなどの記録媒体924を通じて配布される。さらに、サーバなどからインターネットなどの通信網を経由して前記プログラムをダウンロードして取得したり、あるいは更新してもよい。
記録媒体924の一例としてのICカードやミニチュアーカードなどの半導体メモリには、上記実施形態で説明した固体撮像装置1(特に参照信号比較型AD変換方式を採用する場合の積和演算処理をAD変換の同時実行に関わる機能)における処理の一部または全ての機能を格納することができる。したがって、プログラムや当該プログラムを格納した記憶媒体を提供することができる。たとえば、参照信号Vslopもしくは画素信号電圧Vxの生成数あるいは参照信号Vslopの傾き設定(1カウント当たりのLSBステップ数)、さらにはカウント期間の制御を行なう積和演算処理機能付きAD変換処理用のプログラム、すなわちRAM906などにインストールされるソフトウェアは、固体撮像装置1について説明した参照信号比較型AD変換方式と同様に、積和演算処理をAD変換と同時に行なうための制御パルスやその他の設定値の設定機能をソフトウェアとして備える。
ソフトウェアは、RAM906に読み出された後にマイクロプロセッサ902により実行される。たとえばマイクロプロセッサ902は、記録媒体の一例であるROM904およびRAM906に格納されたプログラムに基づいて設定処理を実行して、参照信号Vslopの生成数あるいは参照信号Vslopの傾き設定(1カウント当たりのLSBステップ数)、並びに比較パルスCOMPを利用したカウント期間の制御を行なうことで、参照信号比較型AD変換方式を採用する場合に、回路面積の増大を抑えつつ、積和演算処理をAD変換と同時に行なう機能をソフトウェア的に実現することができる。
以上、本発明について実施形態を用いて説明したが、本発明の技術的範囲は前記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で前記実施形態に多様な変更または改良を加えることができ、そのような変更または改良を加えた形態も本発明の技術的範囲に含まれる。
また、前記の実施形態は、クレーム(請求項)にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組合せの全てが発明の解決手段に必須であるとは限らない。前述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜の組合せにより種々の発明を抽出できる。実施形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られる限りにおいて、この幾つかの構成要件が削除された構成が発明として抽出され得る。
<電子機器への適用>
たとえば前述の説明では、処理対象信号に応じた電気信号とAD変換用の参照信号とを比較する比較部と、比較部における比較処理と並行して、ダウンカウントモードおよびアップカウントモードの何れか一方のモードでカウント処理を行ない、比較部における比較処理が完了した時点のカウント値を保持するカウンタ部とを備えてなるAD変換回路(AD変換装置;前例ではカラムAD回路)をデータ処理装置として固体撮像装置に適用した事例を説明したが、AD変換回路やデータ処理装置の仕組みは、固体撮像装置に限らず、物理的な性質が同一の複数の信号間での積和演算結果のデジタルデータを取得するデータ処理の仕組みを必要とするあらゆる電子機器に適用することができる。
また、AD変換回路(AD変換装置)は、固体撮像装置やその他の電子機器に組み込まれて提供されることに限らず、たとえばIC(Integrated Circuit;集積回路)やAD変換モジュールなどのようにして、単独の装置として提供されてもよい。
この場合、比較部とカウンタ部とを備えたAD変換装置で提供してもよいが、AD変換用の参照信号を生成し比較部に供給する参照信号生成部や、比較部が基準成分と信号成分の何れについて比較処理を行なっているのかに応じてカウンタ部におけるカウント処理のモードを切り替える制御部も同一の半導体基板上に配したIC(集積回路)や個別チップなどの組合せでなるモジュールに組み込んで提供してもよい。
これらを組み込んで提供することで、比較部とカウンタ部の動作を制御するために必要な機能部を纏めて取り扱うことができ、部材の取扱いや管理が簡易になる。また、AD変換処理に必要な要素がICやモジュールとして纏まって(一体となって)いるので、固体撮像装置やその他の電子機器の完成品の製造も容易になる。
1…固体撮像装置、10…画素アレイ部、12…水平走査部、14…垂直走査部、18…水平信号線、19…垂直信号線、20…通信・タイミング制御部、23…クロック変換部、24…読出電流制御部、250…カラムAD回路、252…電圧比較部、253…カウント位相切替部、254…カウンタ部、256…データ記憶部、258…スイッチ、26…カラム処理部、27…参照信号生成部、27a…DA変換回路、28…出力回路、29…デジタル演算部、3…単位画素、7…駆動制御部、8…撮像装置、900…カメラ制御部