以下、図面を参照して本発明の実施形態について詳細に説明する。なお、以下においては、X−Yアドレス型の固体撮像装置の一例である、CMOS撮像素子を撮像デバイスとして使用した場合を例に説明する。
ただしこれは一例であって、対象となるデバイスはMOS型の撮像デバイスに限らない。光や放射線などの外部から入力される電磁波に対して感応性をする単位構成要素をライン状もしくはマトリクス状に複数個配列してなる物理量分布検知用の半導体装置の全てに、後述する実施形態が同様に適用できる。
<固体撮像装置の構成>
図1は、本発明に係る物理情報取得装置の一実施形態であるCMOS固体撮像装置の概略構成図である。この固体撮像装置1は、たとえばカラー画像を撮像し得る電子スチルカメラやFA(Factory Automation)カメラとして適用されるようになっている。
固体撮像装置1は、入射光量に応じた信号を出力する図示しない検知部としての受光素子を含む複数個の単位画素が行および列の正方格子状に配列された(すなわち2次元マトリクス状の)撮像部を有し、各単位画素からの信号出力が電圧信号であって、CDS(Correlated Double Sampling ;相関2重サンプリング)処理機能部やデジタル変換部(ADC;Analog Digital Converter)などが列並列に設けられているものである。
“列並列にCDS処理機能部やデジタル変換部が設けられている”とは、垂直列の垂直信号線18に対して実質的に並列に複数のCDS処理機能部やデジタル変換部が設けられていることを意味する。複数の各機能部は、デバイスを平面視したときに、ともに撮像部10に対して列方向の一方の端縁側(図の下側に配されている出力側)にのみ配されている形態のものであってもよいし、撮像部10に対して列方向の一方の端縁側(図の下側に配されている出力側)とその反対側である他方の端縁側(図の上側)に分けて配されている形態のものであってもよい。後者の場合、行方向の読出走査(水平走査)を行なう水平走査部も、各端縁側に分けて配して、それぞれが独立に動作可能に構成するのがよい。
たとえば、列並列にCDS処理機能部やデジタル変換部が設けられている典型例としては、撮像部の出力側に設けたカラム領域と呼ばれる部分に、CDS処理機能部やデジタル変換部を垂直列ごとに設け、順次出力側に読み出すカラム型のものである。また、カラム型に限らず、隣接する複数(たとえば2つ分)の垂直信号線18(垂直列)に対して1つのCDS処理機能部やデジタル変換部を割り当てる形態や、N本おき(Nは正の整数;間にN−1本を配する)のN本分の垂直信号線18(垂直列)に対して1つのCDS処理機能部やデジタル変換部を割り当てる形態などを採ることもできる。
カラム型を除くものは、何れの形態も、複数の垂直信号線18(垂直列)が1つのCDS処理機能部やデジタル変換部を共通に使用する構成となるので、撮像部10側から供給される複数列分の画素信号を1つのCDS処理機能部やデジタル変換部に供給する切替回路(スイッチ)を設ける。なお、後段の処理によっては、出力信号を保持するメモリを設けるなどの対処が必要になる。
何れにしても、複数の垂直信号線18(垂直列)に対して1つのCDS処理機能部やデジタル変換部を割り当てる形態などを採ることで、各画素信号の信号処理を画素列単位で読み出した後に行なうことで、同様の信号処理を各単位画素内で行なうものに比べて、各単位画素内の構成を簡素化し、イメージセンサの多画素化、小型化、低コスト化などに対応できる。
また、列並列に配された複数の信号処理部にて1行分の画素信号を同時並行処理することができるので、出力回路側やデバイスの外部で1つのCDS処理機能部やデジタル変換部にて処理を行なう場合に比べて、信号処理部を低速で動作させることができ、消費電力や帯域性能やノイズなどの面で有利である。逆に言えば、消費電力や帯域性能などを同じにする場合、センサ全体の高速動作が可能となる。
なお、カラム型の構成の場合、低速で動作させることができ消費電力や帯域性能やノイズなどの面で有利であるとともに切替回路(スイッチ)が不要である利点もある。以下の実施形態では、特に断りのない限り、このカラム型で説明する。
図1に示すように、本実施形態の固体撮像装置1は、複数の単位画素3(単位構成要素の一例)が行および列に(2次元行列状に)多数配列された撮像部(画素部)10いわゆるエリアセンサ部と、撮像部10の外側に設けられた駆動制御部7と、各垂直列に配されたカラム信号処理部22を有するカラム処理部20と、出力回路29とを備えている。
単位画素3は、垂直列選択のための垂直制御線15を介して垂直走査部14と、また複数の検知部で検知され増幅素子を有する単位信号生成部で増幅された後に単位画素3から出力される画素信号S0(_1〜h;1行中の画素番号)をそれぞれ伝送する伝送線としての垂直信号線18を介してカラム処理部20と、それぞれ接続されている。
図1では、簡単のため行および列の一部を省略して示しているが、現実には、撮像部10の各行や各列には、数十から数千の単位画素3が配置される。なお、図示を割愛するが、撮像部10には、各画素に所定のカラーコーディングを持つ色分離フィルタが形成される。また図示を割愛するが、撮像部10の各単位画素3は、受光素子(電荷生成部)としてのフォトダイオードやフォトゲートなどと、増幅用の半導体素子(たとえばトランジスタ)を有する画素内アンプとから構成される。
画素内アンプとしては、たとえばフローティングディフュージョンアンプ構成のものが用いられる。一例としては、電荷生成部に対して、電荷読出部(転送ゲート部/読出ゲート部)の一例である読出選択用トランジスタ、リセットゲート部の一例であるリセットトランジスタ、垂直選択用トランジスタ、およびフローティングディフュージョンの電位変化を検知する検知素子の一例であるソースフォロア構成の増幅用トランジスタを有する、CMOSセンサとして汎用的な4つのトランジスタからなる構成のものを使用することができる。
あるいは、特許第2708455号公報に記載のように、電荷生成部により生成された信号電荷に対応する信号電圧を増幅するための、ドレイン線(DRN)に接続された増幅用トランジスタと、電荷生成部をリセットするためのリセットトランジスタと、垂直シフトレジスタより転送配線(TRF)を介して走査される読出選択用トランジスタ(転送ゲート部)を有する、3つのトランジスタからなる構成のものを使用することもできる。
撮像部10の後段に設けられるカラム処理部20は、垂直列(カラム)ごとにカラム信号処理部22を有して構成されており、1行分の画素の信号を受けて、各カラム信号処理部22が対応列の画素信号S0(_1〜h;1行中の画素番号)を処理して、この際には少なくともアナログの画素信号をデジタルの画素データに変換し(すなわちAD変換し)、処理済みの画素データD1(_1〜h;1行中の画素番号)を出力する。なお、カラム信号処理部22は、AD変換機能の他、CDS(Correlated Double Sampling ;相関2重サンプリング)処理を利用したノイズ除去手段の機能を備えるようにしてもよい。
CDS処理を行なう場合、駆動信号操作部16から与えられるサンプルパルスSHPとサンプルパルスSHDといった2つのサンプルパルスに基づいて、垂直信号線18を介して入力された電圧モードの画素情報に対して、画素リセット直後の信号レベル(ノイズレベル;0レベル)と真の信号レベルとの差分をとる処理を行なうことで、画素ごとの固定ばらつきによる固定パターンノイズ(FPN;Fixed Pattern Noise )やリセットノイズといわれるノイズ信号成分を取り除く。
なお、カラム処理部20の前段または後段には、必要に応じて信号増幅機能を持つAGC(Auto Gain Control) 回路などをカラム処理部20と同一の半導体領域に設けることも可能である。カラム処理部20の前段でAGCを行なう場合にはアナログ増幅、カラム処理部20の後段でAGCを行なう場合にはデジタル増幅となる。所定ビットのデジタルデータを単純に増幅してしまうと、階調が損なわれてしまう可能性があるため、どちらかというとアナログにて増幅した後にデジタル変換するのが好ましいと考えられる。
撮像部10やカラム処理部20などを駆動・制御する駆動制御部7としては、たとえば水平走査部12と垂直走査部14とを備える。また、駆動制御部7の他の構成要素として、水平走査部12、垂直走査部14、あるいはカラム処理部20などの固体撮像装置1の各機能部に所定タイミングの制御パルスを供給する駆動信号操作部(読出アドレス制御装置の一例)16が設けられている。
また、図中、駆動信号操作部16の近傍に点線で示すように、高速クロック生成部の一例であって、入力されたクロック周波数よりも高速のクロック周波数のパルスを生成するクロック変換部23を設けるようにしてもよい。駆動信号操作部16は、端子1aを介して入力される入力ロック(マスタークロック)CLK0やクロック変換部23で生成された高速クロックに基づいて内部クロックを生成する。
クロック変換部23で生成された高速クロックを源とする信号を用いることで、AD変換処理などを高速に動作させることができるようになる。また、高速クロックを用いて、高速の計算を必要とする動き抽出や圧縮処理を行なうことができる。また、カラム処理部20から出力されるパラレルデータをシリアルデータ化してデバイス外部に映像データを出力することもできる。こうすることで、AD変換されたデジタルデータのビット分よりも少ない端子で高速動作出力する構成を採ることができる。
クロック変換部23は、入力されたクロック周波数よりも高速のクロック周波数のパルスを生成する逓倍回路を内蔵している。このクロック変換部23は、駆動信号操作部16から低速クロックCLK2を受け取り、それを元にして2倍以上高い周波数のクロックを生成する。クロック変換部23の逓倍回路としては、k1を低速クロックCLK2の周波数の倍数としたときk1逓倍回路を設ければよく、周知の様々な回路を利用することができる。
なお、駆動信号操作部16は、撮像部10や水平走査部12など、他の機能要素とは独立して、別の半導体集積回路として提供されてもよい。この場合、撮像部10や水平走査部12などから成る撮像デバイスと駆動信号操作部16とにより、半導体システムの一例である撮像装置が構築される。この撮像装置は、周辺の信号処理回路や電源回路なども組み込まれた撮像モジュールとして提供されてもよい。
これらの駆動制御部7の各要素は、撮像部10やカラム処理部20とともに、半導体集積回路製造技術と同様の技術を用いて単結晶シリコンなどの半導体領域に一体的に形成され、半導体システムの一例である固体撮像素子(撮像デバイス)として構成される。
なお、駆動信号操作部16は、図示しないが、各部の動作に必要なクロックや所定タイミングのパルス信号を供給するタイミングジェネレータTG(読出アドレス制御装置の一例)の機能ブロックと、端子1aを介して入力クロック(マスタークロック)CLK0や動作モードなどを指令するデータを受け取り、また端子1bを介して固体撮像装置1の情報を含む種々のデータDATAを出力する通信インタフェースの機能ブロックとを備える。また、駆動信号操作部16は、水平アドレス信号を水平アドレス設定部12aへ、また垂直アドレス信号を垂直アドレス設定部14aへ出力し、各アドレス設定部12a,14aは、それを受けて対応する行もしくは列を選択する。
また、駆動信号操作部16では、端子1aを介して入力されるマスタークロック(マスタークロック)CLK0と同じ周波数のクロックCLK1や、それを2分周したクロックやより分周した低速のクロックをデバイス内の各部、たとえば水平走査回路12、垂直走査回路14、カラム処理部20などに供給する。以下、2分周したクロックやそれ以下の周波数のクロック全般を纏めて、低速クロックCLK2という。
水平走査部12や垂直走査部14は、駆動信号操作部16から与えられる駆動パルスに応答して行や列の選択動作を開始するようになっている。垂直制御線15には、単位画素3を駆動するための種々のパルス信号が含まれる。
たとえば水平走査部12は、水平方向の読出列(水平方向のアドレス)を規定する(カラム処理部20内の個々のカラム信号処理部22を選択する)水平アドレス設定部12aと、水平アドレス設定部12aにて規定された読出アドレスに従ってカラム処理部20の各信号を水平信号線28に導く水平駆動部12bとを有する。
水平アドレス設定部12aは、図示を割愛するが、シフトレジスタあるいはデコーダを有して構成されており、カラム信号処理部22からの画素情報を所定の順に選択し、その選択した画素情報を水平信号線28に出力する選択手段としての機能を持つ。
垂直走査部14は、垂直方向の読出行(垂直方向のアドレス)や水平方向の読出列(水平方向のアドレス)を規定する(撮像部10の行を選択する)垂直アドレス設定部14aと、垂直アドレス設定部14aにて規定された読出アドレス上(水平行方向)の単位画素3に対する制御線にパルスを供給して駆動する垂直駆動部14bとを有する。
垂直アドレス設定部14aは、図示を割愛するが、信号を読み出す行の基本的な制御を行なう垂直シフトレジスタあるいはデコーダの他に、電子シャッタ用の行の制御を行なうシャッタシフトレジスタも有する。
垂直シフトレジスタは、撮像部10から画素情報を読み出すに当たって各画素を行単位で選択するためのものであり、各行の垂直駆動部14bとともに信号出力行選択手段を構成する。シャッタシフトレジスタは、電子シャッタ動作を行なうに当たって各画素を行単位で選択するためのものであり、各行の垂直駆動部14bとともに電子シャッタ行選択手段を構成する。
たとえば、単位画素3を2次元マトリックス状に配置してあるので、単位画素3により生成され垂直信号線18を介して列方向に出力されるアナログの画素信号を行単位で(列並列で)アクセスし取り込む(垂直)スキャン読みを行ない、この後に、垂直列の並び方向である行方向にアクセスし画素信号(本例ではデジタル化された画素データ)を出力側へ読み出す(水平)スキャン読みを行なうようにすることで、画素信号や画素データの読出しの高速化を図るのがよい。勿論、スキャン読みに限らず、読み出したい単位画素3を直接にアドレス指定することで、必要な単位画素3の情報のみを読み出すランダムアクセスも可能である。
<カラム信号処理部について>
このような構成の固体撮像装置1において、単位画素3から出力された画素信号S0_1〜hは、垂直列ごとに、垂直信号線18を介して、カラム処理部20のカラム信号処理部22に供給される。この画素信号S0_1〜hの読出動作は、1行同時に行なわれる。
カラム処理部20の各カラム信号処理部22は、1列分の画素信号S0_1〜hを受けて、その信号を処理する。たとえば、各カラム信号処理部22は、アナログ信号を、たとえば低速クロックCLK2を用いて、N+Mビット(たとえば10ビット)のデジタルデータに変換するAD変換機能を持つADC(Analog Digital Converter)回路を備えている。
ここで本実施形態のカラム信号処理部22の構成においては、詳細は後述するが、カラム信号処理部22を多段構成(図では1段〜x段)にしている点に特徴を有する。また、カラム処理部20は、カラム信号処理部22を多段構成としたことに対応して、選択部(SEL)26を有している。
選択部26は、カラム信号処理部22_1から出力されたNビット(たとえば8ビット)の画素データD1_1〜hもしくは画素データD1_1〜hの粗さを後段のカラム信号処理部22_2〜xからの数ビットの(Nよりは遙かに小さい)画素データD2_1〜h,…,Dx_1〜hを順次用いて補正したNビットを超えるビット数(たとえば10ビット)の補正済み画素データDcompを、駆動信号操作部16から供給されるenable信号の制御の元で選択し画素データDout _1〜hとして出力する。
AD変換回路の構成については、詳細は後述するが、少なくとも初段のカラム信号処理部22_1は、時間の経過とともに所定の変化率で電圧値が変化する(たとえばランプ状に変化する)参照信号RAMPをコンパレータ(電圧比較器)に供給すると同時にクロック信号でのカウント(計数)を開始し、垂直信号線18を介して入力されたアナログの画素信号S0_1〜hを参照信号RAMPと比較することによって出力反転を示すパルス信号が得られるまでの時間をカウントし、コンパレータの出力反転時のカウント値をAD変換値(画素データD1_1〜h)として保持することでNビットのAD変換を行なう。
また、この際、回路構成を工夫することで、AD変換とともに、垂直信号線18を介して入力された電圧モードの画素信号に対して、画素リセット直後の信号レベル(ノイズレベル)と真の(受光光量に応じた)信号レベルVsig との差分をとる処理を行なうことができる。これにより、固定パターンノイズ(FPN;Fixed Pattern Noise )やリセットノイズといわれるノイズ信号成分を取り除くことができる。もちろん、初段でのAD変換の前にCDS処理を行なってもよい。
このような構成のカラム信号処理部22は、先にも述べたように、垂直信号線18(H0,H1,…)ごとに配置され、列並列構成のADCブロックであるカラム処理部20が構成される。
個々のカラム信号処理部22の出力側は、選択部26を介して水平信号線28に接続されている。水平信号線28は、カラム信号処理部22のビット幅であるN+Mビット(たとえば10ビット)幅分の信号線を有し、出力回路29に接続される。すなわち、カラム信号処理部22でデジタル化された画素データは、水平走査回路12からの水平選択信号により駆動される選択部26を介して水平信号線28に伝達され、さらに出力回路29に入力される。なお、10ビットは一例であって、10ビット未満(たとえば8ビット)や10ビットを超えるビット数(たとえば14ビット)など、その他のビット数としてもよい。
選択部26には、図示しない水平読出用のスイッチ(選択スイッチ)を備えた水平選択スイッチ部が設けられており、各垂直列のカラム信号処理部22の出力端は、カラム信号処理部22から信号を順次読み出すための各垂直列に対応する選択スイッチの入力端にそれぞれ接続される。
水平選択スイッチ部の各垂直列の制御ゲート端は、水平方向の読出アドレスを制御・駆動する水平走査部12の水平駆動部12bに接続される。一方、水平選択スイッチ部の各垂直列の選択スイッチの出力端は、行方向に画素信号を順次転送出力する水平信号線28が共通接続される。水平信号線28の後端には出力回路29が設けられている。
水平信号線28は、単位画素3のそれぞれから垂直信号線18を介して伝送される個々の画素信号S0に対応する画素データD1もしくはこの画素データD1を後段の画素データD2〜Dxで補正した補正済み画素データDcompを、垂直信号線18の配列方向である水平方向に所定順に出力するため読出線として機能するものであり、垂直列ごとに存在する選択部26によって選択されたカラム信号処理部22からの画素データD1もしくは補正済み画素データDcompを所定の順に取り出して画素データDout _1〜hとして出力回路29に渡す。出力回路29から出力される画素データDout _1〜hの集合を撮像データDout という。
このような構成によって、電荷生成部としての受光素子が行列状に配された撮像部10からは、行ごとに各垂直列について画素信号が順次出力される。そして、受光素子が行列状に配された撮像部10に対応する1枚分の画像すなわちフレーム画像が、撮像部10全体の画素データDout _1〜hの集合である撮像データDout で示されることとなる。
すなわち、カラム信号処理部22により処理された画素情報を表わす信号電荷に応じた各垂直列の電圧データは、水平走査部12からの水平選択信号φH1〜φHhに応じた駆動パルスφg1〜φghにより駆動される垂直列ごとに設けられた選択部26により所定のタイミングで選択され水平信号線28に読み出される。そして、水平信号線28の後端に設けられた出力回路29に入力される。
出力回路29は、撮像部10から水平信号線28を通して出力される各単位画素3の画素データDout _1〜h(h=n)を適当なゲインで増幅した後、撮像データDout として図示しない外部回路に出力端子1cを介して供給する。この出力回路29は、たとえば、バッファリングだけする場合もあるし、その前に黒レベル調整、列ばらつき補正、色関係処理などを行なうこともある。
つまり、本実施形態のカラム型の固体撮像装置1においては、単位画素3からの出力信号(電圧信号)が、垂直信号線18→カラム処理部20(カラム信号処理部22)→水平信号線28→出力回路29の順で伝送される。その駆動は、1行分の画素出力信号は垂直信号線18を介してパラレルにカラム処理部20に送り、処理後の信号は水平信号線28を介してシリアルに出力するようにする。
なお、垂直列や水平列ごとの駆動が可能である限り、それぞれのパルス信号を単位画素3に対して水平行方向および垂直列方向の何れから供給するか、すなわちパルス信号を印加するための駆動クロック線の物理的な配線方法は自由である。
このような構成の固体撮像装置1において、水平走査部12や垂直走査部14およびそれらを制御する駆動信号操作部16により、撮像部10の各画素を水平行単位で順に選択し、その選択した1つの水平行分の画素の情報を同時に読み出すタイプのCMOSイメージセンサが構成される。
出力回路29の後段に設けられる図示しない外部回路は、撮像部10や駆動制御部7などが同一の半導体領域に一体的に形成された固体撮像素子とは別の基板(プリント基板もしくは半導体基板)上に構成されており、たとえば数〜数10fps(frame per sec )程度の動画を撮像する動画モードや静止画を撮像する静止画モードなど、各撮影モードに対応した回路構成が採られるようになっている。
たとえば、外部回路は、出力回路29から出力された撮像データに基づいてデジタル信号処理を施すデジタル信号処理部(DSP;Digital Signal Processor)を備える。デジタル信号処理部は、たとえば、デジタル信号を適当に増幅して出力するデジタルアンプ部の機能を持つ。また、たとえば色分離処理を施してR(赤),G(緑),B(青)の各画像を表す画像データRGBを生成し、この画像データRGBに対してその他の信号処理を施してモニタ出力用の画像データを生成する。また、デジタル信号処理部には、記録メディアに撮像データを保存するための信号圧縮処理などを行なう機能部が備えられる。
また外部回路は、デジタル信号処理部にてデジタル処理された画像データをアナログの画像信号に変換するD/A(Digital to Analog )変換部を備える。D/A変換部から出力された画像信号は、液晶モニタなどの表示デバイスに送られる。操作者は、この表示デバイスに表示されるメニューや画像を見ながら、撮像モードを切り替えるなどの各種の操作を行なうことが可能になる。
特に、本実施形態では、動画モード時には、静止画モード時に比べて低ビット数でデータ処理することで、処理速度の面での負担を減らし、数〜数10fps程度の動画処理に対処できるようにする。動画時は、精細な情報の再現能力を静止画時よりも多少落としても、視覚的に問題とならない。一方、静止画モード時には、動画モード時に比べて高ビット数でデータ処理するようにすることで、動画時より精細な画像を得るようにする。処理時間が掛かっても、そのことが問題となることは少ない。
撮像部10や駆動制御部7などからなる固体撮像素子(本発明に係る半導体装置や物理情報取得装置の一例)と外部回路とによって、固体撮像装置1が構成されている。駆動制御部7を撮像部10やカラム処理部20と別体にして、撮像部10やカラム処理部20で固体撮像素子(半導体装置の一例)を構成し、この固体撮像素子と別体の駆動制御部7とで、撮像装置(本発明に係る物理情報取得装置の一例)として構成してもよい。
なおここでは、固体撮像素子の後段の信号処理を担当する外部回路を固体撮像素子(チップ)外で行なう例を示したが、外部回路の全てもしくは一部(たとえばD/A変換部やデジタルアンプ部など)の機能要素を、固体撮像素子のチップに内蔵するように構成してもよい。つまり、撮像部10や駆動制御部7などが同一の半導体領域に一体的に形成された固体撮像素子と同一の半導体基板上に外部回路を構成して、実質的に、固体撮像装置1と物理情報取得装置とが同一のものとして構成してもよい。
また、図では、水平選択スイッチ部や駆動制御部7を撮像部10とともに備えて固体撮像装置1を構成し、実質的に、固体撮像装置1が物理情報取得装置としても機能するように構成しているが、物理情報取得装置は、必ずしもこのような構成に限定されない。水平選択スイッチ部や駆動制御部7の全体もしくは前記一機能部分が撮像部10と同一の半導体領域に一体的に形成されたものであることは要件ではない。水平選択スイッチ部および駆動制御部7を、撮像部10とは異なる回路基板(別の半導体基板に限らず一般的な回路基板をも意味する)、たとえば外部回路が設けられる回路基板に形成してもよい。
なお、本実施形態の説明としては直接関連しないため特に図示しないが、その他の各種信号処理回路なども、固体撮像装置1の構成要素に含まれる場合がある。
<カラム処理部の詳細>
図2および図3は、図1に示した固体撮像装置1における第1実施形態のカラム処理部20の構成例の詳細を示す図である。先にも述べたように、本実施形態のカラム処理部20の構成においては、カラム信号処理部22を多段構成にしている点に特徴を有する。
ここで、カラム信号処理部22を多段構成にする際には、少なくとも初段のカラム信号処理部22_1に関しては、電圧比較部とカウンタ部とで構成するが、後段のカラム信号処理部22_x(xは2以上の正の整数;たとえば2段目の場合はx=2)に関しては、どのようなAD変換の方式を採用するかは自由であり、初段と同様に電圧比較部とカウンタ部との組合せで構成してもよいし、電圧比較器を分解能分用意して変換を全比較器一斉に行なう並列型AD変換器にするなど、その他のAD変換の仕組みを採用することもできる。以下の説明では、一例として、カラム信号処理部22を2段縦続に備え、2段目に並列型AD変換方式を用いる事例で説明する。
図示するように、カラム処理部20は、初段のカラム信号処理部22_1と、2段目のカラム信号処理部22_2と、選択部26と、初段のカラム信号処理部22_1にAD変換用の参照信号RAMPを供給するDA変換回路(DAC;Digital Analog Converter)27aを有して構成された参照信号生成部27とを備えている。
カラム信号処理部22を多段構成としたことに対応して、各垂直列の選択部26は、画素データD1_1〜hの粗さを2段目のカラム信号処理部22_2からの画素データD2_1〜hを用いて補正することでN+Mビットの補正済み画素データDcompを生成するデータ補正部(N+M)262と、データ補正部262が生成した補正済み画素データDcompとカラム信号処理部22_1から出力された画素データD1_1〜hの何れかを所定の条件の元で選択する出力データ切替部(SW)264とを備えている。
選択部26には、選択制御用の制御信号として、駆動信号操作部16からenable信号が入力されるようになっている。このenable信号は、データ補正部262の機能の停止制御にも使用するようになっている。
なお、enable信号は、後段のカラム信号処理部22_2にも入力されるようになっており、カラム信号処理部22_2の機能の停止制御にも使用するようになっている。具体的には、カラム信号処理部22_2の出力(画素データD1)を用いた補正済み画素データDcompを水平信号線28に出力する必要がある高精細データ出力モード時にのみカラム信号処理部22_2を動作させるようにする。
駆動信号操作部16は、enable信号を用いることで、初段のカラム信号処理部22_1の出力(画素データD0)のみを使用する低精細データ出力モード時には、カラム信号処理部22_2やデータ補正部262の動作を停止させて消費電力の低減を図る。
参照信号生成部27のDA変換回路27aには、初期値および傾きを示す制御データCN4とDA変換用のカウンタクロックCKdac とが駆動信号操作部16から入力される。DA変換回路27aは、制御データCN4で示される初期値からカウンタクロックCKdac に同期して鋸歯状波(ランプ波形)を生成して、カラム処理部20の個々のカラム信号処理部22_1に、この生成した鋸歯状波をAD変換用の参照電圧(ADC基準信号;参照信号RAMP)として供給するようになっている。
なお、この鋸歯状波は、クロック変換部23からの高速クロック、たとえば逓倍回路で生成される逓倍クロックを元に生成することで、端子1aを介して入力されるマスタークロックCLK0に基づき生成するよりも高速に変化させることができる。
初段のカラム信号処理部22_1は、参照信号生成部27のDA変換回路27aで生成される参照信号RAMPと、行制御線15(V0,V1,…)ごとに単位画素3から垂直信号線18(H0,H1,…)を経由し得られるアナログの画素信号S0_1〜hとを比較する電圧比較部(コンパレータ;COMP)214と、電圧比較部214が比較処理を完了するまでの時間(詳しくはカウンタクロックCK0の数)をカウントし、その結果を保持するカウンタ部(CNT)216とを備えて構成され、NビットAD変換機能を有している。
初段のカラム信号処理部22_1に設けられた電圧比較部214の一方の入力端子(非反転端子+)は、他の電圧比較部214の対応する入力端子(非反転端子+)と共通に、参照信号生成部27で生成される参照信号RAMPが入力され、他方の入力端子(反転端子−)には、それぞれ対応する垂直列の垂直信号線18が接続され、撮像部10からの画素信号S0_1〜hが個々に入力される。電圧比較部214は、2入力の大小を比較し、H/Lで示されるトリガ信号TRG1を出力するデジタルアンプであり、電圧比較部214から出力されたトリガ信号TRG1はカウンタ部216のラッチ端子に供給される。
ここで、図2に示す構成においては、カウンタ部216のクロック端子CKには、他のカウンタ部216のクロック端子CKと共通に、駆動信号操作部16からカウンタクロックCK0が入力されている。
カウンタ部216は、画素信号S0に対応する画素データD1を示すカウント出力値がカウンタクロックCK0に同期して出力可能な同期カウンタを使用する。なお、カウンタクロックCK0が、最下位ビットの意味も持つようにすることもできる。
このカウンタ部216は、その構成については図示を割愛するが、ラッチで構成されたデータ記憶部の配線形態を同期カウンタ形式に接続することで実現でき、駆動信号操作部16からの1本のカウンタクロックCK0の入力で内部カウントを行なう。また、電圧比較部214の比較結果であるトリガ信号TRG1の出力反転(本例ではLレベルからHレベルへの遷移)をトリガとして、その時点の参照信号RAMPの電位を表すカウンタ部216の値(Nビットの画素データD1)を保持し、選択部26に出力する。
ここで、“トリガ信号TRG1の出力反転をトリガとして”とは、出力反転時のデータそのものを保持することを意味せず、“出力反転後のカウンタクロックCK0のエッジ(立下り/立上りの双方)に同期して”という意味である。
なお、図3に示す構成のように、各垂直列で共通に使用されるマスタとなるNビットのカウンタ部200を用意し、このカウンタ部200に駆動信号操作部16からカウンタクロックCK0を入力し、そのカウント出力Dm_1〜Nを、各垂直列のカラム信号処理部22_1のデータ入力端子DAに共通に入力するようにしてもよい。この場合、各垂直列のカラム信号処理部22_1は、カウント機能を有している必要はなく、カウンタ部216をデータ保持部(ラッチ部;LT)217に置き換えることができ、所定のタイミングで、詳しくは電圧比較部214の出力反転時に、データ保持部217のデータ入力端子DAに入力されたカウント出力Dm_1〜Nをラッチする機能を有していればよい。
なお、NビットAD変換機能を実現するためのカウンタクロックCK0の周期は、参照信号RAMPに載るノイズに起因した変換誤差が、カウンタ部216によるカウント出力時点(t16)のカウント結果である画素データD1に生じ難い程度に比較的大きく設定する。つまり、カウンタクロックCK0の周期はNビットのAD変換における1量子化レベルに対応するものであり、このカウンタクロックCK0の周期をある程度大きくして、画素データD1が1ビット変わる参照信号RAMPの電圧(刻み)を大きくすることで、上位ブロックのサブAD変換器(カラム信号処理部22_1)により上位ビットで粗くAD変換し、これによって、参照信号RAMPに載るノイズに起因した変換誤差が生じる可能性を少なくする。この点については、後で詳しく説明する。
また、NビットAD変換機能を実現するためのカウンタクロックCK0の周期は、各垂直列の電圧比較部214の比較精度に起因した変換誤差が生じ難い程度に比較的大きく設定する。つまり、カウンタクロックCK0の周期はNビットのAD変換における1量子化レベルに対応するものであり、このカウンタクロックCK0の周期をある程度大きくして、画素データD1が1ビット変わる参照信号RAMPの電圧(刻み)を大きくすることで、電圧比較部214の比較精度に起因した変換誤差が生じる可能性を少なくする。この点についても、後で詳しく説明する。
このように、初段のカラム信号処理部22_1におけるAD変換では、所定の変化率(たとえば傾き)で変化するランプ波形状の参照信号RAMPと単位画素3からの画素信号S0の各電圧とが一致する点を探し、この比較処理で用いる参照信号RAMPの生成時点(あるいはそれよりも遅い所定時点)から、画素信号S0を示す電圧Aと参照信号RAMPとが一致した時点までをカウンタクロックCK0でカウント(計数)することで、画素信号S0_1〜hの各大きさに対応したカウント値を画素データD1_1〜hとして得る。
各垂直列に電圧比較部214とカウンタ部216とを配するので、その数は列分(h個)だけ必要になるが、電圧比較部214は、アナログアンプと同等のもので構成でき、また、カウンタ部216の構成もN個のラッチを設ける簡易なものでよいので、電圧比較部214とカウンタ部216とをそれぞれ1つ垂直列ごとに設けることにレイアウト上の制約は少ない。その他のカラム信号処理機能部と組み合わせて垂直列内にこれらを配置することが、レイアウト上の大きな制約となることは少ないと考えてよいからである。
一方、1行分の画素信号S0_1〜hを1H(水平走査)期間内に同時にAD変換できる利点もあり、アナログの画素信号S0_1〜hを水平信号線28を介して出力回路29から読み出した後に、1画素ごとに、順次AD変換する方式(後者の方式という)に比べて、処理速度や消費電力の点で有利である。
すなわち、後者の方式では、1画素ごとに順次AD変換するため、1画素分の処理サイクル内でAD変換を完了させる高速処理が必要となり、一般的には、高速・高精度な電圧比較器を分解能分用意して変換を全比較器一斉に行なう並列型AD変換器とする。しかしながらこの場合には、出力回路29の後段に並列型AD変換器を配するレイアウトが必要であり、比較器の数がビット数に応じて多くなるので、ビット数に応じて、AD変換器に大きなレイアウトが必要になるとともに消費電力も増える。本実施形態の構成では、これらの問題を上記理由から解決できる。
一方、2段目のカラム信号処理部22_2は、トリガ信号生成部221と、参照信号RAMPに含まれるノイズ成分を抑制するノイズ抑制処理部(FIL)222と、サンプルホールド機能を持つ電位保持部223と、誤差増幅器(AMP)224と、AD変換部226とを備えて構成されMビットAD変換機能を有している。ノイズ抑制処理部222と、電位保持部223と、誤差増幅器224とにより、カウンタ部216がカウント結果を保持した(カウント出力した)時点の参照信号RAMPの電位に対応する電位情報とこのカウント出力時点の画素信号S0の電位との差分をとり、その差分を所定の増幅率で増幅するとともに、カウント出力時点の参照信号RAMPに含まれるノイズによる前記増幅の結果に与える影響を抑制するノイズ抑制増幅部225が構成される
図4は、トリガ信号生成部221の構成例と、その作用を説明する図である。トリガ信号生成部221は、カウンタ部216がカウント結果を保持した(カウント出力した)際のタイミングを示すトリガ信号TRG2を生成するものであり、電圧比較部214からのトリガ信号TRG1とカウンタクロックCK0が入力される。
ここで、本実施形態では、図4(A)に示すように、トリガ信号生成部221をANDゲートで構成している。ANDゲートは、一方の入力端子には電圧比較部214からのトリガ信号TRG1が入力され、他方の入力端子にはカウンタクロックCK0が入力される。
このような構成により、トリガ信号生成部221は、トリガ信号TRG1の立上り直後のカウンタクロックCK0のHレベルの前縁エッジを有効なトリガ位置とするトリガ信号TRG2を生成できる。トリガ信号生成部221は、この生成したトリガ信号TRG2を、後段の電位保持部223に渡す。本実施形態においては、このトリガ信号TRG2が、カウンタ部216がカウンタ値を保持した(カウント出力を行った)タイミングを示すものと考える。
ここで、“カウンタクロックCK0のHレベルの前縁エッジ”といったのは、ゲート遅延を無視すれば、電位保持部223に対する有効なトリガ位置は、図4(B)に示すように、トリガ信号TRG1の立上りエッジがカウンタクロックCK0のLレベルに位置するタイミングの場合には、トリガ信号TRG1の立上り直後のカウンタクロックCK0の立上りエッジとなるが、図4(C)に示すように、トリガ信号TRG1の立上りエッジがカウンタクロックCK0のHレベルに位置するタイミングの場合には、トリガ信号TRG1の立上りエッジそのものとなるからである。
図2に戻って説明を続ける。電位保持部223の一方の入力端子は、他の電位保持部223の対応する入力端子と共通に参照信号生成部27で生成される参照信号RAMPが入力され、他方の入力端子には、トリガ信号生成部221からのトリガ信号TRG2が個々に入力される。
ノイズ抑制処理部222は、参照信号RAMPに含まれるノイズ成分を低域通過フィルタや帯域抑制フィルタなどを用いて抑制した後、処理後の参照信号RAMPをノイズ抑制処理部223に渡す。
電位保持部223は、カウンタ部216がカウンタ値を保持した(カウント出力を行った)タイミングを実質的に示すトリガ信号TRG2の最初の立上りエッジのタイミングをトリガにして、その時点のノイズ抑制処理部223から出力された参照信号RAMPの電位Cを保持し、後段の誤差増幅器224に渡す。
この際、電位保持部223は、ノイズ抑制処理部223から出力された参照信号RAMPを、トリガ信号TRG2の最初の立上りエッジから所定期間(カウンタクロックCK0の1/4周期分など、ごく短い期間でよい)だけサンプリングし、実質的に低域通過フィルタの効果を働かせることで、カウンタ部216のカウント出力時点の参照信号RAMPに含まれるノイズによる、後段の誤差増幅器224による増幅結果に与える影響を抑制する。
ある一点でのサンプリングではそのサンプリング時点のノイズの影響を直接に受けるが、サンプリング期間をある程度とることで、ノイズを平均化し、サンプリング期間中の真の参照信号RAMP(の平均値)を取得する。つまり、ノイズ抑制効果は、ノイズ抑制処理部222だけでなく、電位保持部223においても発揮される。
なお、ノイズ抑制処理部222と電位保持部223とによるノイズ抑制処理は、何れか一方のみを働かせるようにしてもよく、ノイズ抑制処理部222を取り外してもよい。電位保持部223では、サンプリング期間を殆どとらずに、ノイズ抑制処理部222によるノイズ抑制だけにした場合、ノイズ抑制処理部222から出力された参照信号RAMPに残るノイズ成分の影響を直接に受けるので、サンプリング期間をある程度とって電位保持部223によるノイズ抑制を働かせた方が好ましいと考えられる。
2段目のカラム信号処理部22_2に設けられたそれぞれの誤差増幅器224の一方の入力端子(非反転端子+)は、電位保持部223で取得されたカウント出力時点の参照信号RAMPの電位C_1〜hが個々に入力され、他方の入力端子(反転端子−)には、それぞれ対応する垂直列の垂直信号線18が接続され、撮像部10からの画素信号S0_1〜hの電位A_1〜hが個々に入力される。
図5は、誤差増幅器224とAD変換部226の動作を説明する図である。誤差増幅器224は、2入力(電位A,C)がどの程度異なるかを示す信号α・Δ1を出力する高精度で高速なアナログアンプである。誤差増幅器224で作り出す差信号の精度とその動作速度が2段目のカラム信号処理部22_2のAD変換の性能に影響を与えるからであり、ここでは高利得でかつ高速のアンプを使用する。なお、本実施形態の構成では、1行ごとに撮像部10から画素信号S0を読み出して処理するので、1ライン周期(1水平期間)内で処理が完結できる程度の高速性を備えていればよい。
この誤差増幅器224で生成される信号α・Δ1はAD変換部226に供給される。つまり、初段のカラム信号処理部22_1において上位NビットのAD変換を行なうと同時に、誤差増幅器224にて、2入力の差である残余信号Δ1を作り出し、それを増幅してα・Δ1として、後段のAD変換部226へ渡す。
ここで、“α”は誤差増幅器224の増幅率である。また、“残余信号Δ1”は、カウンタ部216がカウンタ値を保持した(カウント出力を行った)時点の参照信号RAMPの電位Cと、その時点の画素信号S0_1〜hの電位Aとの差分である。つまり、残余信号とは、カウンタ部216においてアナログの画素信号S0をNビットで粗く量子化したときに、変換されずに残った信号成分である。
AD変換部226は、初段のカウンタ部216での量子化における1量子化レベルをフルスケールとして、誤差増幅器224から入力されたアナログ信号(増幅残余信号α・Δ1)をMビットの画素データD2_1〜hに変換し、選択部26のデータ補正部262に渡す。変換されずに残った信号成分を増幅してからAD変換するので、余裕を持って変換できる。なお、必要に応じて、フルスケールの調整機構を設けるとよい。
比較電圧を電位Cとすることで、高精度なアナログアンプの比較電圧を画素信号に近い電圧に設定できるため、デジタル変換するADコンバータのビット数を少なくでき、レイアウトを小さくすることができる。
たとえば、通常のアナログアンプの場合、黒レベルの電圧を比較電圧として画素データとの差を増幅する。本実施形態では、Nビット刻みの電位で画素データに近い電圧を比較電圧とする。例としてN=8,M=2で黒レベルを0とすると(MAX1023ディジット;digit)、画素データが602ディジット相当のデータの場合、比較電圧は600ディジットとなり、アナログアンプは602ディジットと600ディジットの差を増幅することになる。アナログアンプ用のADコンバータの扱うビット数が少なくなると、AD変換に高い精度は要求されないため、AD変換器の構成素子数を減らすことができ、レイアウトを小さくすることができる。
上記の例の場合、アナログアンプが扱うデータは比較電圧が600ディジットに対し、600−603ディジットの入力を増幅し、AD変換を行なう。アナログアンプの増幅の最大値は電源電圧により制限を受けるため、AD変換が扱うビット数を少なくすることより、1LSBあたりの電圧を大きく設定できるため、AD変換に要求される精度を低くすることができるからである。たとえば、アナログアンプの増幅の電圧が2Vの場合、10ビットなら1LSB=2V/1024,2ビットなら1LSB=2V/4である。
N+Mビットのデジタルデータに変換するに際して、1つの並列型AD変換器でAD変換する場合には、N+M個の高精度な比較器が必要になるが、本実施形態では、初段でNビット分のAD変換を行ない、残りのMビット分を2段目のAD変換部226にて担当すればよい。
よって、AD変換部226としては、たとえ並列型のAD変換器を使用したとしても、N+Mビットの並列型AD変換器よりもビット数が少ないため、比較器の数を少なくすることができる。この結果、レイアウト的に小さくできるため、AD変換部226を各垂直列に設けることの制約は少ない。
選択部26のデータ補正部262は、入力された2種類の画素データD1,D2に基づき、Nビットの画素データD1_1〜hの粗さを、Mビットの画素データD2_1〜hを用いて補正することで、N+Mビットの補正済み画素データDout _1〜hを生成する。その補正方法については後述する。
初段のカラム信号処理部22_1と、2段目のカラム信号処理部22_2と、選択部26のデータ補正部262とで、N+MビットのAD変換器の全体が構成されるが、1つの並列型AD変換器で実現している訳ではない。各段のAD変換器は、上述のように、それぞれレイアウト的に小さくでき、トータルでみてもN+Mビットの1つの並列型AD変換器を出力回路29の後段に配する場合に比べて、レイアウトを小さくすることができる。
また、選択部26の切替部264は、駆動信号操作部16からのenable信号に基づき、動画など高速動画撮像時は、カウンタ部216のNビットの出力である画素データD1_1〜hを選択し、静止画モードなど高画質撮像時は、データ補正部262で生成されたN+Mビットの補正済み画素データDout _1〜hを選択し、水平走査部12からの制御信号φg1〜φghに基づく所定の順で垂直列を選択することで画素データD1_1〜hを所定の順で水平信号線28に出力する。
これによって、動画処理に適した低ビット数(Nビット)のデジタルデータ(撮像データD1)を出力する低精細データ出力モードと、静止画処理に適した高ビット数(N+Mビット)のデジタルデータ(撮像データDcomp )を出力する高精細データ出力モードの2つのモードを1つのデバイスで実現することができる。
撮像デバイスの用途は、画質よりも高速動画の取り込みが要求されるものか、動画は必要ないが高画質が要求されるもの、などに分かれるが、出力データのビット数すなわちデータの精細度をモード切替えする本実施形態の仕組みによれば、この要求に柔軟に対処でき、使い勝手がよくなる。
<カラム処理部の動作>
図6および図7は、図2に示したカラム処理部20の動作を説明するタイミングチャートである。ここで、図7は、図6におけるトリガ信号TRG1が反転する近傍の拡大図である。
初段のカラム信号処理部22_1において、撮像部10の各単位画素3で感知されたアナログの画素信号S0をデジタルデータに変換する仕組みとしては、所定の傾きで変化するランプ波形状の参照信号RAMPと単位画素3からの画素信号S0の各電圧とが一致する点を探し、この比較処理で用いる参照信号RAMPの生成時点から、画素信号S0を示す電圧Aと参照信号RAMPとが一致した時点までをカウンタクロックでカウント(計数)することで、画素信号S0_1〜hの各大きさに対応したカウント値を得る手法を採る。
具体的には、先ず駆動信号操作部16は、カウンタ部216のカウント値を初期値“0”にリセットさせる。そして、任意の行Hxの単位画素3から垂直信号線18(H0,H1,…)への読出しが安定した後、駆動信号操作部16は、参照信号生成部27に向けて、参照信号RAMP生成用の制御データCN4を供給する。
これを受けて、参照信号生成部27は、電圧比較部214の一方の入力端子RAMPへの比較電圧として、全体として鋸歯状(RAMP状)に時間変化させた波形(RAMP波形)を入力する。電圧比較部214は、このRAMP波形の比較電圧と撮像部10から供給される任意の垂直信号線18(Hx)の画素信号電圧とを比較する。
なお、ここではCDS処理がなされた後の画素信号が電圧比較部214や誤差増幅器224に供給されるものとして説明する。垂直信号線18からの画素信号を直接に電圧比較部214に供給して、画素信号S0におけるリセットレベルVrst と信号レベルVsig のそれぞれについてデジタルデータに変換し、その差分をとることで真の信号成分を示す画素データD1を求めるようにしてもよい。またこの際には、カウンタ部216にアップダウンカウンタを用いて、基準成分であるリセットレベルVrst と信号レベルVsig のデジタル変換時のカウントモードを相異なるものとすれば、基準成分と信号成分との差を取るための特別な減算器が不要になる。
電圧比較部214の入力端子RAMPへの参照信号RAMPの入力と同時に、電圧比較部214における比較時間を、行ごとに配置されたカウンタ部216で計測するために、参照信号生成部27から発せられるランプ波形電圧RAMPに同期して、カウンタ部216のクロック端子CKに駆動信号操作部16からカウンタクロックCK0を入力し、カウント動作として、初期値“0”からアップカウントを開始する(t10)。
電圧比較部214は、参照信号生成部27からのランプ状の参照信号RAMP(電位B)と垂直信号線18を介して入力される画素信号S0の電位Aとの大小比較を行ない、双方の電圧が同じになったときに、コンパレータ出力をLレベルからHレベルへ反転させる(t14)。つまり、CDS処理後の信号成分に応じた電圧信号(電位A)と参照信号RAMP(電位B)とを比較して、CDS処理後の信号成分の大きさに対応した時間軸方向に大きさを持っているアクティブロー(H)のパルス信号(トリガ信号TRG1)を生成して、カウンタ部216に供給する。
なお、比較結果であるトリガ信号TRG1の出力タイミング(t14)は、電圧比較部214の比較精度(入力オフセットや処理速度など)に限界があることから、参照信号生成部27からのランプ状の参照信号RAMP(電位B)と垂直信号線18を介して入力される画素信号S0の電位Aとが等しい時点t12よりもΔtだけ遅れる。つまり、参照信号RAMPの電位Bが画素信号S0の電位Aよりもある程度(Δだけ)大きくなったとき(t14)、電圧比較部214は、その出力をLレベルからHレベルに反転させる。
この結果を受けて、カウンタ部216は、コンパレータ出力(トリガ信号TRG1)の反転とほぼ同時に、詳しくは電圧比較部214の出力反転直後のカウンタクロックCK0に同期して、その時点のカウント値を画素データD1としてラッチ(保持・記憶)することでAD変換を完了する(t16)。つまり、電圧比較部214における比較処理によって得られる時間軸方向に大きさを持っているアクティブロー(H)のパルス信号の幅をカウンタクロックCK0でカウント(計数)することで、CDS処理後の信号成分の大きさに対応したカウント値を得る。
次に、2段目のカラム信号処理部22_2において、電位保持部223は、初段のカラム信号処理部22_1のカウンタ出力を行ったタイミングを示すカウンタ部216からのトリガ信号TRG2をトリガとして、その時点の参照信号RAMPの電位Cを保持する(t18)。
ここで、カウンタクロックCK0とトリガ信号TRG1との位相関係が、図7(A)に示すように、トリガ信号TRG1の立上りエッジがカウンタクロックCK0のLレベルに位置するタイミングの場合には、トリガ信号TRG1の立上り直後のカウンタクロックCK0の立上りエッジで、カウンタ部216は、カウント値を画素データD1としてラッチして出力する(t16)。また、電位保持部223は、ほぼこの時点で立上りエッジが現われるトリガ信号TRG2をトリガとして参照信号RAMPの電位Cを保持する(t18)。よって、カウンタ出力時点と電位Cの取込み時点の同時性(t16=t18)が確保される。なお、この同時性に関しては、多少の問題があるので、後で説明する(図8参照)。
ただし、電位保持部223が保持した電位は、アナログの画素信号S0をデジタルの画素データD1に変換したタイミングt18の参照信号RAMPの電位Cであるが、画素信号S0の電位Aを正確に反映したものではない。
つまり、初段のカラム信号処理部22_1では、電圧比較部214の出力が反転したときの参照信号RAMPの電圧を表すカウンタ部216のカウント値を画素データD1として取得しているが、実際には、入力アナログ信号(画素信号S0)をNビットで量子化したときに、変換されずに残余成分が残る。
なお、この残余成分には、参照信号RAMPに載るノイズ成分の要因による変換誤差だけでなく、電圧比較部214の比較精度の要因による変換誤差も含まれないと考えてよい。カウンタクロックCK0の周期をある程度大きくして、画素データD1が1ビット変わる電圧(刻み)を大きくすることで、各垂直列の電圧比較部214の比較精度に限界があることに起因した誤差の影響を受け難いようにしているからである。
たとえば、図7(B)に示すように、カウンタクロックCK0の周期を短くして、カウンタ部216の出力が1ビット変わる電圧(刻み)を細かくすればするほど、電圧比較部214の比較精度に起因する変換誤差が起こり易くなり、高精度化に問題を有する。
これに対して、図7(C)に示すように、カウンタクロックCK0の周期を長くすれば、電圧比較部214の比較精度に起因するトリガ信号TRG1の位置ズレの影響を、その長い周期内に留めることができ、結果的には、電圧比較部214の比較精度に起因する変換誤差が起こり難くなる。
2段目のカラム信号処理部22_2においては、残余信号Δ1についてMビットでAD変換するべく、先ず誤差増幅器224にて、電位Cと画素信号S0の電位Aがどの程度異なるかを示す残余信号Δ1を求めて(図7(B)の左側参照)、これを増幅率αで増幅した後に、増幅残余信号α・Δ1(アナログ値)としてAD変換部226に出力する(図7(B)の右側参照)。AD変換部226は、誤差増幅器224から入力されたアナログの増幅残余信号α・Δ1を所定の方式によりMビット(たとえば2ビット)の画素データD2に変換する。
この後、駆動信号操作部16は、所定のカウント期間(Nビットのフルスケール幅を確保する期間)を経過すると(t20)、電圧比較部214への制御データの供給と、カウンタ部216へのカウンタクロックCK0の供給とを停止する。これにより、電圧比較部214は、ランプ状の参照信号RAMPの生成を停止する。
ここで、初段のカラム信号処理部22_1において、入力信号の大きさをNビットで量子化すると、いくつかの量子化ステップと、その余りの成分になる。これは割算にたとえれば、入力信号を量子化レベルで割算し、そのときの商と余りになる。残余信号Δ1は、この余りに相当するものである。
ただし、図7(A)に示すように、トリガ信号TRG1の立上りエッジがカウンタクロックCK0のLレベルに位置するタイミングの場合には、商を示すカウンタ部216のカウント結果は、実際の電位Aよりも残余信号Δ1分だけ大きい値となる点に注意する。
この余りは、2段目のカラム信号処理部22_2に属するAD変換部226で、1段目の量子化における1量子化レベルを2段目のフルスケールとして、再び量子化すればさらに細かく下位ビットの量子化をすることができ、これにより、上位ビットの粗さを下位ビットにより補正することができる。
前述のように、商を示すカウンタ部216のカウント結果(画素データD1)は、実際の電位Aよりも残余信号Δ1分だけ大きい値(電位C1に相当)となるので、補正によってN+Mビットの画素データDcompに変換するに際しては、D1N−D2Mなるデジタル演算を行なうとよい。
なお、t16時点のカウンタ部216のカウント結果(画素データD1)ではなく、カウンタ部216のカウント出力をカウンタクロックCK0で1クロック分遅らせてt16時点に取り込んだ画素データDD1を選択部26に渡し、AD変換部226からの画素データD2の反転値(画素データND2)との間で、DD1N+ND2Mなる処理を行なうとよい。
この処理は、実際には、画素データDD1をMビット分だけ上位側にビットシフトし、その下位側Mビット分に、Mビットの画素データND2を入れ込むだけでよく、論理演算処理が不要になる利点がある。これは、カウンタ部216からの画素データDD1は、実際の電位Aよりも“1量子化分−残余信号Δ1分(≒画素データND2)”だけ小さい値(電位C2に相当)となる点を考慮したものである。
N+Mビットのデジタルデータに変換する際に、並列型AD変換器のように、電圧比較器を分解能分用意して変換を全比較器一斉に行なう場合には、電圧比較器の数がビット数に比例して膨大になる。これに対して、本実施形態の構成では、多段構成でAD変換を行なう、すなわち、数段のブロックを用いて、上位ブロックのサブAD変換器(カラム信号処理部22_1)により上位ビットで粗くAD変換した後、次段以降の下位ブロックのサブAD変換器(カラム信号処理部22_2)により下位ビットで逐次上位の粗さを補正することにより、数ビットずつ変換結果を得て行くので、比較器の数を大幅に少なくできる。よって、高速でかつ分解能の高いAD変換器を実現することができ、高精度アナログアンプ用のADコンバータが小さいレイアウトで可能になる。加えて、並列型AD変換器に比べ、比較器の数を大幅に少なくできるので低消費電力化できる。
また、本実施形態の構成によれば、NビットAD変換機能を実現するためのカウンタクロックCK0の周期の調整によって、上位ブロックのサブAD変換器のAD変換の粗さを、各垂直列の電圧比較部214の比較精度に起因した変換誤差が生じ難い程度に設定しているので、次段以降で逐次上位の粗さを補正してデジタルデータの高精度化を行なっても、電圧比較部214の比較精度に起因した変換誤差が生じる可能性を少なくできる。
また、上位ブロックのサブAD変換器(初段のカラム信号処理部22_1)におけるAD変換では、NビットAD変換機能を実現するためのカウンタクロックCK0の周期の調整によって、上位ブロックのサブAD変換器のAD変換の粗さを、各垂直列の電圧比較部214に入力される参照信号RAMPに載るノイズに起因した変換誤差が生じ難い程度にして上位ブロックでのAD変換誤差を抑えている。
加えて、下位ブロックのサブAD変換器(2段目のカラム信号処理部22_2)において、カウンタ部216のカウント出力時点の参照信号RAMPに含まれるノイズによる誤差増幅器224の増幅結果に与える影響を抑制するようにしているので、下位ブロックで生成するMビットの画素データD2の、参照信号RAMPに載るノイズに起因したAD変換誤差を抑えることもできる。
よって、インピーダンスの高い電圧比較部214のリファレンスノードにノイズが載っても、下位ブロックで生成したMビットを上位ブロックで生成したNビットに追加することで(補正結果として)得られるN+Mビットの画素データDcompの、参照信号RAMPに載るノイズに起因したAD変換誤差を抑制できる。これにより、N+Mビットの画素データDcompを用いて画像処理することで、高画質な撮像画像を取得可能な撮像装置を実現できる。
<カウンタ出力時点と電位Cの取込み時点の同時性について>
図8は、カウンタ出力時点と電位Cの取込み時点の同時性に関する問題を説明する図である。上記の説明では、カウンタクロックCK0とトリガ信号TRG1との位相関係が、図7(A)に示すように、トリガ信号TRG1の立上りエッジがカウンタクロックCK0のLレベルに位置するタイミングの場合であって、カウンタ出力時点と電位Cの取込み時点の同時性(t16=t18)が確保される場合について説明した。
しかしながら、実際には、トリガ信号TRG1の立上りエッジがカウンタクロックCK0のHレベルに位置するタイミングで生じる場合もある。この場合には、カウンタ出力時点と電位Cの取込み時点の同時性(t16=t18)が確保されない。このため、電位保持部223が保持する電位Cは、初段のカラム信号処理部22_1でAD変換したタイミングの参照信号RAMPの電位を適切に表わすことができず、粗いNビットデータに対してMビットデータを追加してデータ精度向上を図るという目的が達成できない。
たとえば、比較対象の画素信号S0が同じであって、図8(A)に示すように、トリガ信号TRG1の立上りエッジがカウンタクロックCK0のLレベルに位置する位相関係の場合には、この条件を満足する限り、カウンタクロックCK0とトリガ信号TRG1との位相関係に関わらず、カウンタ出力時点(t16)と電位Cの取込み時点(t18)が必ず同じになるので、補正のための残余成分Δ1は、電圧比較部214によるカウント結果が示す参照信号RAMPの電位Cと画素信号S0の電位との差を正確に示すことができる。
これに対して、比較対象の画素信号S0が同じであっても、図8(B)に示すように、参照信号RAMPに対するカウンタクロックCK0の位相をトリガ信号TRG1の立上りエッジがカウンタクロックCK0のHレベルに位置するように変化させた場合には、2段目で電位保持部223が電位Cを保持するタイミング(t18)の方がカウンタ出力時点(t16)よりも早くなり、電圧比較部214によるカウント出力には、最大で、ほぼ、1つのクロックCK01の周期の1/2分だけの差を生じる。結果的には、補正のための残余成分Δ1は、電圧比較部214によるカウント結果が示す参照信号RAMPの電位Cと画素信号S0の電位との差を正確に示すことができなくなり、最大でNビットAD変換の1量子化分の誤差を持ってしまうことになる。
また参照信号RAMPをカウンタクロックCK0を用いて生成すれば、参照信号RAMPもクロックCK01の位相関係に連動するので参照信号RAMPに対するクロックCK01の位相関係を固定でき、画素信号S0の電位Aが同じである限りトリガ信号TRG1の出力反転のタイミングとクロックCK01の位相関係を同じに維持できる。
しかしながら、参照信号RAMPに対するクロックCK01の位相関係は、比較対象の画素信号S0の電位レベルによって変動するものであるから、この電位の違いによって、トリガ信号TRG1の出力反転のタイミングがクロックCK01の立上りエッジの直後からHレベルの間で生じるような電位Aである場合にも、2段目で電位保持部223が電位Cを保持するタイミング(t18)の方がカウンタ出力時点(t16)よりも早くなり、電圧比較部214によるカウント出力には、ほぼ、1つのクロックCK01の周期の1/2分だけの遅れが生じる。
結果的には、トリガ信号TRG1の出力反転のタイミングがクロックCK01の立上りエッジの直前で生じるような電位Aとの間では、実質的に、最大で、1つのクロックCK01の周期の1/2分だけズレる。よって、補正のための残余成分Δ1は、電圧比較部214によるカウント結果が示す参照信号RAMPの電位Cと画素信号S0の電位との差を正確に示すことができなくなり、最大で、NビットAD変換の1量子化分の誤差を持ってしまうことになる。
このため、何れの場合も、上位のカラム信号処理部22_1におけるNビットAD変換の残余成分を、下位のカラム信号処理部22_1におけるMビットAD変換の結果を用いて、D1N−D2Mなるデジタル演算を行なうことでは、適正な補正をすることができなくなる。データ的には、補正の方向が不適切になったり、Nビットデータ(D1)に対する補正量が不適切となったりするので、実質的には、上位のNビットAD変換の1量子化誤差が、補正後の画素データDcompにもそのまま反映されてしまうことになる。粗いNビットデータに対してMビットデータを追加してデータ精度向上を図る意味がなくなる。
カウンタ部216や電位保持部223に対するトリガ信号TRG1,2の取り扱い方式を変えても、2種類のトリガ信号TRG1,2を用いる限り、上記と同様の事象を解消することはできない。これは、電位保持部223が保持した参照信号RAMPの電位と、電圧比較部214によるカウント結果が示す参照信号RAMPの電位Cとの間では、1つのクロックCK01の周期の1/2分のズレを持ち得るので、NビットAD変換の残りを補正するために使用する残余成分Δ1としては、NビットAD変換の1量子化分の誤差を持ってしまうことになるからである。
トリガ信号TRG1の出力反転とカウンタクロックCK0の位相関係に基づいて、補正の演算処理を切り替えるなどにより対処することも可能であるが、位相関係の特定処理や補正演算処理の切替処理を行なうため、全体の処理が煩雑になる。
一方、この問題は、カウンタ出力時点と電位Cの取込み時点の同時性(t16=t18)を確保できるか否かに起因するものであるから、その根本原因に対処するべく、同時性を担保する仕組みを考えればよいことになる。このためには、カウンタ出力時点と電位Cの取込み時点を特定するトリガ信号を共通にすればよいし、あるいはトリガ信号TRG1の出力反転時点とカウンタクロックCK0との位相関係に関わらず、実質的にカウンタ出力時点と同じタイミングの電位Cを表わす電位信号を誤差増幅器224に供給すればよい。以下、これらを実現する変形例について説明する。
<第2実施形態>
図9は、第2実施形態のカラム処理部20の構成例の詳細を示す図である。この第2実施形態は、カウンタ出力時点と電位Cの取込み時点を特定するトリガ信号を共通にする点に特徴を有する。またその際、データの安定化のため、カウンタクロックCK0に同期させる。
たとえば、第2実施形態のカラム処理部20は、第1実施形態における2段目のカラム信号処理部22_2に設けられていたトリガ信号生成部221を取り外している。また、初段のカラム信号処理部22_1が、電圧比較部214が生成したトリガ信号TRG1をカウンタクロックCK0の立上りエッジに同期させるラッチで構成された同期化処理部218を有している。同期化処理部218は、同期化させたトリガ信号TRG3を、第1実施形態のTRG1,2に代えて、カウンタ部216と電位保持部223とに共通に入力する。
このような構成により、同期化処理部218は、トリガ信号TRG1の立上り直後のカウンタクロックCK0の立上りエッジを有効なトリガ位置とするトリガ信号TRG3を生成できる。つまり、カウンタクロックCK0とトリガ信号TRG1との位相関係に関わらず、カウンタ部216がトリガ信号TRG1の立上り直後のカウンタクロックCK0の立上りエッジでカウント結果(画素データD1_1〜h)を保持するタイミング(t16)と、電位保持部223で参照信号RAMPの電位Cを保持するタイミング(t18)とを、必ず同時にすることができる。よって、第2実施形態の構成においても、第1実施形態と同様の効果を享受できる。
<第3実施形態>
図10は、第3実施形態のカラム処理部20の構成例の詳細を示す図である。この第3実施形態は、トリガ信号TRG1の出力反転時点とカウンタクロックCK0との位相関係に関わらず、カウンタ出力時点と同じタイミングの参照信号RAMPの電位Cを表わす電位信号をカウンタ部216から出力される画素データD1に基づいて生成し、これを誤差増幅器224に供給する点に特徴を有する。
たとえば、第3実施形態のカラム処理部20は、第1実施形態における2段目のカラム信号処理部22_2に設けられていたトリガ信号生成部221およびノイズ抑制処理部222を取り外している。また、2段目のカラム信号処理部22_2は、電位保持部223に代えて、カウンタ部216から出力される画素データD1をアナログ電圧値Vdac に変換するDA変換部(DAC)228を有している。DA変換部228は、この生成したアナログ電圧値Vdac を、誤差増幅器224の非反転入力端子(+)に入力する。
カウンタ部216から出力される画素データD1は、カウンタ出力時点と同じタイミングの参照信号RAMPの電位Cを表わすものであるから、DA変換部228から出力されるアナログ電圧値Vdac は、当然に、カウンタ出力時点と同じタイミングの参照信号RAMPの電位Cを表わすアナログの電位信号となる。カウンタ出力時点と電位Cの取込み時点の同時性(t16=t18)が確保される。
このような構成により、誤差増幅器224は、第1実施形態での説明と同様に、増幅残余信号α・Δ1を生成して後段のAD変換部226へ渡すことができる。つまり、初段のカラム信号処理部22_1において上位NビットのAD変換を行なうと同時に、DA変換部228によりカウンタ出力時点と同じタイミングの参照信号RAMPの電位Cを表わすアナログ電圧値Vdac を生成して誤差増幅器224に供給する。この後、誤差増幅器224にて、カウンタ部216がカウンタ値を保持した(カウント出力を行った)時点の参照信号RAMPの電位Cと、その時点の画素信号S0_1〜hの電位Aとの差を示す残余信号Δ1を作り出し、それを増幅してα・Δ1として、後段のAD変換部226へ渡す。よって、第3実施形態の構成においても、第1実施形態と同様の効果を享受できる。
たとえば、上位ブロックのサブAD変換器(初段のカラム信号処理部22_1)におけるAD変換では、NビットAD変換機能を実現するためのカウンタクロックCK0の周期の調整によって、上位ブロックのサブAD変換器のAD変換の粗さを、各垂直列の電圧比較部214に入力される参照信号RAMPに載るノイズに起因した変換誤差が生じ難い程度にして上位ブロックでのAD変換誤差を抑えているので、DA変換部228で生成されるアナログ電圧値Vdac も、参照信号RAMPに載るノイズの影響を受け難いようになっている。
このことは、下位ブロックのサブAD変換器(2段目のカラム信号処理部22_2)において、カウンタ部216のカウント出力時点の参照信号RAMPに含まれるノイズによる誤差増幅器224の増幅結果に与える影響を抑制するようにもなると考えてよく、下位ブロックで生成するMビットの画素データD2の、参照信号RAMPに載るノイズに起因したAD変換誤差を抑えることもできる。つまり、第3実施形態の構成においては、カラム信号処理部22_1とDA変換部228と誤差増幅器224とで、カウント出力時点の参照信号RAMPに含まれるノイズによる誤差増幅器224の増幅結果に与える影響を抑制するノイズ抑制増幅部225が構成されると考えてよい。
以上、本発明を実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施形態に多様な変更または改良を加えることができ、そのような変更または改良を加えた形態も本発明の技術的範囲に含まれる。
また、上記の実施形態は、クレーム(請求項)にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組合せの全てが発明の解決手段に必須であるとは限らない。前述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜の組合せにより種々の発明を抽出できる。実施形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られる限りにおいて、この幾つかの構成要件が削除された構成が発明として抽出され得る。
たとえば、上記実施形態では、アドレス制御により個々の単位画素からの信号を任意選択して読出可能な固体撮像装置の一例として、光を受光することで信号電荷を生成する画素部を備えたCMOSセンサを例に示したが、信号電荷の生成は、光に限らず、たとえば赤外線、紫外線、あるいはX線などの電磁波一般に適用可能であり、この電磁波を受けてその量に応じたアナログ信号を出力する素子が多数配列された単位構成要素を備えた半導体装置に、上記実施形態で示した事項を適用可能である。
また、上記実施形態では、アナログの画素信号S0とAD変換用の参照信号RAMPとを比較する比較部と、比較部における比較処理と並行してカウント処理を行ない、比較部における比較処理が完了した時点のカウント値を保持するカウンタ部とを備えてなるAD変換回路(AD変換装置;前例ではカラム信号処理部)を固体撮像装置に適用した事例を説明したが、上記実施形態で説明したAD変換回路の仕組みは、固体撮像装置に限らず、アナログの信号成分をデジタルデータに変換するためのAD変換の仕組みを用いるあらゆる電子機器に適用することができる。
また、上記実施形態で説明したAD変換回路(AD変換装置)は、固体撮像装置やその他の電子機器に組み込まれて提供されることに限らず、たとえばIC(Integrated Circuit;集積回路)やAD変換モジュールなどのようにして、単独の装置として提供されてもよい。
この場合、比較部とカウンタ部とを備えたAD変換装置で提供してもよいが、AD変換用の参照信号を生成し比較部に供給する参照信号生成部や、各機能部を制御する駆動信号操作部も同一の半導体基板上に配したIC(集積回路)や個別チップなどの組合せでなるモジュールに組み込んで提供してもよい。
これらを組み込んで提供することで、比較部とカウンタ部の動作を制御するために必要な機能部を纏めて取り扱うことができ、部材の取扱いや管理が簡易になる。また、AD変換処理に必要な要素がICやモジュールとして纏まって(一体となって)いるので、固体撮像装置やその他の電子機器の完成品の製造も容易になる。
1…固体撮像装置、3…単位画素、7…駆動制御部、10…撮像部、12…水平走査部、14…垂直走査部、15…垂直制御線、16…駆動信号操作部、18…垂直信号線、20…カラム処理部、22…カラム信号処理部、23…クロック変換部、26…選択部、27…参照信号生成部、27a…DA変換回路、28…水平信号線、29…出力回路、60…水平選択スイッチ部、200…カウンタ部、214…電圧比較部、216…カウンタ部、217…データ保持部、218…同期化処理部、221…トリガ信号生成部、222…ノイズ抑制処理部、223…電位保持部、224…誤差増幅器、225…ノイズ抑制増幅部、226…AD変換部、228…DA変換部、262…データ補正部、264…出力データ切替部