JP2010283525A - 撮像装置 - Google Patents

Abstract

【課題】信号電荷のオーバーフローによる信号出力のダイナミックレンジの低下を防止する。
【解決手段】フォトダイオード１１と、フォトダイオード１１で発生する信号電荷を電圧信号に変換した後に読み出す信号読み出し部２０と、フォトダイオード１１で発生する信号電荷がオーバーフローしたことを検知するオーバーフロー検知部３０と、フォトダイオード１１信号電荷の発生が開始されてからの経過時間に相当する情報を生成し、オーバーフロー検知部３０によりオーバーフローが検知された際にこの情報を読み出す経過時間情報読み出し部４０とを具備する。
【選択図】 図３

Description

本発明は、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなど、光信号を電気信号に変換し、撮像面に投影された像を電気的に読み出す撮像素子を用いた撮像装置に関する。

従来のＣＣＤイメージセンサやＣＭＯＳイメージセンサでは、撮像面に配置された画素の中の撮像素子（フォトダイオード）が、光電変換によって受光光量に比例した電荷を発生し、画素毎の信号電荷を読み出すことで受光面における画像を電気信号として再生している。

ＣＣＤイメージセンサとＣＭＯＳイメージセンサの最も大きな相違点は、信号電荷の読み出し方式にある。ＣＣＤイメージセンサでは発生した電荷を電荷結合素子（Charge Coupled Device、ＣＣＤ）で電荷のまま増幅アンプ部まで転送して読み出す方式であり、ＣＭＯＳイメージセンサでは発生した電荷をその画素内で増幅アンプによって電圧に変換し、この電圧を、信号読み出しを制御する回路によってスイッチングを行いながら画素毎に読み出すという方式の違いがある。ＣＣＤイメージセンサ及びＣＭＯＳイメージセンサではそれぞれ長所と短所があり、現在ではどちらの方式も使われている。

このように大きく分けて２種のイメージセンサが存在しているが、どちらも光信号に比例してフォトダイオードで発生される信号電荷を読み出しているため、捉えられる光強度信号のダイナミックレンジが狭いという短所が原理的に存在する。すなわち、光量に線形に比例して信号電荷は増大するが、光電変換部のフォトダイオードで蓄積できる電荷量には限度があり、これが受光画像のダイナミックレンジの最大値を決める。また、信号電荷をある分解能で読み出すことを考えたとき、分解能のＬＳＢ（Least Significant Bit）がダイナミックレンジの最小値を決める。さらにフォトダイオードには通常暗電流が存在しており、この値の画素間のばらつきや温度特性から、最も暗いときの情報は最小感度であるところの１ＬＳＢまでの精度では読み出せないというのが一般的である。

こうした電荷の飽和や最小感度限界の問題は、画像としては「白飛び」や「黒つぶれ」として表れる。飽和して白飛びした箇所の画像情報は、飽和した白であるという情報しか持たず、その明度の階調情報や、カラーの場合にはその隣接する３色の画素の強度割合、すなわち色調に関する情報などのディテールが失われてしまう。また、カラーで撮像した画像で、隣接する３原色の１色ないしは２色の画素情報が飽和し、残りの色の画素が飽和していないような場合には、実際の色とは異なる色が表現されてしまうという問題がある。また、最小感度の限界の問題は、あるノイズレベル以下の画素の情報は一律で０であること、すなわち画像としては「黒つぶれ」として表れ、黒つぶれした箇所の画像情報はどの程度暗いかという情報を持たず、一律に０レベルの黒であるという情報しか持たないため、そのディテールが失われてしまう。

この「白飛び」と「黒つぶれ」に対する通常の対策は相反した結果につながる。すなわち、ある画像において白飛びを防ごうとして絞りを絞り込んだり、露出時間を短くしたりすると、暗い場所がより黒つぶれしやすくなり、逆に黒つぶれを防ごうと絞りを開いたり、露出時間を長くしたりすると明るい箇所がより白飛びしやすくなってしまう。

このような現象（短所）は、従来のフィルム撮影と比べて大きく劣る部分であり、ＣＣＤイメージセンサやＣＭＯＳイメージセンサを利用した撮像機器においては一般的な現象であるため、この問題を解消し、限定された信号出力のダイナミックレンジを拡大するために、現在までに様々な方法が提唱されている。

こうした信号出力のダイナミックレンジを拡大するために現在提唱されているいくつかの方策例を以下に挙げる。なお、下記の方策例（１）〜（５）については、例えば非特許文献１に開示されている。

（１）デュアルサンプリング：蓄積時間を変えて２回サンプリングし、この２つの画像を合成してダイナミックレンジの広い画像を得る。信号の同時性の問題を本質的に有しており、動体の撮影で短所となる。デュアルサンプリングを適用した具体例としては、例えば特許文献１に開示されているものが知られている。

（２）対数変換：ＭＯＳトランジスタのドレイン電流とゲート・ソース間電圧が対数特性を示すことを利用し、画素の中で対数変換を行う。光信号が小さいときの応答性や暗時オフセットの指数伸張（低いレベルが指数拡大されるため、暗レベルのばらつきによる固定パターンノイズが拡大される）の問題がある。

（３）蓄積容量変調方式：光信号の強度に応じて信号電荷を蓄積するＦＤ（Floating Diffusion）容量を変調する方式。ダイナミックレンジの上限範囲が、ＦＤ容量に持たせられるキャパシタンス値の上限で物理的に決まってしまう。

（４）画素内Ａ／Ｄコンバータと複数回サンプリング：画素内にＡ／Ｄ変換機能をもたせ、蓄積時間を変化させて、信号レベルに応じて分解能を変化させる方式。画素内に素子を多く配置しなければならない問題がある。

（５）画素内アナログ処理方式：デュアルサンプリングの方式を画素の中でアナログ的に演算して行う。（１）と同様に信号の同時性の問題を本質的に有しており、動体の撮影で短所となる。

以上のように、従来の撮像装置ではダイナミックレンジが限られており、その結果、得られる画像に白飛びや黒つぶれが発生するという問題を有している。また、これに対処するためのいくつかの対策がなされているが、いずれの場合にもそれぞれ長所もあるが短所も有している。

特開２００７−２８８８０５号公報

米本和也著「ＣＣＤ／ＣＭＯＳイメージ・センサの基礎と応用」ＣＱ出版社 ２００３年８月１０日発行

本発明は、上記のような事情を考慮してなされたものであり、その目的は、簡単な回路構成によってダイナミックレンジを広げることができる撮像装置を提供することにある。

本発明の撮像装置は、照射された光の強度に応じて信号電荷を発生する光電変換部と、前記光電変換部で発生する信号電荷もしくは信号電荷を電圧信号に変換した後に読み出す信号読み出し部と、前記光電変換部で発生する信号電荷がオーバーフローしたことを検知するオーバーフロー検知部と、前記光電変換部で前記信号電荷の発生が開始されてからの経過時間に相当する情報を生成し、前記オーバーフロー検知部によりオーバーフローが検知された際にこの情報を読み出す経過時間情報読み出し部とを具備したことを特徴する。

本発明の撮像装置は、照射された光の強度に応じて信号電荷を発生する光電変換部と、前記光電変換部で発生する信号電荷を蓄積し、前記光電変換部における単位変換期間の終了後に信号電荷を読み出すＣＣＤからなる信号電荷転送部と、前記光電変換部からオーバーフローする電荷を蓄積し、前記光電変換部における単位変換期間内に電荷の読み出し動作を複数回行なうＣＣＤからなるオーバーフロー電荷転送部とを具備したことを特徴とする。

本発明によれば、簡単な回路構成によってダイナミックレンジを広げることができる撮像装置を提供することができる。

本発明の種々の実施形態に係る撮像装置の原理を説明するための特性図。 本発明の種々の実施形態に係る撮像装置において画素の信号出力飽和時の時間カウント出力値と演算処理すべき倍率を示す図。 本発明の第１の実施形態に係るＣＭＯＳイメージセンサの構成を示す回路図。 本発明の第２の実施形態に係るＣＣＤイメージセンサの構成を示す回路図。 本発明の第３の実施形態に係るＣＭＯＳイメージセンサの構成を示す回路図。 本発明の第４の実施形態に係るＣＣＤイメージセンサの構成を示す回路図。 本発明の第５の実施形態に係るＣＣＤイメージセンサの構成を示す回路図及び動作を説明するためのポテンシャル図。 図７のＣＣＤイメージセンサの動作を説明するための波形図。

まず、本発明の実施の形態を説明する前に、本発明の原理について説明する。

図１（ａ）は、従来の撮像装置における画素内のフォトダイオードの信号電荷蓄積時間ｔと蓄積電荷Ｑとの関係を示している。単位変換期間である１蓄積時間内において蓄積電荷量が飽和レベルに達すると、フォトダイオードではそれ以上の信号電荷を蓄積することができず、いわゆる「白とび」が発生し、その画素は白とび画素となる。他方、１蓄積時間内において蓄積電荷量が低いレベルであると、いわゆる「黒つぶれ」が発生し、その画素は黒つぶれ画素となる。白とび画素と黒つぶれ画素の間に存在する画素が正常画素である。

本発明の種々の実施形態に係る撮像装置では、画像を撮像した際にフォトダイオードで信号電荷の飽和が発生していない場合には、従来の撮像装置となんら変わるところがなくフォトダイオードで光電変換された信号電荷がそのまま読み出される。

図１（ａ）に示すように、蓄積電荷の飽和が発生した場合、どの程度の光量で飽和したのかが、飽和したフォトダイオードの信号電荷量を比較しても区別がつかない。そこで、本発明の種々の実施形態の撮像装置では、この飽和の程度を見分けるために、１蓄積時間の中でその経過時間を計測し、飽和が発生したタイミングで経過時間の計測を停止し、経過時間に相当する経過時間情報を読み出し、どの程度の光量で飽和したのかを算出するためにこの経過時間情報を用いる。なお、経過時間情報はアナログ信号でもデジタル信号でもよい。

例えば１蓄積時間の半分の経過時間で飽和が発生したのであれば、その光量はその画素から得られた飽和光量信号の２倍であり、１００分の１の経過時間で飽和したのであればその光量はその画素から得られた信号の１００倍である。一般的には、１蓄積時間のＸ分の１の経過時間で飽和が発生したのであれば、その光量はその画素から得られた飽和光量信号のＸ倍となる。

図１（ｂ）は、上段に１蓄積時間ｔとフォトダイオードの出力Ｑ0との関係を示し、下段に１蓄積時間ｔと経過時間情報との関係を示している。上段に示すように（１）、（２）、（３）の信号の順に飽和レベルに達する時間が長くなっている。ここで、例えば（１）の信号を出力するフォトダイオードに注目すると、１蓄積時間内の経過時間を最大値ｎのカウンタで与えることを考え、１蓄積時間をｎとする。（１）の信号はこのカウント値がｍ（ｍ＜ｎ）のときに飽和しているので、（１）の信号のフォトダイオードで本来得られるべき出力Ｑ0は飽和レベルにｎ／ｍを乗じた値であることがわかる。

すなわち実際の光強度Ｉは、フォトダイオードで検出された飽和値から求められる光強度をＩ0とすると、Ｉ＝Ｉ0×ｎ／ｍとなる。

図２は、本発明の種々の実施形態に係る撮像装置において、例えば、経過時間情報をカウンタを用いてデジタル信号として計測する場合に、カウンタの最大値を２０（ｎ＝２０）とし、カウント値ｍが変わったときの当該画素の飽和値に乗ずるべき値（倍率）の変化の一例とその倍率を算出した結果を示している。例えば、カウント値ｍが１０の場合には、当該画素から読み出される信号電荷の飽和値に２．００の倍率を乗じることにより、画素に照射された実際の光強度に対応した信号電荷量を得ることができる。

次に本発明の実施形態について説明する。

（第１の実施形態）
図３は、本発明の撮像装置をＣＭＯＳイメージセンサに実施した場合の回路図である。本実施形態のＣＭＯＳイメージセンサは複数の画素が配列された画素アレイ及び制御回路を有し、図３では画素アレイ中の１個の画素と制御回路の一部の構成を示している。画素１０内には、照射された光の強度に応じて信号電荷を発生する光電変換部であるフォトダイオード１１が設けられている。フォトダイオード１１で光電変換された信号電荷は、信号読み出し部２０により電圧信号に変換され、ＣＭＯＳイメージセンサ出力として読み出される。信号読み出し部２０は、フォトダイオード１１に接続されたスイッチ２１、スイッチ２１を介して供給される信号電荷を電圧信号に変換する容量２２、容量２２で変換された電圧信号を増幅する増幅器２３、増幅器２３に接続されたスイッチ２４により構成されている。

フォトダイオード１１の素子面積には制約があるので、強度の光が照射されるとフォトダイオード１１で信号電荷のオーバーフローが発生することがある。フォトダイオード１１からオーバーフローした電荷は、オーバーフロー検知部３０により検知される。オーバーフロー検知部３０は、ツェナーダイオード３１、容量３２、及び高利得（ハイゲイン）の増幅器３３等によって構成されている。フォトダイオード１１から電荷がオーバーフローすると、ツェナーダイオード３１を介して容量３２に電荷が蓄積されて電圧信号に変換され、増幅器３３で増幅されることによりオーバーフローフラグＯＦが出力される。

また、図３のＣＭＯＳイメージセンサでは、フォトダイオード１１の１蓄積時間の中でその経過時間を計測しかつ読み出す手段として経過時間情報読み出し部４０が設けられている。経過時間情報読み出し部４０は、フォトダイオード１１で信号電荷の発生が開始されてからの経過時間に相当する情報を生成し、オーバーフロー検知部３０からオーバーフローフラグＯＦが出力された際の上記情報を読み出すものであり、本例では、画素１０の外部に設けられているアナログ信号出力回路４１と、各画素１０内に設けられているアナログ信号保持／読み出し回路４２とからなる。

アナログ信号出力回路４１は、フォトダイオード１１の１蓄積時間内でランプ関数状に変化するアナログ信号ＡＳを出力するものであり、例えば、一定周期のパルス信号を出力する発振回路４３、発振回路４３から出力されるパルス信号をカウントしてデジタル信号を出力するカウンタ回路４４、カウンタ回路４４から出力されるデジタル信号をＡ／Ｄ変換してランプ関数状に変化するアナログ信号を出力するＡ／Ｄ変換器４５、及びＡ／Ｄ変換器４５の出力を増幅して複数の画素１０に供給する増幅器４６により構成されている。

アナログ信号保持／読み出し回路４２は、オーバーフロー検知部３０からオーバーフローフラグＯＦが出力された際のアナログ信号ＡＳを保持し、経過時間情報ＴＤとして読み出すものであり、アナログ信号出力回路４１から出力されるアナログ信号ＡＳを増幅する増幅器４７、この増幅器４７の出力をオーバーフローフラグＯＦに基づいてサンプル／ホールドするサンプル／ホールド回路（アナログ信号保持回路）４８、及びサンプル／ホールド回路４８の出力を経過時間情報ＴＤとして読み出すスイッチ４９により構成されている。なお、サンプル／ホールド回路４８は、例えば、抵抗５１と容量５２からなり増幅器４７の出力を一定の時定数で充電する充電回路、抵抗５１と容量５２との間に挿入されオーバーフローフラグＯＦに基づいて制御されるスイッチ５３、及び充電回路の充電電圧を増幅する増幅器５４等により構成されている。

すなわち、本実施形態のＣＭＯＳイメージセンサでは、１蓄積時間内の経過時間を計測するための信号として、例えばランプ関数状に変化するアナログ信号を用いるようにしたものである。しかし、アナログ信号はランプ関数状に変化する波形に限定されない。このアナログ信号の値が１蓄積時間の最後で想定した最大値となるように、発振回路４３の周波数等が適宜選択される。また、図３のＣＭＯＳイメージセンサは、電子シャッタ駆動によりグローバル露光（全ての画素を同じ期間中に蓄積動作を行う露光）で動作していることを前提としている。

図３のＣＭＯＳイメージセンサにおいて、ある１画素（フォトダイオード１１）の出力が飽和すると、蓄積された電荷があふれオーバーフローを起こす。このあふれた電荷は隣の画素に漏れ込み、悪影響を及ぼすことがあり、通常はセンサの基板内に廃棄される。本実施形態では、フォトダイオード１１からあふれた電荷をオーバーフロー検知部３０内の小さな容量３２に蓄えて電圧に変換し、高利得の増幅器３３で増幅して飽和を検知するオーバーフローフラグＯＦとして利用する。

オーバーフローフラグＯＦが発生すると、ランプ関数状に変化するアナログ信号ＡＳをサンプル／ホールド回路４８でホールドする。すなわち、オーバーフローフラグＯＦが発生したときにサンプル／ホールド回路４８内のスイッチ５３を開き、充電回路の充電動作を停止させる。オーバーフローフラグＯＦが発生しない場合には、１蓄積時間の最後にホールド信号を発生させてランプ関数状のアナログ信号の最後の値をサンプル／ホールド回路４８でホールドさせる。なお、サンプル／ホールド回路４８は１蓄積時間の最初には必ずサンプルモードに入れるものとする。

ＣＭＯＳイメージセンサでは、その読み出しの仕組みから、サンプル／ホールド回路４８でホールドされたアナログ信号（経過時間情報ＴＤ）は画素信号と同様に読み出すことができる。すなわち、経過時間情報ＴＤは、信号読み出し部２０によるＣＭＯＳセンサの読み出しと同様に、どの画素信号を読み出すかを制御する垂直及び水平走査回路の出力に基づいてスイッチ４９を制御して読み出しを行えばよい。

上記のようにして各画素から読み出された経過時間情報ＴＤを用いて、図１及び図２で説明したように、各画素から読み出される信号電荷の飽和値に経過時間情報ＴＤに基づく倍率を乗じる演算を施すことにより、各画素に照射された実際の光強度に対応した信号電荷量を得ることができる。この結果、本実施形態によればダイナミックレンジを広げることができる。しかも、簡単な回路の追加によって実現できる。

なお、本実施形態のＣＭＯＳイメージセンサは電子シャッタ駆動によるグローバル露光を前提としている。しかし、そうでないライン露光の場合はライン毎に信号電荷の蓄積タイミングがずれてくる。このため、サンプル／ホールド回路４８でホールドされる経過時間情報ＴＤは、ライン毎にタイミングがずれた分だけ補正する必要がある。またはライン毎にタイミングを少しずつずらしたランプ状波形を入力する必要があり、この場合はラインの数だけ時間計測用のアナログ信号を発生させるようにすればよい。

また、本実施形態では、オーバーフロー検知部３０は、容量３２により変換された電圧信号を高利得の増幅器３３で増幅することによってオーバーフローを検知する場合について説明した。しかし、容量３２により変換された電圧信号がある一定のスレッショルドに達したことを検知して、オーバーフローフラグの代わりとしてもよい。この方法は画素内で電荷を電圧に変換して読み出すＣＭＯＳイメージセンサに適用することができる。

（第２の実施形態）
図４は、本発明の撮像装置をＣＣＤイメージセンサに実施した場合の回路図である。本実施形態のＣＣＤイメージセンサは複数の画素が配列された画素アレイ及び制御回路を有し、図４では画素アレイ中の１個の画素と制御回路の一部の構成を示している。なお、図３に示す第１の実施形態のＣＭＯＳイメージセンサと対応する箇所には同じ符号を付して重複する説明は避ける。

ＣＣＤイメージセンサの場合には、電荷をアナログ的にシフトするＣＣＤによる転送を利用することができる。すなわち、本例では、信号読み出し部２０は、フォトダイオード１１に接続されたスイッチ２１と、垂直及び水平ＣＣＤレジスタ２５とから構成されている。また、アナログ信号保持／読み出し回路４２は、アナログ信号ＡＳを増幅する増幅器４７、増幅器４７の出力をオーバーフローフラグＯＦに基づいてサンプル／ホールドするサンプル／ホールド回路（アナログ信号保持回路）４８、及びサンプル／ホールド回路４８の出力を経過時間情報ＴＤとして読み出す垂直及び水平ＣＣＤレジスタ５５により構成されている。この場合、サンプル／ホールド回路４８は、増幅器４７の出力を電荷の状態でサンプル／ホールドするものであり、例えば、一端が増幅器４７の出力ノードに接続された抵抗５６、一端が一定のアナログ電圧ＶADのノードに接続され、抵抗５６と共に充電回路を構成する容量５７、及び抵抗５６と容量５７の他端相互間に挿入され、オーバーフローフラグＯＦに基づいて制御されるスイッチ５８によって構成されている。

本実施形態のＣＣＤイメージセンサでは、フォトダイオード１１で光電変換された信号電荷は、信号読み出し部２０内のスイッチ２１を介して、まず、垂直及び水平ＣＣＤレジスタ２５の垂直ＣＣＤレジスタに電荷の状態で送られ、その後、垂直ＣＣＤレジスタ内で順次転送されて水平ＣＣＤレジスタに送られ、さらに水平ＣＣＤレジスタ内で順次転送された後、アンプ部に導かれ、電圧信号に変換される。

オーバーフローフラグＯＦが発生したときは、ランプ関数状に変化するアナログ信号ＡＳをサンプル／ホールド回路４８でホールドする。すなわち、オーバーフローフラグＯＦが発生したときにサンプル／ホールド回路４８内のスイッチ５８を開き、充電回路の充電動作を停止させる。オーバーフローフラグＯＦが発生しない場合には、１蓄積時間の最後にホールド信号を発生させてランプ関数状のアナログ信号の最後の値をサンプル／ホールド回路４８でホールドさせる。なお、サンプル／ホールド回路４８は１蓄積時間の最初には必ずサンプルモードに入れるものとする。図３の場合とは異なり、増幅器５４が設けられていないので、経過時間情報ＴＤは容量５７に電荷の状態で保持される。容量５７に保持された経過時間情報ＴＤは、信号読み出し部２０による場合と同様に、まず、垂直及び水平ＣＣＤレジスタ５５の垂直ＣＣＤレジスタに電荷の状態で送られ、その後、垂直ＣＣＤレジスタ内で順次転送されて水平ＣＣＤレジスタに送られ、さらに水平ＣＣＤレジスタ内で順次転送された後、アンプ部に導かれ、電圧信号に変換される。

上記のようにして各画素から読み出された経過時間情報ＴＤを用いて、図１及び図２で説明したように、各画素から読み出される信号電荷の飽和値に経過時間情報ＴＤに基づく倍率を乗じる演算を施すことにより、各画素に照射された実際の光強度に対応した信号電荷量を得ることができる。この結果、本実施形態によれば、ダイナミックレンジを広げることができる。しかも、簡単な回路の追加によってこれを実現できる。

（第３の実施形態）
第１、第２の実施形態の撮像装置では、各画素に供給する経過時間を計測するための信号としてアナログ信号を用いている。これは画素内の素子配置スペースが限られている場合に有効である。しかし、画素内の素子配置スペースに余裕があればデジタル信号を用いることもできる。

図５は、本発明の撮像装置を、１蓄積時間内の経過時間を計測するための信号としてデジタル信号を用いたＣＭＯＳイメージセンサに実施した場合の回路図である。本実施形態のＣＭＯＳイメージセンサは複数の画素が配列された画素アレイ及び制御回路を有し、図５では画素アレイ中の１個の画素と制御回路の一部の構成を示している。なお、図３に示す第１の実施形態のＣＭＯＳイメージセンサと対応する箇所には同じ符号を付して重複する説明は避ける。

図５のＣＭＯＳイメージセンサにおいて、フォトダイオード１１の１蓄積時間の中でその経過時間を計測しかつ読み出す手段である経過時間情報読み出し部４０は、画素１０の外部に設けられているクロック信号発生回路６１と、各画素１０内に設けられているデジタル信号保持／読み出し回路６２とからなる。

クロック信号発生回路６１は、例えば、一定周期のパルス信号を出力する発振回路６３と、発振回路６３から出力されるパルス信号をカウントしてクロック信号ＣＫを出力するカウンタ回路６４とから構成されている。

デジタル信号保持／読み出し回路６２は、クロック信号発生回路６１から出力されるクロック信号ＣＫをカウントして１蓄積時間の中でその経過時間を計測し、オーバーフロー検知部３０からオーバーフローフラグＯＦが出力された際のカウント値を経過時間情報ＴＤとして保持し、読み出すものであり、デジタル信号保持回路６４と、デジタル信号読み出し回路６５とから構成されている。さらに、デジタル信号保持回路６４は、クロック信号発生回路６１から出力されるクロック信号ＣＫとオーバーフローフラグＯＦとが入力されるゲート回路（ＡＮＤゲート）６６と、このゲート回路６６の出力信号がクロック入力端子に供給されるカウンタ回路６７とを有する。カウンタ回路６７はリセット信号ＲＳによってカウント状態がリセットされる。カウンタ回路６７の複数ビットからなるカウント値（パラレルデジタル信号）はデジタル信号読み出し回路６５に供給される。デジタル信号読み出し回路６５は、カウンタ回路６７から出力されるパラレルデジタル信号をシリアルデジタル信号に変換するシフトレジスタ回路６８と、データ出力イネーブル信号ＥＮ及び読み出し用クロック信号ＲＤが入力され、シフトレジスタ回路６８のクロック入力端子にシフト用クロック信号を供給するゲート回路（ＡＮＤゲート）６９と、シフトレジスタ回路６８のシリアルデジタル信号出力を経過時間情報ＴＤとして読み出すスイッチ７０とを有する。

なお、本実施形態のＣＭＯＳイメージセンサは、第１、第２の実施形態のＣＭＯＳイメージセンサの場合と同様に、電子シャッタ駆動により、グローバル露光で動作することを前提としている。

本実施形態のＣＭＯＳイメージセンサにおいて、フォトダイオード１１の１蓄積時間が開始されると、カウンタ回路６７はクロック信号発生回路６１から出力されるクロック信号ＣＫを順次カウントし、そのカウント値が上がっていく。このカウント値を時間計測信号とする。なお、カウンタ回路６７によるカウント値の最大値が１蓄積時間の最後に想定した最大値となるように、クロック信号ＣＫの周波数が制御される。

オーバーフローフラグＯＦが発生すると、ゲート回路６６が閉じてカウンタ回路６７へのクロック信号ＣＫの供給が停止し、カウンタ回路６７のカウント値も停止する。１蓄積時間内でオーバーフローフラグＯＦが発生しない場合、カウンタ回路６７のカウント値は最後の値（最大値）で止まるものとする。この後、ゲート回路６９からシフト用クロック信号が供給されることにより、カウンタ回路６７のカウント値（パラレルデジタル信号）がシフトレジスタ回路６８によりシリアルデジタル信号に変換され、かつスイッチ７０を介して経過時間情報ＴＤとして読み出される。なお、カウンタ回路６７のカウント値は、リセット信号ＲＳにより１蓄積時間の最初にリセットされる。

上記のようにして各画素から読み出された経過時間情報ＴＤを用いて、図１及び図２で説明したように、各画素から読み出される信号電荷の飽和値に経過時間情報ＴＤに基づく倍率を乗じる演算を施すことにより、各画素に照射された実際の光強度に対応した信号電荷量を得ることができる。この結果、本実施形態によればダイナミックレンジを広げることができる。しかも、簡単な回路の追加によってこれを実現できる。

なお、本実施形態では、カウンタ回路６７のカウント値であるパラレルデジタル信号をシフトレジスタ回路６８によりシリアル信号に変換した後に読み出す場合を説明した。しかし、シフトレジスタ回路６８を設けずに、カウンタ回路６７のパラレルデジタル信号をデータバス上に出力し、各画素の経過時間情報ＴＤをこのデータバスから読み込むように変形してもよい。

また、第１の実施形態の場合と同様に、フォトダイオード１１からオーバーフローした電荷を容量３２により電圧信号に変換し、この電圧信号がある一定のスレッショルドに達したことを検知して、オーバーフローフラグの代わりとしてもよい。

さらに、本実施形態では、各画素１０内にカウンタ回路６７を有するデジタル信号保持回路６４を設け、各画素１０内で経過時間情報ＴＤを生成する場合について説明した。しかし、素子内部のスペース上許容されるならば、直接時間信号としてパラレルのデータを供給し、これを各画素１０内においてオーバーフローフラグＯＦによってラッチするように変形してもよい。

（第４の実施形態）
図６は、本発明の撮像装置をＣＣＤイメージセンサに実施した場合の回路図である。本実施形態のＣＣＤイメージセンサは複数の画素が配列された画素アレイ及び制御回路を有し、図６では画素アレイ中の１個の画素と制御回路の一部の構成を示している。なお、図４に示す第２の実施形態のＣＣＤイメージセンサと対応する箇所には同じ符号を付して重複する説明は避ける。

本実施形態のＣＣＤイメージセンサでは、フォトダイオード１１の１蓄積時間の中でその経過時間を計測しかつ読み出す手段である経過時間情報読み出し部４０が、それぞれ各画素１０内に設けられ、一定のアナログ電圧を一定の時定数で充電し、オーバーフロー検知部３０によりオーバーフローが検知された際の充電電荷を保持する電荷保持回路８１と、この電荷保持回路８１の保持電荷を経過時間情報ＴＤとして読み出す垂直及び水平ＣＣＤレジスタ８２とから構成されている。

さらに、電荷保持回路８１は、一端が電源電圧ＶDDのノードに接続された抵抗８３、一端が一定のアナログ電圧ＶADのノードに接続され、抵抗８３と共に充電回路を構成する容量８４、抵抗８３と容量８４の他端相互間に挿入され、オーバーフローフラグＯＦに基づいて制御されるスイッチ８５、及び容量８４と接地電位との間に挿入された電荷リセット用のスイッチ８６によって構成されている。

本実施形態のＣＣＤイメージセンサは、経過時間計測のためのアナログ信号を発生するための回路とその入力配線を削減するようにしたものである。すなわち、各画素１０には内部素子を駆動するための電源が引かれており、この電源により充電回路（抵抗８３及び容量８４）を充電する際の信号波形を、経過時間計測用のアナログ信号波形として利用する。

１蓄積時間の最初にスイッチ８６を閉じることにより容量８４の電荷がリセットされる。リセット解除後にスイッチ８５が閉じられ、充電回路が一定の電源電圧ＶDDにより充電を開始する。充電開始後の容量８４の電圧波形Ｖは一般に次の式で与えられる。

Ｖ＝ＶDD（１−exp（−ｔ／τ０））
但し、ＶDDは電源電圧、τ０は充電回路の時定数でτ０＝ＲＣ（Ｒは容量８４の値、Ｃは抵抗８３の値）、ｔは経過時間である。この電圧波形の飽和が始まる前は時間にほぼ比例した電圧増加を示し、経過時間計測の基準として利用することができる。この充電回路の容量８４への充電経路をオーバーフローフラグＯＦの発生時に、スイッチ８５を開くことによって遮断し、容量８４の充電電荷をホールドすれば、簡単なアナログ信号のサンプル／ホールド回路として使用することができる。飽和が始まる前の時間としてのおおよその目安としては、例えば時定数τ０（＝ＲＣ）を用いればよい。例えばτ０＝１ｍｓとなるようなＲ、Ｃのおおよその目安としては、Ｃ＝１００ｐＦ、Ｒ＝１０ＭΩとなる。

容量８４に保持された電荷（経過時間情報ＴＤ）は画素信号と同様に読み出すことができる。すなわち、経過時間情報ＴＤは、信号読み出し部２０によるＣＣＤイメージセンサの読み出しと同様に、まず、垂直及び水平ＣＣＤレジスタ８２の垂直ＣＣＤレジスタに電荷の状態で送られ、その後、垂直ＣＣＤレジスタ内で順次転送されて水平ＣＣＤレジスタに送られ、さらに水平ＣＣＤレジスタ内で順次転送された後、アンプ部に導かれ、電圧信号に変換される。

上記のようにして各画素から読み出された経過時間情報ＴＤを用いて、図１及び図２で説明したように、各画素から読み出される信号電荷の飽和値に経過時間情報ＴＤに基づく倍率を乗じる演算を施すことにより、各画素に照射された実際の光強度に対応した信号電荷量を得ることができる。この結果、本実施形態によればダイナミックレンジを広げることができる。しかも、簡単な回路の追加によりこれを実現できる。しかも、本実施形態では、各画素の外部に余分な回路を設ける必要がないので、回路構成がより簡単にできる。

（第５の実施形態）
図７（ａ）は本発明の撮像装置をＣＣＤイメージセンサに実施した場合の回路図であり、図７（ｂ）はその動作を説明するためのポテンシャル図である。図７（ａ）に示すように複数のフォトダイオードＰＤが一列に配列されている。これら複数のフォトダイオードＰＤはそれぞれ、照射された光の強度に応じて信号電荷を発生する光電変換部を構成している。また、複数のフォトダイオードＰＤの配列の一方向側には、複数のフォトダイオードＰＤの配列に沿うように複数のストレージＳＴが一列に配列されている。複数のストレージＳＴの配列に沿うようにＣＣＤ転送部ＣＣＤ１が配置されている。さらに、複数のフォトダイオードＰＤの配列の他方向側には、複数のフォトダイオードＰＤの配列に沿うように複数のオーバーフローストレージＯＦ−ＳＴが一列に配列されている。また、複数のオーバーフローストレージＯＦ−ＳＴの配列に沿うようにオーバーフロー用ＣＣＤ転送部ＯＦ−ＣＣＤが配置されている。ＣＣＤ転送部ＣＣＤ１及びオーバーフロー用ＣＣＤ転送部ＯＦ−ＣＣＤの先端部には、電荷を電圧信号に変換して出力するアンプ部ＡＭＰ１、ＡＭＰ２がそれぞれ配置されている。

ここで、図７（ｂ）のポテンシャル図に示すように、複数のフォトダイオードＰＤで発生した信号電荷は、複数のストレージＳＴをそれぞれ介してＣＣＤ転送部ＣＣＤ１に転送された後、さらにＣＣＤ転送部ＣＣＤ１内を順次転送され、アンプ部ＡＭＰ１により電圧信号に変換される。同様に、複数のフォトダイオードＰＤで発生し、オーバーフローした電荷は、複数のオーバーフローストレージＯＦ−ＳＴそれぞれ介してオーバーフロー用ＣＣＤ転送部ＯＦ−ＣＣＤに転送された後、さらにオーバーフロー用ＣＣＤ転送部ＯＦ−ＣＣＤ内を順次転送され、アンプ部ＡＭＰ２により電圧信号に変換される。

通常のＣＣＤ方式による画像信号読み出しでは、ＰＤ→ＳＴ→ＣＣＤ１の経路で電荷が転送される。すなわち、１蓄積時間（単位変換期間）が終了すると、各フォトダイオードＰＤに蓄えられた信号電荷は、フォトダイオードＰＤとストレージＳＴとの間の障壁を下げることで、ストレージＳＴに転送され、この後、ストレージＳＴとＣＣＤ転送部ＣＣＤ１との間の障壁を下げることで、ＣＣＤ転送部ＣＣＤ１に転送される。ＣＣＤ転送部ＣＣＤ１は、通常、水平ＣＣＤと垂直ＣＣＤからなり、ストレージＳＴから転送された信号電荷は水平ＣＣＤ内で転送された後、垂直ＣＣＤに転送され、さらに垂直ＣＣＤ内で転送される。なお、ストレージＳＴは省略する場合もある。

各フォトダイオードＰＤとオーバーフローストレージＯＦ−ＳＴとの間には一定の電位障壁がある。フォトダイオードＰＤに蓄積可能な信号電荷の量はこの電位障壁で決まる。フォトダイオードＰＤでこの電位障壁を越えるような電荷が発生すると、電荷がオーバーフローし、オーバーフローストレージＯＦ−ＳＴに蓄積される。この後、オーバーフローストレージＯＦ−ＳＴとオーバーフロー用ＣＣＤ転送部ＯＦ−ＣＣＤとの間の障壁を下げることで、オーバーフローストレージＯＦ−ＳＴの電荷がオーバーフロー用ＣＣＤ転送部ＯＦ−ＣＣＤに転送される。オーバーフロー用ＣＣＤ転送部ＯＦ−ＣＣＤも、水平ＣＣＤと垂直ＣＣＤからなり、オーバーフローストレージＯＦ−ＳＴから転送された電荷は水平ＣＣＤ内で転送された後、垂直ＣＣＤに転送され、さらに垂直ＣＣＤ内で転送される。

ここで、ＣＣＤ転送部ＣＣＤ１は、フォトダイオードＰＤにおける単位変換期間の終了後に信号電荷を読み出す。これに対し、オーバーフロー用ＣＣＤ転送部ＯＦ−ＣＣＤは、フォトダイオードＰＤにおける単位変換期間内に電荷の読み出し動作を複数回行なう。すなわち、オーバーフロー用ＣＣＤ転送部ＯＦ−ＣＣＤは、信号読み出しを１蓄積時間よりも速い速度で行なう。例えば、図８の波形図に示すように、オーバーフロー用ＣＣＤ転送部ＯＦ−ＣＣＤは、１蓄積時間内に信号読み出し（スキャン）を２１回行なう。図８の例では１蓄積時間の中に２１回のスキャンを行う。すなわち、１蓄積時間内の時間分解能１／２１で飽和発生時の経過時間を計測するものと同等になる。この信号読み出し回数は２１回には限定されないが、読み出し回数が多い程、変換開始後からフォトダイオードＰＤでオーバーフローが発生するまでの経過時間を高精度に計測できる。

図８（ａ）に示すように、１蓄積時間内にフォトダイオードＰＤである傾きを持って信号電荷が蓄えられていくとすると、図示した飽和レベルに達するのは１４スキャン目であり、飽和後は図８（ｃ）に示すように、スキャン毎にオーバーフローした電荷がオーバーフロー用ＣＣＤ転送部ＯＦ−ＣＣＤから読み出される。

一方、図８（ｂ）は図８（ａ）の場合よりも光強度が強い場合であり、フォトダイオードＰＤでは図８（ａ）よりも早いタイミングで飽和が発生する。図示の例では８スキャン目で飽和が始まっており、飽和後は図８（ｄ）に示すように、スキャン毎にオーバーフローした電荷がオーバーフロー用ＣＣＤ転送部ＯＦ−ＣＣＤから読み出される。しかも、電荷蓄積速度が早いため、図８（ｃ）の場合よりも大きな信号が読み出される。

オーバーフロー用ＣＣＤ転送部ＯＦ−ＣＣＤのスキャン結果から、フォトダイオードＰＤでどの期間から飽和が始まっているのかを検出することができ、図８（ｃ）及び（ｄ）の例のようにそれぞれ１４区間目、８区間目で飽和が始まっているならば、オーバーフロー用ＣＣＤ転送部ＯＦ−ＣＣＤから読み出された情報を用いて、図１及び図２で説明したように、各フォトダイオードＰＤから読み出される信号電荷の飽和値に、オーバーフロー用ＣＣＤ転送部ＯＦ−ＣＣＤから読み出された情報に基づく倍率を乗じる演算を施すことにより、各フォトダイオードＰＤに照射された実際の光強度に対応した信号電荷量を得ることができる。

すなわち、実際の光強度Ｉは、検出された飽和値から求められる光強度をＩ0とすると
Ｉ＝Ｉ0×ｎ’／ｍ’
で求められる。

但し、ｎ’は１蓄積時間を何区間に分けたかを示す数値であり、ｍ’は何区間目に飽和が始まったかを示す数値である。

図８（ｃ）の例では、フォトダイオードＰＤの本来の出力はＣＣＤ転送部ＣＣＤ１からの出力の２１／１４倍であり、図８（ｄ）の例では、フォトダイオードＰＤの本来の出力はＣＣＤ転送部ＣＣＤ１からの出力の２１／８倍である。

なお、本実施形態のＣＣＤイメージセンサでは、画素毎に増幅器を追加する必要がないという効果を有し、素子の配置スペースが不足する場合に特に有効である。但し、１蓄積時間内に多くのオーバーフロー電荷をスキャンする必要があるため、蓄積時間が比較的長く、蓄積時間内に多くのオーバーフロー電荷をスキャンすることができる場合に有効である。従って、本実施形態では第１ないし第４の実施形態と同様の効果が得られる上に、夕方や夜の撮影、夜空の撮影など、蓄積時間が長く、ダイナミックレンジが広い撮影の時に特に有効である。

１０…画素、１１…フォトダイオード、２０…信号読み出し部、３０…オーバーフロー検知部、４０…経過時間情報読み出し部、４１…アナログ信号出力回路、４２…アナログ信号保持／読み出し回路、６１…クロック信号発生回路、６２…デジタル信号保持／読み出し回路、ＰＤ…フォトダイオード、ＳＴ…ストレージ、ＣＣＤ１…ＣＣＤ転送部、ＯＦ−ＳＴ…オーバーフローストレージ、ＯＦ−ＣＣＤ…オーバーフロー用ＣＣＤ転送部。

Claims (5)

1. 照射された光の強度に応じて信号電荷を発生する光電変換部と、
   前記光電変換部で発生する信号電荷もしくは信号電荷を電圧信号に変換した後に読み出す信号読み出し部と、
   前記光電変換部で発生する信号電荷がオーバーフローしたことを検知するオーバーフロー検知部と、
   前記光電変換部で前記信号電荷の発生が開始されてからの経過時間に相当する情報を生成し、前記オーバーフロー検知部によりオーバーフローが検知された際にこの情報を読み出す経過時間情報読み出し部と
   を具備したことを特徴する撮像装置。
2. 前記経過時間情報読み出し部は、
   前記光電変換部で前記信号電荷の発生が開始されてからの経過時間に等価なアナログ信号を出力するアナログ信号出力回路と、
   前記オーバーフロー検知部によりオーバーフローが検知された際に上記アナログ信号出力回路から出力されるアナログ信号を保持するアナログ信号保持回路と
   を含むことを特徴する請求項１記載の撮像装置。
3. 前記経過時間情報読み出し部は、
   クロック信号をカウントして前記光電変換部で前記信号電荷の発生が開始されてからの経過時間に等価なデジタル信号を出力するカウンタ回路と、
   前記オーバーフロー検知部によりオーバーフローが検知された際に上記カウンタ回路から出力されるデジタル信号を保持するレジスタ回路と
   を含むことを特徴する請求項１記載の撮像装置。
4. 前記経過時間情報読み出し部は、一定のアナログ電圧を一定の時定数で充電し、前記オーバーフロー検知部によりオーバーフローが検知された際の充電電荷を前記情報として保持する電荷保持回路を含むことを特徴する請求項１記載の撮像装置。
5. 照射された光の強度に応じて信号電荷を発生する光電変換部と、
   前記光電変換部で発生する信号電荷を蓄積し、前記光電変換部における単位変換期間の終了後に信号電荷を読み出すＣＣＤからなる信号電荷転送部と、
   前記光電変換部からオーバーフローする電荷を蓄積し、前記光電変換部における単位変換期間内に電荷の読み出し動作を複数回行なうＣＣＤからなるオーバーフロー電荷転送部と
   を具備したことを特徴とする撮像装置。

Images