JP2011071958A - 撮像素子およびカメラシステム - Google Patents

Abstract

【課題】画素の開口率を低下させることなく、回路ノイズを削除し、撮像性能を向上させることが可能な撮像素子およびカメラシステムを提供する。
【解決手段】光電変換素子を有し、光子入射に応じて電気信号を出力する画素が複数アレイ状に配置された画素アレイ部１１０と、画素からの信号を受けて所定期間における画素への光子入射の有無を２値判定するセンス回路１２１が複数配置されたセンス回路部１２０と、センス回路の判定結果を画素ごとに複数回集積して階調のある撮像データを生成する判定結果集積回路部１５０とを有し、判定結果集積回路部１５０は、センス回路の判定結果を集積するカウント処理を行うカウント回路１５３と、各画素のカウント結果を格納するためのメモリ１５４とを含み、複数のセンス回路１２１−００，１２１−０１、１２１−１０，１２１−１１がカウント回路１５３−０，１５３−１を共有している。
【選択図】図３

Description

本発明は、ＣＭＯＳイメージセンサ等の撮像素子、およびカメラシステムに関するものである。

近年デジタルスチルカメラやカムコーダ、監視カメラ等の用途に、ＣＭＯＳイメージセンサが広く使われるようになり、市場も拡大している。
ＣＭＯＳイメージセンサにおける各画素は、入射した光を光電変換素子であるフォトダイオードで電子に変換し、それを一定期間蓄積した上で、その蓄積電荷量を反映した信号をチップに内蔵されたアナログデジタル（ＡＤ）変換器に出力する。ＡＤ変換器はその信号をデジタル化して外部に出力する。
ＣＭＯＳイメージセンサにおいては、撮像のためにこのような画素がマトリクス状に配置されている。

図１は、固体撮像素子であるＣＭＯＳイメージセンサの典型的なチップ構成を示す図である。

このＣＭＯＳイメージセンサ１０は、画素アレイ部１１、行駆動回路１２、ＡＤ変換器１３、スイッチ１４、出力回路１５、行制御線１６、垂直信号線１７、および転送線１８を有する。

画素アレイ部１１は、複数の画素ＰＸが行方向と列方向にマトリクス状に配置されており、垂直信号線１７は列方向に並ぶ複数の画素ＰＸに共有され、各列対応に配置されたＡＤ変換器１３に接続されている。
一方、行駆動回路１２は複数の行から１行のみを選択し、行制御線１６を駆動して、画素ＰＸからの蓄積電荷の読み出しを行単位で実行する。
行制御線１６はこのような画素からの読み出し、あるいは画素のリセットを行単位で実施するために、一本または複数の制御線で構成されている。
ここでリセットとは画素の蓄積電荷を排出し、画素を露光前の状態に戻す操作であり、たとえば各行の読み出し直後、あるいは露光を開始する際のシャッター動作として実施される。
読み出しの際、垂直信号線１７を介してＡＤ変換器１３に伝達されたアナログ信号はデジタル信号に変換され、スイッチ１４を介して順次出力回路１５に伝送され、図示されていないチップ内外の画像処理装置に出力される。

このように、ＣＭＯＳイメージセンサ１０においては、１行の読み出し処理が完了すると次の行が選択され、同様の読み出し、ＡＤ変換、出力が繰り返される。全ての行の処理が完了すると１フレーム分の画像データの出力が完了することになる。
途中にホールド回路やラッチを設けて読み出し、ＡＤ変換、出力をパイプライン化することも可能であるが、それぞれ一度に１行分の処理しかできないことに変わりは無い。
全ての行を処理し終えるまでの所要時間が、動画ではそのフレームレートの上限を規定することになる。

一方、特許文献１や特許文献２には、画素とＡＤ変換器を積層したイメージセンサが提案されている。
図２は、画素とＡＤ変換器を積層したＣＭＯＳイメージセンサの概念図である。
ここでは、理解を容易にするために、図１と同一構成部分は同一符号をもって表している。

図２のＣＭＯＳイメージセンサ１０Ａは、画素ＰＸとＡＤ変換器１３は各々異なる半導体基板にアレイ状に配置されており、２つの半導体基板は互いに積層され、各画素とＡＤ変換器はアナログ信号線１７により接続されている。
このようなアーキテクチャーを採用する場合、一度に何行分もの画素から読み出しを行い、各々にＡＤ変換を並列実行することが可能になる。
変換後のデータは、たとえば一旦メモリ１９に転送され、出力回路１５を介して図示されないチップ内外の画像処理装置に出力される。
このような積層構造をとることで、少なくとも撮像チップ内においては劇的に撮像速度を向上させることが可能になり、超高速のフレーム撮像が可能になる。

さらに近年、ウエハーの高精度な貼り合せ技術が開発されていることは注目に値する。たとえば特許文献３や特許文献４には、裏面照射型イメージセンサと回路が付属した支持基板を対面的に張り合わせ、金属パッドを介して両者間に信号を導通させる技術が記載されている。
すなわちこの技術では、チップごとのバンプ接着を用いずとも、ウエハーレベルの製造工程で図２のような積層構造を作製し、画素とＡＤ変換器を接続することが可能になりつつある。
これはウエハーレベルでの製造を終えた後で各チップを切り出せば良いので、微細加工に向く上に遥かに安価である。

また、特許文献５には、時分割を用いたフォトンの新しいカウント手法が提案されている。
これは、一定期間におけるフォトダイオードへの光子入射の有無を２値判定し、それを複数回反復した結果を集積して二次元の撮像データを得るものである。
すなわち、一定期間ごとにフォトダイオードからの信号をセンシングし、その期間に入射した光子数が一つ以上であれば、入射した光子数に関わらず、各画素に接続されたカウンタは１ずつカウントアップされる。
光子入射の頻度が時間軸でランダムであれば、実際の光子入射数とカウント数とはポワゾン分布に従うので、入射頻度が少ない場合は略リニアな関係となり、入射頻度が多い場合も一律に補正が可能である。

このような時分割フォトンカウンティングを使用したイメージセンサは、画素から出力されたデータが終始デジタルデータとして扱われるので、アナログ信号の伝送や増幅に伴うランダムノイズや固定ノイズが発生しない。
この際、残存するのは画素内で発生した光ショットノイズと暗電流のみであり、特に低照度の撮像においては劇的に高いＳ／Ｎ比を得ることが可能である。

特開２００２−４４５２７号公報 特開２００６−４９３６１号公報 特開２００７−２３４７２５号公報 特開２００６−１９１０８１号公報 特開平７−６７０４３号公報 特開２００４−１９３６７５号公報

図２のような構成を用いることで、画素アレイから高並列で高速に信号を読み出し、さらにＡＤ変換を実行してメモリにデータを蓄えることはできる。
しかし、そこでデジタル化され、メモリ１９に蓄えられた撮像データの活用に関しては、まだ大きな困難が残っている。

まず、数十倍のフレームレートで採取した膨大なデータをそのままチップ外に転送した場合、転送インターフェースもその後の画像処理チップも非常に高価になる。また肉眼の感知能力を遥かに超えてフレームレートを上げただけでは、用途も限定される。
したがって、このような超高速な撮像を応用して、できれば撮像チップ内で画質向上をはじめとする有用な効果を付加し、通常とあまり変わらぬバンド幅でデータを出力する新たな施策が求められる。
しかし、特許文献２ではメモリ蓄積以降のデータ処理については殆ど言及されていない。

一方、特許文献１の実施例に記載の引用文献では、高速化した読み出し能力を「シグマ・デルタ方式」によるＡＤ変換の実現にあてている。
しかし、この手法は各ＡＤ変換器の特性ばらつきの補正が困難であり、このようなＡＤ変換を実現することで画質が向上するとは限らない。

一般に、通常のイメージセンサは、画素が光電変換した信号をアナログで出力し、それをＡＤ変換することで撮像を行うので、アナログデータを伝送する過程、およびそれをデジタルデータに変換する過程でさまざまなノイズが混入する。

また、通常型のイメージセンサを積層構造にした場合、基板間でアナログの信号接続を行う必要がある。
しかし、基板間接続は同一基板内の接続に対してインピーダンスや寄生容量等のばらつきが大きく、それに伴ってさらに余分なノイズを発生させてしまう問題もあった。

一方、特許文献５および特許文献６には、フォトン(光子)カウントを採用した撮像素子が提案されている。
このような撮像素子は、画素からの出力をそのままデジタルで受けるので、通常のイメージセンサにおいて不可避であったアナログ信号処理に伴うランダムノイズや固定ノイズを完全に消滅させ、極めて高いＳ／Ｎ比を得ることが潜在的に可能である。

しかし、フォトンカウントには非常に高速な読み出しを必要とするので、上記先願では各画素内にデジタル判定機能が内蔵され、それらは受光素子と同じ基板上に配置されている。
たとえば、特許文献５においては画素ごとにカウンタを要する。
画素の小型化を図った特許文献６においても、各画素は各々１ビットメモリを要し、それらは受光素子とともに平面状に配置される。
しかもここで１ビットメモリと表現されている回路は信号の判定機能を併せ持つ必要があり、単なるラッチより複雑な制御と多くの回路素子を必要とする。
よって画素の開口率は非常に小さくなってしまい、十分な感度が得られない。また画素アレイの外とは言え、画素ごとにカウンタが設置されている。

また、特許文献５に提案されている技術では、時分割フォトンカウンティングを用いた撮像においては、１画像を形成する１フレーム期間における読み出し判定の総回数が実検出できる光子数を規定する。
たとえば、４０９５回の光子入射判定で１２ビットの出力を得る場合、検出できる実光子数はそれ以下であり、その平方根がフレームごとにランダムに発生する光ショットノイズとなる。
低照度撮像の場合、１フレーム期間に画素に入射する光子総数は例えば２００個であり、その殆どは問題なく実カウントされる。したがって、光ショットノイズのＳ／Ｎ比は従来のアナログセンサと同等となり、これに比べて遥かに大きなアナログ伝送ノイズが無い分、時分割フォトンカウンティングは優位となる。

一方、高照度の撮像の場合、例えばフォトダイオードの蓄積電荷が１０，０００エレクトロンあるアナログセンサでは、最大それだけの電子数をカウントできる。
このとき、光ショットノイズは１００エレクトロンｒｍｓであり、Ｓ／Ｎ比は１００倍（４０ｄＢ）となる。一方上記時分割フォトンカウンティングでは、仮に精度を考慮してリニアな領域を用いるなら、１，６００エレクトロン程度のカウントしかできない。
このとき、光ショットノイズは４０エレクトロンｒｍｓであり、Ｓ／Ｎ比は４０倍（３２ｄＢ）しか得られない。
したがって、時分割フォトンカウンティングを用いるフルデジタルイメージャーの場合、高照度撮像のＳ／Ｎ比を向上させるには、カウント総数を増加させる必要がある。

しかし、このカウント総数は、光子入射判定の際の画素からのデータ読み出し時間の制約を受ける。
画素データの読み出しは微小な１光子信号の検出となる一方、読み出しが高速化するほどセンス系回路のランダムノイズが増加するため、読み出しエラー率の増加が読み出し時間を律速する。
たとえば、読み出しに４００ナノ秒が必要であるとする。通常イメージャーの読み出し動作は破壊読出しであり、読み出し中の画素は電荷蓄積（露光に相当）できない。
したがって、たとえばフレーム期間の９割の露光時間を確保しようとすれば、露光期間と読み出し期間を合わせた判定のサイクル時間は４マイクロ秒が必要である。
１フレーム期間を１／６０秒とすると、このとき判定における最大カウント数は４，１６６回にしか達しない。従って高照度時に高いＳ／Ｎ比を確保するには不十分である。

本発明は、画素の開口率を低下させることなく、アナログ信号の扱いを不要にし、ＡＤ変換器およびアナログ信号の扱いに伴う回路ノイズを削除し、安価で撮像性能を向上させることが可能な撮像素子およびカメラシステムを提供することにある。
また、本発明は、時分割フォトンカウンティングを用いた場合の露光設定の最適化を実現できる撮像素子およびカメラシステムを提供することにある。

本発明の第１の観点の固体撮像素子は、光電変換素子を有し、光子入射に応じて電気信号を出力する画素が、複数アレイ状に配置された画素アレイ部と、上記画素からの電気信号を受けて、所定期間における画素への光子入射の有無を２値判定するセンス回路が、複数配置されたセンス回路部と、上記センス回路の判定結果を画素ごとまたは画素グループごとに複数回集積して、階調のある撮像データを生成する判定結果集積回路部と、を有し、上記判定結果集積回路部は、上記センス回路の判定結果を集積するカウント処理を行うカウント回路と、上記カウント回路における各画素のカウント結果を格納するためのメモリと、を含み、複数の上記センス回路が上記判定結果を集積するためのカウント回路を共有している。

本発明の第２の観点のカメラシステムは、撮像素子と、上記撮像素子に被写体像を結像する光学系と、上記撮像素子の出力画像信号を処理する信号処理回路と、を有し、上記撮像素子は、光電変換素子を有し、光子入射に応じて電気信号を出力する画素が、複数アレイ状に配置された画素アレイ部と、上記画素からの電気信号を受けて、所定期間における画素への光子入射の有無を２値判定するセンス回路が、複数配置されたセンス回路部と、上記センス回路の判定結果を画素ごとまたは画素グループごとに複数回集積して、階調のある撮像データを生成する判定結果集積回路部と、を有し、上記判定結果集積回路部は、上記センス回路の判定結果を集積するカウント処理を行うカウント回路と、上記カウント回路における各画素のカウント結果を格納するためのメモリと、を含み、複数の上記センス回路が上記判定結果を集積するためのカウント回路を共有している。

本発明によれば、画素の開口率を低下させることなく、アナログ信号の扱いを不要にし、ＡＤ変換器およびアナログ信号の扱いに伴う回路ノイズを削除し、安価で撮像性能を向上させることができる。
また、時分割フォトンカウンティングを用いた場合の露光設定の最適化を実現できる。

固体撮像素子であるＣＭＯＳイメージセンサの典型的なチップ構成を示す図である。 画素とＡＤ変換器を積層したＣＭＯＳイメージセンサの概念図である。 本発明の第１の実施形態に係るＣＭＯＳイメージセンサ（撮像素子）の構成例を示す図である。 本実施形態に係る画素の回路構成の一例を示す図である。 本第１の実施形態におけるアクセス手順の第１例を示す図である。 本第１の実施形態におけるアクセス手順の第２例を示す図である。 図６のアクセス手順のより具体的な例を示す図である。 本発明の第２の実施形態に係るＣＭＯＳイメージセンサ（撮像素子）の構成例を示す図である。 本第２の実施形態における画素ブロックの循環アクセスを説明するための図である。 図８に示した第２の実施形態におけるチップ全体のイメージを示す図である。 自己参照機能を有するセンス回路の一例を示す回路図である。 図４の画素を例に、図１１の自己参照機能を有するセンス回路を用いた読み出し動作例を説明するためのタイミングチャートである。 内部増幅型ダイオードを用いて第２の実施形態に対応した画素ブロックの構成例を示す図である。 キャパシタを介したカップリング容量による接続構造を採用したＣＭＯＳイメージセンサの断面の一例を示す図である。 キャパシタを介したカップリング容量による接続構造を採用したＣＭＯＳイメージセンサの自己参照機能を有するセンス回路の一例を示す回路図である。 本発明の第３の実施形態に係るＣＭＯＳイメージセンサ（撮像素子）の構成例を示す図である。 図１６の回路における高照度時の撮像データ処理のフローを示す図である。 図１６の回路における低照度時の撮像データ処理のフローを示す図である。 本第３の実施形態におけるサイクル切り替えの概念を示す図である。 サイクル期間の長短２通りを組み合わせ、それを循環させてカウントを行うことで撮像のダイナミックレンジを向上させる例を示す図である。 本発明の実施形態に係る固体撮像素子が適用されるカメラシステムの構成の一例を示す図である。

以下、本発明の実施形態を図面に関連付けて説明する。
なお、説明は以下の順序で行う。
１．本実施形態の撮像素子の特徴の概要
２．第１の実施形態（撮像素子の第１の構成例）
３．第２の実施形態（撮像素子の第２の構成例）
４．第３の実施形態（撮像素子の第３の構成例）
５．第４の実施形態（カメラシステム）

＜１．本実施形態の撮像素子の特徴の概要＞
本実施形態においては、高速並列読み出しを視野において、フォトン(光子)カウントを用いたフルデジタルイメージセンサとしての撮像素子（ＣＭＯＳイメージセンサ）の最適な構成を実現している。
まず、各画素は特定期間内における光子の入射の有無を電気信号として出力する。センス回路は、１フレーム期間内にその結果を複数回受け取って各々２値による判定を実施する。撮像素子はその集積によってたとえば画素ごとに階調データを生成する。
本実施形態の撮像素子は、この基本的構成を基に、以下の特徴的な構成を有する。

第１は、画素とセンス回路の、異なる半導体基板を用いた積層である。画素とセンス回路は互いにアレイ状に形成されて積層されることで、開口率を犠牲にすることなく高速な並列読み出しを実現する。
第２は、複数のセンス回路で判定結果を集積するためのカウント回路を共有する、センス回路とカウント回路の階層化である。複数のセンス回路がカウント回路を共有することで、回路規模と処理速度との柔軟な最適化が可能になる。
第３は、リセットタイミングの変更を用いた露光時間の調整機能である。露光時間は読み出しではなく、リセットタイミングの変更によって調整され、後段の転送処理との柔軟なパイプライン化が実現される。
第４は、画素、センス回路およびカウント回路の階層化である。複数の画素でセンス回路を共有し、循環的にアクセスさせることで、露光時間を確保しつつ、さらに小型の画素にも対応できる。さらに複数のセンス回路がカウント回路を共有することで、回路規模と処理速度との柔軟な最適化が可能になる。
第５は、画素の１光子を検出可能にするための、自己参照を用いたセンシングである。画素からリセットレベルと信号レベルの２回の読み出しを行い、いずれかにオフセットを加えて両者を比較して２値判定を実施する。これにより、リセットレベルの画素ごとのばらつきを相殺する。

上記構成を採用する本実施形態によれば、画素の開口率を犠牲にすることなく撮像素子にフォトンカウントを導入でき、通常イメージセンサにおいて不可避であったアナログ信号処理に伴うランダムノイズや固定ノイズを完全に消滅させることが可能になる。この際残存するノイズは画素ごとの光ショットノイズと暗電流のみであり、極めて高いＳ／Ｎ比を実現し、クリアな階調画像を生成することができる。
センス回路等は画素の下に配置でき、複雑なアナログ回路も必要としないので、チップは殆ど画素アレイのみが占有し、チップコストの低減にも寄与することができる。
さらに１フレームを構成するためのサンプリング回数を増やすことや、異なる露光時間を組み合わせてサンプリングを行うことで、画素を変えることなく、ダイナミックレンジを大幅に拡大することができる。
画素とセンス回路を異なる基板で積層しても、画素からセンス回路への出力はアナログ出力としての精度を要求されないので、信号配線のインピーダンスや寄生容量のばらつきはノイズとして影響しない。
さらに自己参照を用いたデジタル読み出しは、判定精度を大幅に向上させる。

以下に、上記した特徴を有する本実施形態に係る撮像素子であるＣＭＯＳイメージセンサについて詳細に説明する。

＜２．第１の実施形態＞
図３は、本発明の第１の実施形態に係るＣＭＯＳイメージセンサ（撮像素子）の構成例を示す図である。

［全体構成の概略］
本ＣＭＯＳイメージセンサ１００は、画素アレイ部１１０、センス回路部１２０、出力信号線群１３０、転送線群１４０、および判定結果集積回路部１５０を有する。

画素アレイ部１１０は、複数のデジタル画素ＤＰＸが行方向および列方向にマトリクス状に配置されている。
各デジタル画素ＤＰＸは光電変換素子を有し、光子入射に応じて電気信号を出力する機能を有する。
この画素アレイ部１１０は、たとえば第１の半導体基板ＳＵＢ１に形成される。

センス回路部１２０は、第１の半導体基板ＳＵＢ１と異なる第２の半導体基板ＳＵＢ２に形成される。
センス回路部１２０は、画素アレイ部１１０のマトリクス配列された複数の画素ＤＰＸに１対１に対応して複数のセンス回路１２１が、たとえば行方向および列方向にマトリクス状に配置されている。
各センス回路１２１は、デジタル画素ＤＰＸからの信号を受けて、所定期間におけるデジタル画素ＤＰＸへの光子入射の有無を２値判定する機能を有する。

そして、第１の半導体基板ＳＵＢ１と第２の半導体基板ＳＵＢ２は積層される。
たとえば第１の半導体基板ＳＵＢ１に形成された複数の画素ＤＰＸと第２の半導体基板ＳＵＢ２に形成された複数のセンス回路１２１がそれぞれ１対１で対向するように積層される。対向する画素ＤＰＸとセンス回路１２１が出力信号線群１３０の各出力信号線１３１により接続される。

図３の例では、０行０列目に配置された画素ＤＰＸ−００の出力が出力信号線１３１−００により０行０列目に配置されたセンス回路１２１−００の入力と接続される。０行１列目に配置された画素ＤＰＸ−０１の出力が出力信号線１３１−０１により０行１列目に配置されたセンス回路１２１−０１の入力と接続される。
１行０列目に配置された画素ＤＰＸ−１０の出力が出力信号線１３１−１０により１行０列目に配置されたセンス回路１２１−１０の入力と接続される。１行１列目に配置された画素ＤＰＸ−１１の出力が出力信号線１３１−１１により１行１列目に配置されたセンス回路１２１−１１の入力と接続される。
図示していないが他の行、列に配置された画素とセンス回路も同様に接続される。

センス回路部１２０は、同一行に配置されたセンス回路１２１の出力が共通の転送線１４１に接続されている。
図３の例では、０行目に配置されたセンス回路１２１−００，１２１−０１、・・・の出力が転送線１４１−０に接続されている。
１行目に配置されたセンス回路１２１−１０，１２１−１１、・・・の出力が転送線１４１−１に接続されている。図示していないが２行目以降も同様に形成される。

判定結果集積回路部１５０は、センス回路１２１の判定結果を画素ごとに複数回集積して、階調のある２次元撮像データを生成する機能を有する。
判定結果集積回路部１５０は、センス回路部１２０におけるセンス回路１２１の行配置に対応して判定結果集積回路１５１−０，１５１−１、・・・が配置されている。
換言すれば、０行目に配置されたセンス回路１２１−００，１２１−０１、・・・が接続された転送線１４１−０に判定結果集積回路１５１−０が接続されている。
１行目に配置されたセンス回路１２１−１０，１２１−１１、・・・が接続された転送線１４１−１に判定結果集積回路１５１−１が接続されている。

判定結果集積回路１５１−０は、転送線１４１−０を転送された判定値を保持するレジスタ１５２−０、レジスタ１５２−０の保持値をカウントするカウント回路１５３−０、およびカウント回路１５３−０のカウント結果を格納するメモリ１５４−０を有する。
判定結果集積回路１５１−１は、転送線１４１−１を転送された判定値を保持するレジスタ１５２−１、レジスタ１５２−１の保持値をカウントするカウント回路１５３−１、およびカウント回路１５３−１のカウント結果を格納するメモリ１５４−１を有する。
本実施形態においては、判定結果集積回路１５１−０のカウント回路１５３−０が複数のセンス回路１２１−００，１２１−０１、・・・により共有されている。
判定結果集積回路１５１−１のカウント回路１５３−１が複数のセンス回路１２１−１０，１２１−１１、・・・により共有されている。

［デジタル画素に係る機能］
デジタル画素（以下、単に画素という場合もある）ＤＰＸは、上述したように、光電変換素子を有し、光子入射に応じて電気信号を出力する。
撮像素子としてのＣＭＯＳイメージセンサ１００は、画素ＤＰＸのリセット機能と読み出し機能を備えており、任意のタイミングでリセットと読み出しを実行することができる。
リセットは画素ＤＰＸを光子が未入射の状態にリセットする。各画素ＤＰＸは、望ましくはその受光面に、各々レンズとカラーフィルタを備えている。
このような画素の基本機能は通常画素に近いが、その出力にアナログ値としての精度やリニアリティは要求されない。
ここで、デジタル画素の構成の一例について説明する。

図４は、本実施形態に係る画素の回路構成の一例を示す図である。
図４は、１単位画素ＤＰＸで３つのトランジスタを含む画素回路の一例を示している。

１単位画素ＤＰＸは、フォトダイオード１１１、転送トランジスタ１１２、リセットトランジスタ１１３、アンプトランジスタ１１４、蓄積ノード１１５、およびフローティングディフュージョン（ＦＤ：Floating Diffusion、浮遊拡散層）ノード１１６を有する。
転送トランジスタ１１２のゲート電極が転送線１１７に接続され、リセットトランジスタ３のゲート電極がリセット線１１８に接続されている。
アンプトランジスタ１１４のゲート電極がＦＤノード１１６に接続され、アンプトランジスタ１１４のソースが出力信号線１３１に接続されている。

画素ＤＰＸにおいては、画素のシリコン基板に入射した光は電子とホールのペアを発生させ、その内の電子がフォトダイオード１１１によって、ノード１１５に蓄積される。
それらは所定のタイミングで転送トランジスタ１１２をオンさせることでノード１１６に転送され、アンプトランジスタ１１４のゲートを駆動する。
これにより、信号電荷は出力信号線１３１への信号となって読み出される。
出力信号線１３１は、定電流源や抵抗素子を介して接地することでソースフォロアー動作をさせても良いし、読み出し前に一旦接地し、その後浮遊状態にして、アンプトランジスタ１１４によるチャージレベルを出力させても良い。
リセットトランジスタ１１３は、転送トランジスタ１１２と同時並列的にオンさせることでフォトダイオード１１１に蓄積された電子を電源に引き抜き、画素を蓄積前の暗状態、すなわち光子が未入射の状態にリセットする。

このような画素の回路や動作機構はアナログ画素と同様であり、アナログ画素と同様に各種のバリエーションが存在し得る。
しかし、アナログ画素が複数光子の入射総量をアナログ的に出力するのに対し、デジタル画素は光子１個の入射の有無をデジタル的に出力する。
したがって、画素の設計思想は異なるものとなる。
まず、デジタル画素は光子１個の入射に対して十分大きな電気信号を発生させる必要がある。
たとえば図４のようなアンプトランジスタ付の画素回路においては、ソースフォロアーを構成するアンプトランジスタ１１４の入力ノード１１６の寄生容量はできる限り小さくすることが望ましい。
そして、これによって光子１個の入射に対する出力信号の振幅が、アンプトランジスタ１１４のランダムノイズより十分大きく保たれることが望ましい。

一方、画素からの出力信号にはアナログ画素のようなリニアリティや精度、動作レンジを必要としないので、たとえばソースフォロアーの入出力電源にはデジタル回路と同様の低電圧が使用できる。フォトダイオードの電荷蓄積容量も最小限のものでよい。

本実施形態のＣＭＯＳイメージセンサ１００は、前述した第１、第２、および第３の特徴的構成を含んで構成されている。
すなわち、ＣＭＯＳイメージセンサ１００は、画素アレイ部１１０とセンス回路部１２０が異なる半導体基板を用いて積層されている。ＣＭＯＳイメージセンサ１００は、画素とセンス回路は互いにアレイ状に形成されて積層されることで、開口率を犠牲にすることなく高速な並列読み出しを実現可能に構成される。
ＣＭＯＳイメージセンサ１００は、複数のセンス回路がカウント回路を共有することで、回路規模と処理速度との柔軟な最適化が可能になるように構成される。
ＣＭＯＳイメージセンサ１００は、リセットタイミングの変更を用いた露光時間の調整機能を有し、露光時間は読み出しではなく、リセットタイミングの変更によって調整され、後段の転送処理との柔軟なパイプライン化が実現可能に構成される。

次に、第１の実施形態に係るＣＭＯＳイメージセンサ１００の全体的な動作概要について説明する。

たとえば全画素ＤＰＸは一斉にリセットされ、一定の露光期間を経た後で一斉に信号が読み出される。
露光期間中の各画素ＤＰＸへの光子入射の有無は出力信号線１３１への電気信号として出力され、対応するセンス回路１２１で２値判定される。
センス回路１２１は、たとえば選択画素に光子が入射されていれば「１」を、入射されていなければ「０」を判定値として確定し、その判定値をラッチする。
すなわち、本実施形態においては、図２のような通常構成と異なり、画素ＤＰＸからの出力信号はデジタル信号として２値判定されるので、ここにはＡＤ変換器が存在しない。また判定の速度はＡＤ変換器より遥かに高速である。

センス回路１２１によって確定されラッチされた判定値は、転送線１４１を介して行ごとに配置されたレジスタ１５２に順次転送され、カウント回路１５３を用いてカウント処理が実施される。
転送は、図１のように各センス回路を共有バスに順次スイッチで接続しても良いし、シフトレジスタを用いても良い。
カウント回路１５３におけるカウント処理では、まず前回の読み出し時の画素のデータがメモリ１５４からカウント回路１５３にロードされる。
ここでレジスタ１５２に「１」が格納されていればカウント値に「１」が加えられ、「０」が格納されていればカウント値は更新されない。
その後メモリ１５４にカウント回路１５３の値が書き戻され、１画素分のカウント処理が完了する。
この処理を１行分の画素に対して順次実施する。このようなカウント処理が実施されている間、画素ＤＰＸには次のリセットと露光が実施される。

このようなデジタル読み出しは、たとえば１フレーム期間において１０２３回実施され、各画素ＤＰＸにおける光子入射の合計カウント値は０以上１０２３以下の値となる。
これにより、画素ごとに１０ビットの階調データが生成される。
すなわち、本ＣＭＯＳイメージセンサ１００は、独自の構成を持ってアレイ化されたフォトンカウンタとして動作する。

前述したように、各画素ＤＰＸは、対応するセンス回路１２１を含む支持回路の上に、異なる半導体基板で積層されて形成される。
そして、画素ＤＰＸとセンス回路１２１は各々の半導体基板上にアレイ状に配置される。たとえば、画素ＤＰＸとセンス回路１２１は別個の半導体ウエハー上にそれぞれ形成され、両ウエハーを張り合わせることによって上記基板の積層が実現される。
さらに、リセットまたは読み出しを行うための画素ＤＰＸの駆動回路の少なくとも一部は、画素ＤＰＸと同一の第１の半導体基板ＳＵＢ１に形成されることが望ましい。
このような構成をとることで、高並列化した画素アクセスとカウント処理が可能になり、１フレーム期間に対して、上述のような多数回のデータ採取が可能になる。
たとえば、各画素は一斉にリセットと読み出しを実施し、各行は一斉にデータ転送とカウント処理を実施する。

［アクセス手順］
次に、本実施形態におけるアクセス手順について説明する。
図５は、本第１の実施形態におけるアクセス手順の第１例を示す図である。
図５において、ＲＳＴはリセットを、ＥＸＰは露光を、ＲＤは読み出しをそれぞれ示している。また、ＴＲＦは転送処理を、ＣＮＴはカウント処理を示している。

図５の例では、たとえば１フレーム期間が１／３０秒で、この間に１０２３回の読み出しを実施する場合、読み出しＲＤの１サイクルは約３２マイクロ秒となる。
画素ＤＰＸではこの期間内にリセットＲＳＴと読み出しＲＤが実施され、リセットＲＳＴから読み出しＲＤまでの間が露光ＥＸＰの期間となる。
読み出しＲＤでセンス回路１２１にラッチされた判定値は、さらにレジスタ１５２に転送されてカウント処理されるが、このとき露光ＥＸＰと、転送ＴＲＦおよびカウント処理ＣＮＴはパイプライン的に実行される。
すなわち、たとえばサイクルＣＹＬ１でセンス回路１２１にラッチされた判定値が行方向に転送され、順次カウント処理がなされている間、画素ではサイクルＣＹＬ２のリセットＲＳＴがかけられて露光ＥＸＰが開始される。

本ＣＭＯＳイメージセンサ１００は、上記サイクル期間を一定に保ちつつ、リセットＲＳＴのタイミングを変えることで実効的な露光時間を制御し、感度を調整する調整機能を有する。
たとえば、明るい被写体の撮像では露光期間内に２個以上の光子が入射される可能性があるが、これらは全て１個にカウントされるので過小なカウントとなってしまう。
このような場合はリセットタイミングを読み出しタイミングに近づけて、露光時間を短縮し、感度を落とすことで対応すればよい。これによって、他の回路動作に影響を及ぼすことなく、撮像中も容易に感度を調整することができる。

本撮像システムは、たとえば全有効画素のカウント値を平均し、それが一定値を超えていれば撮像素子のリセットタイミングを変えて露光時間を短縮する。逆に、一定値より低ければ露光時間を伸張する。
このような機能の搭載は容易であり、バイナリーサーチ等のアルゴリズムを使用して最適な露光時間を自動設定することもできる。

画素数が多い場合は水平転送とカウント処理を高速に行う必要があるが、各行複数チャネルで転送して複数カウンタで処理することで、速度の緩和が可能である。
カウント回路１５３とメモリ１５４はセンス回路部１２０のセンス回路１２１と同一の基板に形成されることが望ましいが、あるいは第３の半導体基板を用いて、センス回路部１２０の下層にさらに積層して設置しても良い。

なお、消費電力やノイズを考慮して、たとえば画素アレイ部１１０を複数の画素ブロックに区分けし、画素の読み出し動作や各行の転送動作を、ブロックごとにずらして行っても良い。

また、上記実施形態では１０ビットの階調を生成するために１０２３回のサンプリングを実施したが、サンプリング回数を増加させていくことで、画素を変えることなくダイナミックレンジを拡大させることが可能である。
たとえば、サンプリング数を約１６倍の１６３８３回にした場合、１サイクルは２マイクロ秒である。
このサイクル期間をフルに露光に使用すれば、低照度時のフォトン（光子）数は通常と同様にカウントできる上、高照度時のフォトン数も通常の１６倍まで正確にカウントできる。それらは１４ビットの階調データとして表現される。

あるいはダイナミックレンジの向上は、複数種の露光期間を設けてデータ採取を行うことで、より効率的に実現できる。
図６は、本第１の実施形態におけるアクセス手順の第２例を示す図である。
図６は、図５のアクセス手順を発展させた例を示している。
ここではリセットタイミングを変えることにより、２種類の第１露光ＥＸＰ１と第２露光ＥＸＰ２の期間が設けられており、それらが交互に繰り返されてデータ採取が実施されている。

このようなテクニックを発展的に使用すれば、少ないサンプル回数でも広いダイナミックレンジの撮像が可能になり、システムの負荷を軽減できる。

図７（Ａ）〜（Ｃ）は、図６のアクセス手順のより具体的な例を示す図である。
図７（Ａ）〜（Ｃ）の具体例においては、いずれも第１露光ＥＸＰ１は第２露光ＥＸＰ２の８倍の露光時間を有しているものとする。

図７（Ａ）の例では、第１露光ＥＸＰ１および第２露光ＥＸＰ２のデータ採取は各々５１１回実施され、個別にカウントされて２系統の第１メモリＭＥＭ１および第２ＭＥＭ２に蓄積される。５１１回のカウントは９ビットの階調を生成する。
ここで第１露光ＥＸＰ１のカウントが一定値を超えた画素については、強い光が入射しているとみなされて、第２露光ＥＸＰ２のカウント値が採用される。
この際、たとえば出力は１２ビット階調とし、第２露光ＥＸＰ２のカウント値が採用された画素においてはカウント値を３ビットシフトにより８倍化して出力する。
あるいは出力ビット数を減らすため、出力を９ビットの階調と露光選択を示す１ビットのフラグで構成しても良い。

図７（Ｂ）の例では、暗い被写体の撮像感度を上げるため、長時間露光でのデータ採取回数を短時間露光でのデータ採取回数より多く設定している。
たとえば第１露光ＥＸＰ１での採取４回に対して第２露光ＥＸＰ２での採取を１回挿入し、それを繰り返す。そして第１露光ＥＸＰ１で１０２３回、第２露光ＥＸＰ２で２５５回のデータを採取する。
出力として第２露光ＥＸＰ２のカウントが採用された場合は、たとえば露光回数も考慮して５ビットシフトにより３２倍化する。
このとき最大１３ビット階調での出力が可能となる。あるいは１０ビットの階調と露光選択を示す１ビットのフラグで構成しても良い。

図７（Ｃ）の例では、メモリを節約するために、まず第１露光ＥＸＰ１で１２７回のテスト用データ採取を行い、その後第１露光ＥＸＰ１と第２露光ＥＸＰ２で交互に５１２回ずつデータ採取を実施する。
最初の１２７回のデータ採取でカウントが一定値を超えた画素については、強い光が入射しているとみなされてフラグが立つ。テスト用の採取が完了すると、メモリのカウント値はフラグを除いて一旦クリアされる。フラグが立った画素は、その後第２露光ＥＸＰ２のみがカウントされてメモリに記録される。
一方、フラグの立たない画素については、第１露光ＥＸＰ１のみがカウントされてメモリに記録される。このとき画素あたりのカウントに必要なメモリは、９ビットの階調にフラグを加えた１０ビットのものが１系統あれば良い。
なお、第１露光ＥＸＰ１が選択された場合にはテスト後にメモリをクリアせず、それで階調度を増加させても良い。

このように、リセットタイミングを変えて複数セットの露光期間を設け、それらを各々複数回読み出して撮像データを生成することで、明るい箇所と暗い箇所を同時に含むコントラストの強い被写体にも対応した広いダイナミックレンジでの撮像が可能になる。
上述の例では２種の露光期間を使用したが、同様に３種以上の露光期間を使用することもでき、合成のアルゴリズムにもさまざまな変形が可能である。
基本的に高照度の画素には短い露光期間での光子入射回数を、低照度の画素には長い露光期間での光子入射回数を主体として、撮像データを合成するのが望ましい。あるいは複数種の露光のカウント値をそれぞれに出力し、後段のＤＳＰチップ等による画像処理時に合成を実施しても良い。

なお、露光時間を変えた撮像データの合成は、既存のイメージセンサでも一部実施されているが、２種の露光時間によるデータ採取は１フレーム分の時間を隔てて実施されるので、動被写体に不自然な色がつく等の課題がある。
１フレーム期間中に両者のデータ採取を交互に複数回実施する本手法では、そのような問題は発生しない。
より一般的には、複数の露光期間を循環させたデータ採取を複数回行い、その結果を合成して画像データを生成することが望ましい。

＜３．第２の実施形態＞
図８は、本発明の第２の実施形態に係るＣＭＯＳイメージセンサ（撮像素子）の構成例を示す図である。

第１の実施形態に係るＣＭＯＳイメージセンサ１００では、各画素ＤＰＸとセンス回路１２１が一対一に対応している。
しかし、各々に要する占有面積は必ずしも同等であるとは限らない。
また、２層の基板積層では、回路規模の大きいカウント回路やメモリは画素アレイ領域の外に配置される場合があり、各センス回路１２１からのデータの高速な長距離転送が必須となる上、レイアウト上の制約を受けやすい。
本第２の実施形態に係るＣＭＯＳイメージセンサ１００Ａでは、複数の画素で一つのセンス回路を共有することで、上記課題に対して柔軟な解決法を提供する。

ＣＭＯＳイメージセンサ１００Ａにおいて、画素アレイ部１１０Ａは、複数の画素ＤＰＸが行方向および列方向にマトリクス状に配置されている。
そして、同一列の複数の画素ＤＰＸと選択回路により画素ブロック１６０−０〜１６０−３、・・・が形成される。

ＣＭＯＳイメージセンサ１００Ａは、画素アレイ部１１０Ａの画素ＤＰＸを駆動して、画素ＤＰＸの電気信号を出力信号線１３１に出力させるための行駆動回路１７０、および行制御線群１８０を有する。

ＣＭＯＳイメージセンサ１００Ａは、出力信号線１３１を伝搬された電気信号の２値判定し、判定結果を画素ごとに複数回集積して、階調ある２次元撮像データを生成する回路ブロック２００を有する。
回路ブロック２００は、センス回路部１２０Ａおよび判定結果集積回路部１５０Ａが配置されている。

センス回路部１２０Ａは、画素アレイ部１１０Ａの各画素ブロック１６０−０〜１６０−３、・・に対応してセンス回路１２１−０，１２１−１，１２−２，１２１−３、・・・が配置されている。

センス回路１２１−０は、その入力が画素ブロック１６０−０を形成する全画素ＤＰＸ−００，ＤＰＸ−１０、〜（ＤＰＸ−１５０）の出力が共通に接続される出力信号線１３１−０に接続されている。
すなわち、複数の画素ＤＰＸ−００〜（ＤＰＸ−１５０）で一つのセンス回路１２１−０を共有している。

センス回路１２１−１は、その入力が画素ブロック１６０−１を形成する全画素ＤＰＸ−０１，ＤＰＸ−１１、〜（ＤＰＸ−１５１）の出力が共通に接続される出力信号線１３１−１に接続されている。
すなわち、複数の画素ＤＰＸ−０１〜（ＤＰＸ−１５１）で一つのセンス回路１２１−１を共有している。

センス回路１２１−２は、その入力が画素ブロック１６０−２を形成する全画素ＤＰＸ−０２，ＤＰＸ−１２、〜（ＤＰＸ−１５２）の出力が共通に接続される出力信号線１３１−２に接続されている。
すなわち、複数の画素ＤＰＸ−０２〜（ＤＰＸ−１５２）で一つのセンス回路１２１−２を共有している。

センス回路１２１−３は、その入力が画素ブロック１６０−３を形成する全画素ＤＰＸ−０３，ＤＰＸ−１３、〜（ＤＰＸ−１５３）の出力が共通に接続される出力信号線１３１−３に接続されている。
すなわち、複数の画素ＤＰＸ−０３〜（ＤＰＸ−１５３）で一つのセンス回路１２１−３を共有している。

センス回路部１２０Ａにおいては、図示しない他の画素ブロックに対しても複数の画素で共有するようにセンス回路が配置される。

判定結果集積回路部１５０Ａは、センス回路１２１−０〜１２１−３の判定結果を画素ごとに複数回集積して、階調のある２次元撮像データを生成する機能を有する。
判定結果集積回路部１５０Ａは、レジスタ１５２Ａ−０〜１５２Ａ−３、選択回路１５５、カウント回路１５３Ａ、およびメモリ１５４Ａを有する。

レジスタ１５２Ａ−０〜１５２Ａ−３は、転送線１４１Ａ−０〜１４１Ａ−３を転送された対応するセンス回路１２１−０〜１２１−３の判定値を保持する。
選択回路１５５は、レジスタ１５２Ａ−０〜１５２Ａ−３の出力を順次に選択して、各レジスタ１５２Ａ−０〜１５２Ａ−３の保持した判定値をカウント回路１５３Ａに供給する。
カウント回路１５３Ａは、行選択されて読み出され、選択回路１５５を介した複数画素（本例では４画素）の判定値に対するカウント処理を順次行い、画素ごとのカウント結果をメモリ１５４Ａに格納する。
カウント回路１５３Ａは、前回の読み出し時の画素のデータがメモリ１５４Ａからロードされる。

本第２の実施形態の判定結果集積回路部１５０Ａは、１つのカウント回路１５３Ａを有し、複数のレジスタ１５２Ａ−０〜１５２Ａ−３でカウント回路１５３Ａを共有している。
換言すれば、本第２の実施形態のＣＭＯＳイメージセンサ１００Ａは、複数のセンス回路１２１Ａ−０〜１２１Ａ−３でカウント回路１３４Ａを共有している。

本実施形態のＣＭＯＳイメージセンサ１００Ａは、前述した第４の特徴的構成を含んで構成されている。
すなわち、ＣＭＯＳイメージセンサ１００Ａは、複数の画素でセンス回路を共有し、循環的にアクセスさせることで、露光時間を確保しつつ、さらに小型の画素にも対応できるように構成される。
さらに、ＣＭＯＳイメージセンサ１００Ａは、複数のセンス回路がカウント回路を共有することで、回路規模と処理速度との柔軟な最適化が可能になるように構成される。

次に、第２の実施形態に係るＣＭＯＳイメージセンサ１００Ａの全体的な動作概要について説明する。

上述したように、画素ブロック１６０（−０〜−３、・・）は１６個のデジタル画素ＤＰＸと選択回路を含んで構成されている。選択回路はその中の１画素を選んでリセットや読み出しを実施する。
本例では行駆動回路１７０により駆動される行制御線１８１に従って画素ブロック１６０中の１画素が選択される。
読み出しの際は、選択画素への光子入射の有無が出力信号線１３１（−０〜−３、・・）への電気信号として出力され、センス回路１２１Ａ（−０〜−３）で２値判定される。
センス回路１２１Ａ（−０〜−３）は、たとえば選択画素に光子が入射されていれば「１」を、入射されていなければ「０」を判定値として確定して、その判定値をラッチする。

センス回路１２１Ａ（−０〜−３）の判定値は、まずレジスタ１５２Ａ（−０〜−３）に転送される。
カウント回路１５３Ａは４個の画素ブロック１６０−０〜１６０−３で共有されており、行選択されて読み出された４画素に対するカウント処理が選択回路１５５を経由して順次実施される。
そして、画素ごとのカウント結果がメモリ１５４Ａに格納される。
すなわち、まず前回の読み出し時の画素のデータがメモリ１５４Ａからカウント回路１５３Ａにロードされる。
ここでカウント回路１５３Ａは、レジスタ１５２Ａ(−０〜−３)に「１」が格納されていればカウント値に「１」が加えられ、「０」が格納されていればカウント値は更新されない。
その後、メモリ１５４Ａにカウント回路１５３Ａの値が書き戻され、１画素分のカウント処理が完了する。この処理を４画素に対して順次実施する。
このようなカウント処理が実施されている間、画素ブロック１６０（−０〜−３）とセンス回路１２１Ａ（−０〜−３）は次の行の読み出しと判定を並行して実施することができる。

このようなデジタル読み出しは、たとえば１フレーム期間において１０２３回実施され、画素ごとに１０ビットの階調データを構成する。
このとき、カウント回路１５３Ａは１０ビットであり、メモリ１５４Ａは（１６ｘ４）個の画素が各々１０ビットのデータを持つので６４０ビットである。
すなわち本ＣＭＯＳイメージセンサ１００Ａは、独自の構成を持ってアレイ化されたフォトンカウンタとして動作する。

本構成の場合、たとえば画素アレイの行数が１ブロック分で満たされ、ブロックが列方向に並ぶだけの場合は、全ての回路を同一半導体基板上に形成することも可能である。
しかし、撮像素子が多くの画素を持つ場合には、画素ブロック１６０（−０〜−３）は、対応するセンス回路１２１Ａ（−０〜−３）を含む支持回路の上に異なる半導体基板で積層されて形成されることが望ましい。
そして、画素ブロック１６０(−０〜−３)とセンス回路１２１Ａ（−０〜−３）は各々異なる半導体基板上にアレイ状に配置されることが望ましい。
換言すれば、画素ブロック１６０(−０〜−３、・・)を含む画素アレイ部１１０Ａとセンス回路１２１Ａ（−０〜−３、・・）を含むセンス回路部１２０Ａは各々異なる半導体基板上にアレイ状に配置されることが望ましい。

さらに望ましくは、センス回路部１２０Ａはカウント回路１５３Ａやメモリ１５４Ａを含む回路ブロック２００として、基板上に形成され、アレイ状に配置される。あるいはメモリ１５４Ａは別途第３の半導体基板を用いて、センス回路の下側にさらに積層して設置しても良い。

次に、本第２の実施形態における画素ブロックの循環アクセスについて説明する。
図９は、本第２の実施形態における画素ブロックの循環アクセスを説明するための図である。
なお、ここでは、アレイ配置された全ての画素ブロックが略並列に動作する場合、撮像素子の画素数がどれほど多くとも、各画素のアクセスは画素ブロック１個のアクセスで代表されるものとする。

各画素ブロック１６０（−０〜−３、・・）に含まれる１６個の画素は循環的に順次アクセスされる。
フレームレートを１／３０秒とし、その間画素ごとに１０２３回の読み出しが実施されるとすると、ブロック処理の１サイクルは約３２マイクロ秒となり、この間に１６個の画素読み出しを完了する必要がある。
図９の横軸となる時間区分はブロック中の画素ごとのアクセスに割り当てられた時間ｔであり、その幅は最大２マイクロ秒となる。
各画素からのデータ読み出しと判定は半導体メモリの読み出しに類した単純な動作であるので、この時間幅には十分な余裕がある。

上記循環アクセスにおいては、各画素ＤＰＸのリセットＲＳＴと読み出しＲＤは循環的に実施される。
この場合、画素ごとにアクセスタイミングは異なるものの、リセットＲＳＴから読み出しＲＤまでの実質的な露光ＥＸＰの時間はどの画素も均等になる。
サイクルの範囲内でリセットＲＳＴのタイミングを変えることで、露光時間を変化させることができ、他の回路動作に影響を与えることなく感度の調整が可能である。
たとえば、各画素ＤＰＸにおいてリセットＲＳＴを前回の読み出しＲＤの直後（読み出しと同一の時間区分）に設定すれば、露光時間は最大となって低照度被写体撮像に対応する。
逆に、読み出しＲＤの直前（読み出しのひとつ前の時間区分）に設定すれば、露光時間は最短となって高照度の被写体撮像に対応する。あるいは同一時間区分の中でもリセットタイミングを何段階か変えられるようにすれば、露光時間はさらに自由に選択できる。

読み出しＲＤの後は、引き続きカウント処理ＣＮＴが実施されるが、並列して次の画素の読み出しが開始される。
ここでたとえば時間ｔ４においては、画素Ｎｏ．４が読み出され、さらに画素Ｎｏ．１がリセットされている。またそれと並列して、画素Ｎｏ．３のカウント処理が実施されている。
この例では画素Ｎｏ．４の読み出しと画素Ｎｏ．１のリセットは時分割でシリアルに実施しているが、各画素内に独立したリセット機構を持つ図４のような画素であれば、行制御線を２系統駆動することで、両者は同時並列でも実行できる。

なお、第２の実施形態においても、リセットタイミングを変えた異なる露光時間のセットで複数回のデータ採取を行い、それを用いて撮像データを生成することが可能である。
具体的には、第１の実施形態で説明した図７（Ａ）〜（Ｃ）等の手法に準じて行えば良く、それによってコントラストの強い被写体の撮像にも対応した広いダイナミックレンジでの撮像が可能になる。

上述したように、本第２の実施形態では、複数の画素ＤＰＸがセンス回路１２１Ａ(−０〜−３)とレジスタ１５２Ａ（−０〜−３）を共有し、さらに複数のセンス回路１２１Ａ(−０〜−３)がカウント回路１５３Ａを共有する階層構造を有している。
各々をどのような比率を持って共有させるかは、上記アクセス時間と各回路の占有面積との関係によって最適化されることになる。
たとえば、本例では１画素のアクセス時間に十分な余裕があるので、より多くの画素がセンス回路を共有し、あるいはより多くのセンス回路がカウンタを共有することが可能である。

図１０は、図８に示した第２の実施形態におけるチップ全体のイメージを示す図である。

図１０の例では、複数の回路ブロック２００が半導体基板ＳＵＢ２Ａ上にアレイ状に敷き詰められている。
複数の回路ブロック２００は、アレイ状に配置されている。
半導体基板ＳＵＢ２Ａには、複数の回路ブロック２００を制御するための制御回路２１０、並びに、回路ブロック２００の出力のためのデマルチプレクサ（ＤＥＭＵＸ）２２０、レジスタ群２３０、転送線２４０、および出力回路２５０が形成される。

図１０において、複数画素ＤＰＸと選択回路を含む画素ブロック１６０からの出力データは、センス回路１２１Ａ−０により判定され、レジスタ１５２Ａに転送される。
複数のレジスタ１５２Ａ−０〜１５２Ａ−３が選択回路１５５を介してカウント回路１５３Ａを共有しており、カウント結果はたとえばダイナミックＲＡＭ（ＤＲＡＭ）よりなるメモリ１５４Ａに格納される。

回路ブロック２００は半導体基板ＳＵＢ２Ａ上にアレイ状に敷き詰められており、それらは一斉に並列動作しながら各々の回路ブロック２００内で選択された画素のデータを判定し、光子の入射数をカウントしている。
回路ブロック２００へのタイミング供給やメモリ１５３Ａの行駆動は、行ごとに配置された制御回路２１０により、行方向に並ぶ回路ブロックで一括に実施される。
一方、回路ブロック２００は半導体基板ＳＵＢ２Ａに積層された異なる半導体基板ＳＵＢ２Ｂにアレイ状に敷き詰められて形成されている。
各画素ブロック１６０と対応するセンス回路が適切に接続されるよう、回路ブロック２００と、それに対応する画素ブロック１６０の一群は、同等のピッチで配置されることが望ましい。

１フレーム分のカウントが完了すると、メモリ１５４Ａに格納されたカウント結果は画素アレイの１行分ずつがデマルチプレクサ２２０を介してレジスタ群２３０のレジスタ２３１にラッチされ、転送線２０４を水平転送されて出力回路２５０により出力される。
フレームを構成する全ての行が出力されて１フレームの処理が完了する。
このような出力形態は、フレームを行毎に順次出力する通常の撮像素子の出力形態と互換になる。

ここで全画素を動画として滑らかに撮像する場合、メモリ１５４Ａはカウント用と出力用に２系統を持つことが望ましく、全体で全画素の２フレーム分のメモリを持つことが望ましい。
この場合、２系統のメモリはフレームごとに交互に入れ替えながら使用され、片側がカウントに使用されている間、反対側は出力に使用される。

あるいは１フレーム分のメモリを奇数行と偶数行の２系統に分け、インターライン動作を行って、奇数行を露光、カウントしている最中は偶数行を出力し、偶数行を露光、カウントしている最中は奇数行を出力しても良い。

ところで、撮像素子には用途に応じて出力するデータ量を減らしたい場合がある。たとえば静止画では有効画素全ての撮像データを使用するが、動画では画素数を間引いてデータ量を減らしたい場合が多い。
そのようなケースに対応して、幾つかの撮像素子は複数画素のデータを加算し、１画素として出力する機能を有している。このような加算処理は通常加算器を別途設けて行うが、その分回路の占有面積が増える。
これに対して、本発明の実施形態では、互いにカウント回路を共有した複数画素に対し、たとえばメモリの格納場所を共有させることで、極めて容易かつ柔軟に画素加算を実施することができる。

たとえば、図３に示す第１の実施形態においては、少なくとも行方向において、カウント回路１５３を共有する複数画素にメモリ１５４の格納場所を共有させることで、それらの画素加算を実施できる。
あるいは、図８に示す第２の実施形態においては、カウント回路１５３Ａを共有する複数画素にメモリ１５４Ａの格納場所を共有させることで、行方向にも列方向にも柔軟な加算が実施できる。
このような加算処理時には使用するメモリ量が節約され、たとえば４画素加算では１／４となる。

したがって、静止画で全画素を使用し、動画で加算を行う場合は、図１０におけるメモリ１５４Ａの全体は全画素の１フレーム分で良い。
静止画では１フレームをそのまま使用し、動画ではメモリを加算で節約しつつ２系統に分け、フレームごとにカウント用と出力用とで交互に入れ替えながら使用する。
これらは全てメモリアクセスの際のアドレス選択を変えるだけで実施でき、容易に制御することが可能である。

なお、本実施形態では、メモリ１５４，１５４Ａに蓄積されたカウント済みのデータはそのまま出力された。これらはフレームメモリとして画素ごとにランダムアクセスできるので、さらに半導体基板ＳＵＢ２，ＳＵＢ２ＡにＤＳＰ等の画像処理回路を搭載し、欠陥修正やデモザイク、圧縮などの画像処理を施しても良い。
さらに複数画素の加算処理は、加算する画素グループを一つの受光単位とみなすことで、その出力のダイナミックレンジを向上させる利点がある。例えば各画素に１０ビットのカウントが実施される場合、４画素を加算した出力は１２ビットとなる。
このような加算処理は用途に応じて柔軟に実施することが可能であり、２次元アレイ状に並んだ画素データを、カウンタを共有する画素グループごとに加算し、さらに出力段にも加算器を設けて、出力時に画素グループ間の加算を実施しても良い。
このような段階的な加算を行えば、全画素を加算して単一のフォトンカウンタとして使用することも容易である。この場合フォトンカウンタは画素数に応じて巨大なダイナミックレンジを持つことになる。

ところで、本実施形態に使用するデジタル画素は、前述したように、光電変換素子を有し、光子の入射に応じて電気信号を出力する機能を有しおり、たとえば図４に示すように構成される。

なお、デジタル画素からのデータ読み出しに際しては、画素ごとの出力ばらつきを相殺するために、センシング時に以下のような自己参照機能を導入することが望ましい。
すなわち、画素からリセット状態の出力と、露光後の信号出力とを各々読み出し、センス回路において、いずれかに一定のオフセットを加えて両者を比較することで２値判定を実施する。

図１１は、自己参照機能を有するセンス回路の一例を示す回路図である。

図１１のセンス回路１２１Ｂは、スイッチＳＷ１２１，ＳＷ１２２，ＳＷ１２３、キャパシタＣ１２１，Ｃ１２２、インバータＩＶ１２１，ＩＶ１２２、およびオフセット信号ＯＦＦＳＥＴの供給ラインＬ１２１を有する。

スイッチＳＷ１２１は、端子ａがキャパシタＣ１２１の第１端子およびキャパシタＣ１２２の第１端子に接続され、端子ｂが出力信号線に接続される端子ＳＩＧに接続されている。
キャパシタＣ１２１の第２端子が、インバータＩＶ１２１の入力端子、スイッチＳＷ１２２の端子ａ、およびスイッチＳＷ１２３の端子ａに接続されている。
インバータＩＶ１２１の出力端子は、インバータＩＶ１２２の入力端子およびスイッチＳＷ１２２の端子ｂに接続されている。
インバータＩＶ１２２の出力端子は、スイッチＳＷ１２３の端子ｂおよび出力端子ＳＡＯＵＴに接続されている。

ここで、図４の画素を例に、図１１の自己参照機能を有するセンス回路を用いた読み出し動作例について説明する。
図１２（Ａ）〜（Ｆ）は、図４の画素を例に、図１１の自己参照機能を有するセンス回路を用いた読み出し動作例を説明するためのタイミングチャートである。
図１２（Ａ）は図４のリセット線１１８に印加されるリセットパルスＲＥＳＥＴを、図１２（Ｂ）は図１４の転送線１１７に印加される読み出しパルスＲＥＡＤを、それぞれ示している。
図１２（Ｃ）はスイッチＳＷ１２１のＯＮ／ＯＦＦ状態を、図１２（Ｄ）はスイッチＳＷ１２２のＯＮ／ＯＦＦ状態を、図１２（Ｅ）はスイッチＳＷ１２３のＯＮ／ＯＦＦ状態を、図１２（Ｆ）はオフセット信号ＯＦＦＳＥＴを、それぞれ示している。

まず、スイッチＳＷ１２１とスイッチＳＷ１２２をオン（ＯＮ）にして、画素ＤＰＸのリセット線１１８にリセットパルスＲＥＳＥＴを与え、リセット状態の画素出力を入力端子ＳＩＧに読み出す。
次いで、スイッチＳＷ１２２をオフ（ＯＦＦ）にしてリセット出力をホールドする。
次に、画素ＤＰＸの転送線１１７にパルスＲＥＡＤを与え、露光結果である信号出力を端子ＳＩＧに入力して、スイッチＳＷ１２１をオフにする。
この間、オフセット信号ＯＦＦＳＥＴ入力は０Ｖに保たれている。
次に、オフセット信号ＯＦＦＳＥＴのレベルを僅かに上昇させて、キャパシタＣ１２２を介して読み出し信号にオフセット電位を追加する。
これにより、リセット状態の出力と、読み出し信号に若干のオフセットを加えた状態での出力とが比較される。
図４の画素に光子が入射している場合、後者の信号は前者より低電位となり、出力端子ＳＡＯＵＴに「０」が出力される。
画素に光子が入射していない場合はその逆となって出力端子ＳＡＯＵＴに「１」が出力される。
最後に、スイッチＳＷ１２３をオンにして判定結果をラッチする。

このような自己参照機能は、アンプトランジスタ１１４の閾値ばらつき等に起因する画素ごとの固定ノイズを相殺し、微小な信号に対しても正確な２値判定を可能にする。さらに上記シーケンスではリセットのｋＴＣノイズも相殺している。
なお、アナログ信号のＡＤ変換における相関二重サンプリング（ＣＤＳ）でも類似の効果が見込める。
ただし、さらに２値判定のセンシングでは２回の読み出しと判定に要する期間が常に一定であることから、画素のアンプトランジスタやセンス回路自体が発する熱雑音やフリッカーノイズも以下のように影響を軽減できる。
すなわち、低周波帯域のノイズはその多くが双方の読み出しに同様に乗る(重畳する)のでその影響を相殺でき、高周波帯域のノイズはセンス回路の容量負荷で感応を制限できる。
したがって、上記容量負荷を、正しくセンシングできる範囲でなるべく大きく設定することで、影響のあるノイズの帯域を最小限に絞り込むことが可能である。
ＡＤ変換における相関二重サンプリングでは、信号の大きさやビット数に従って変換への所要期間が異なることが多く、広いノイズ帯域の影響を受けざるを得ない。

回路はこのような例に限らず、またリセット信号側にオフセットを加えたものを読み出し信号と比較して判定を実施しても良い。
あるいは、先に読み出し信号を取得し、その後画素をリセットしてさらにリセット信号を取得し、いずれかにオフセットを加えて比較判定を行っても良い。この場合、ｋＴＣノイズは相殺できないが、画素ごとのばらつきに起因する固定ノイズ等は相殺でき、あらゆる画素構成に汎用的に適用できる利点がある。
このような自己参照機能を搭載しても、センス回路は通常のＡＤ変換器より遥かに素子数が少なく、大きな占有面積は必要としない。

あるいは、デジタル画素を実現する場合、内部増幅型のフォトダイオードを使用するのも有力な選択肢である。
内部増幅型フォトダイオードとしては、光電変換された電子、ホール対を電界で加速させてなだれ増幅を発生させる、アバランシェ・フォトダイオード(ＡＰＤ)等が知られている。
この場合にも、図４のような画素回路が使用できるが、自己増幅型のフォトダイオードを使用して十分に大きな信号が得られる場合には、画素にアンプトランジスタは不要である。

図１３は、内部増幅型ダイオードを用いて第２の実施形態に対応した画素ブロックの構成例を示す図である。

画素ブロック１６０Ｃは、内部増幅型フォトダイオード１１１Ｃとそれに対応する転送（選択）トランジスタ１１２Ｃのみの集合で構成されている。
すなわち、この例の画素ＤＰＸＣは、部増幅型フォトダイオード１１１Ｃとそれに対応する転送（選択）トランジスタ１１２Ｃのみで形成されている。同一行の各画素ＤＰＸＣの転送トランジスタ１１２Ｃのゲート電極が共通の転送線１１７Ｃに接続されている。そして、各画素ブロック１６０Ｃの複数の画素の転送トランジスタのソースまたはドレインが共通の出力信号線１３１に接続されている。
また、各出力信号線１３１には、リセット電位線ＬＶＲＳＴとの間にリセットトランジスタ１１３Ｃが接続されている。各リセットトランジスタ１１３Ｃのゲート電極が共通のリセット線１１８Ｃに接続されている。
本例では、各画素ＤＰＸＣは、リセットトランジスタ１１３Ｃ、出力信号線１３１、転送トランジスタ１１２Ｃを介してリセットされる。
なお、画素ブロック１６０Ｃをセンス回路１２１Ｃ上に積層する場合、リセットトランジスタ１１３Ｃは画素ブロック１６０Ｃ側の基板に属しても良いし、センス回路１２１Ｃ側の基板に属しても良い。

ところで、半導体基板の積層にウエハーの貼り合せを使用した場合、前述した先願の製造法に従えば、画素や画素ブロックと、センス回路間の信号接続は導電性パッド電極を介した直接接続が想定される。
しかし、研磨速度の異なる金属パッドと絶縁膜を同時に露出させ、それらを当時に研磨して、貼り合せに必要な高精度の平坦面を作製し、貼り合せ強度を維持するのは容易ではない。
また研磨中や貼り合せ前にパッド表面が変質し、絶縁不良を発生させる問題もある。異なるチップを貼り合わせる場合も、電極パッドを介した高精度の直接接続には同様の困難が発生する。

一方、デジタルデータの伝達には高い精度は必要ないので、必ずしも直接的な接続は必要ではなく、キャパシタを介したカップリング容量による接続で十分である。
キャパシタ容量はサイズや誘電体膜厚等による製造ばらつきの影響を受け、キャパシタごとに信号の大きさに依存した固有のノイズを発生させるので、アナログ信号の伝達には多くの困難が生ずる。
しかし、デジタル信号の場合そのような問題は無く、さらに前述の自己参照と組み合わせれば、小さな信号でもそれらの影響を排して読み取ることが可能である。

図１４は、キャパシタを介したカップリング容量による接続構造を採用したＣＭＯＳイメージセンサ１００Ｄの断面の一例を示す図である。

図１４の例では、デジタル画素ＤＰＸは半導体基板ＳＵＢ１Ｅ上に形成されており、フォトダイオード１１１Ｅで生成されたエレクトロンが、転送トランジスタ１１２Ｅを介して出力電極部１１９に転送される。
一方、センス回路１２１Ｅは半導体基板ＳＵＢ２Ｅ上に形成されており、画素ＤＰＸからの出力信号を入力電極部１２２で受ける。
両基板ＳＵＢ１Ｅ，ＳＵＢ２Ｅの接合面ＢＤＳには高誘電体膜３００を電極で挟んだキャパシタＣＣＰが形成されている。画素ＤＰＸＥの出力電極部１１９とセンス回路１２１Ｅの入力電極部１２２はそのキャパシタＣＣＰを介して接続されている。
なお、基板貼り合せ後に、画素ＤＰＸＥの受光面にはカラーフィルタ３１０やマイクロレンズ３２０が形成されている。

このような構造を用いた場合、図１１の自己参照型センス回路の一部を上記カップリングキャパシタＣＣＰで代替させて、回路をさらに簡略化することもできる。
図１５は、キャパシタを介したカップリング容量による接続構造を採用したＣＭＯＳイメージセンサの自己参照機能を有するセンス回路の一例を示す回路図である。
なお、図１５において、図１１と同一構成部分は同一符号をもって表している。
図１５のセンス回路１２１Ｅは、図１１のセンス回路１２１ＢのスイッチＳＷ１２１およびキャパシタＣ１２１を持たない構成となっている。

デジタル画素ＤＰＸＥは、図１１および図１２に関連付けて説明したのと同様に、まず出力電極部１１９にリセットレベルを出力する。
センス回路１２１ＥはＳＷ２をオンし、さらにオフして、カップリングキャパシタ（ＣＣＰ）を介して伝達されたリセットレベル信号を浮遊状態となったノードである入力電極部１２２にホールドする。
すなわち、出力電極部１１９にリセットレベルが入力されると、入力電極部１２２がインバータの閾値に達するような電荷が蓄積ノードとして機能する入力電極部１２２に蓄積される。
この後、デジタル画素ＤＰＸＥは、出力電極部１１９に信号レベルを出力する。
さらに、オフセット信号ＯＦＦＳＥＴのレベルを僅かに正電位側に駆動することで、読み出し信号に若干のオフセットを追加する。これによってインバータＩＶ１２１、ＩＶ１２２が駆動され、判定結果が出力端子ＳＡＯＵＴに出力される。
最後に、スイッチＳＷ１２３をオンして判定結果をラッチする。
このようなケースでは、カップリングキャパシタＣＣＰはセンス回路の一部と解釈することも可能である。

なお、図１４や図１５で説明したような、キャパシタのカップリングを介した信号伝達は、複数の画素が一つのセンス回路に対応する第２の実施形態についても同様に実施できる。
第２の実施形態ではたとえば画素からの出力電極部１１９が画素ブロック内の複数画素で共有される。

＜４．第３の実施形態＞
図１６は、本発明の第３の実施形態に係るＣＭＯＳイメージセンサ（撮像素子）の構成例を示す図である。

本第３の実施形態に係るＣＭＯＳイメージセンサ１００Ｂは、所定露光期間における画素への光子入射の有無の２値判定を、単位フレーム期間内において複数回反復実行し、判定結果を集積することで、受光部への光子入射量を導出する機能を有する。
そして、ＣＭＯＳイメージセンサ１００Ｂは、判定のサイクル期間を、単位サイクル期間のＮ倍（Ｎは整数）に従う複数のサイクル期間の範囲で、可変に設定する機能を有する。
ＣＭＯＳイメージセンサ１００Ｂは、さらに同一の単位フレーム期間における入射光量の導出を、長いサイクル期間による少回数の判定で実施するモードと、短いサイクル期間による多回数の判定で実施するモードを備えている。
ＣＭＯＳイメージセンサ１００Ｂは、低照度の撮像においては長いサイクル期間による少回数の判定を実施し、高照度の撮像においては短いサイクル期間による多回数の判定を実施する機能を有している。
ＣＭＯＳイメージセンサ１００Ｂは、単位フレーム期間内に、短いサイクル期間による判定と長いサイクル期間による判定を含む複数回の判定を、さらに循環的に複数回反復し、それらの判定結果を合成、集積して受光部への光子入射量を導出する機能を有する。

換言すれば、本ＣＭＯＳイメージセンサ１００Ｂは、時分割フォトンカウンティングを用いたイメージャーの露光設定に最適な構成を有している。
すなわち、低照度の露光で十分な感度を得るには、実露光時間は長い方が望ましいが、その一方で多くの判定カウント数は必要としない。
一方、高照度で高いＳ／Ｎ比を得るには実露光時間よりカウント総数が優先される。例えば上述のように読み出しに４００ナノ秒を使用しても、判定のサイクル時間を１マイクロ秒にすれば最大１６，６６６回のカウント総数が確保できる。
このときフレーム期間の最大６割の露光時間しか確保できないが、高照度の撮像では殆ど問題にならない。
一方、低照度の撮像時は、例えば判定のサイクル時間をその４倍の４マイクロ秒にして、フレーム期間の９割の露光時間を確保すればよい。

このような判定サイクル時間をＮ倍（Ｎは整数）に変える機能の実装は、読み出し判定動作の実行頻度を１／Ｎにする以外には、基本的に回路の動作タイミングを変える必要が無い。従ってその制御は容易であり、回路規模も殆ど増加しない。
また、さらに異なるサイクル時間による複数の判定をセットにして単位フレーム期間内に反復動作させることで、高照度部と低照度部を含むコントラストの高い撮像にも対応でき、かつ低照度部に対しては十分な露光時間を確保できる。

このように、本第３の実施形態によれば、時分割フォトンカウンティングにおいて、高照度の撮像時には判定カウント数を増加させ、光ショットノイズに対して高いＳ／Ｎ比を確保できる一方で、低照度の撮像時には十分に長い露光時間を確保することができる。
さらに低照度部と高照度部を含むコントラストの高い撮像にも対応でき、動被写体の色ズレも発生せず、かつかつ低照度部に対しては十分な露光時間を確保できる。さらに低照度の撮像時は、消費電力も大幅に削減することが可能になる。
以下、具体的な構成および機能について説明する。

図１６は、時分割フォトンカウンティングによる撮像装置の一例を示している。
ＣＭＯＳイメージセンサ１００Ｂは、画素アレイ部１１０Ｂ、センス回路部１２０Ｂ、レジスタ（ラッチ）１５２Ｂ−０〜１５２Ｂ−３、カウント回路１５３Ｂ、メモリ１５４Ｂ、およびセレクタ１５５Ｂを有する。
レジスタ１５２Ｂ−０〜１５２Ｂ−３、カウント回路１５３Ｂ、メモリ１５４Ｂ、およびセレクタ１５５Ｂにより判定結果集積回路部１５０Ｂが形成されている。

ＣＭＯＳイメージセンサ１００Ｂにおいて、画素は回路基板上に積層されており、２つの画素ＤＸ１、ＤＸ２が一つのセンス回路１２１Ｂとラッチ（レジスタ）１５２Ｂ−０〜１５２Ｂ−３を共有している。
さらに、４つのセンス回路１２１Ｂがセレクタ１５５Ｂを介してカウント回路１５３Ｂとメモリ１５４Ｂを共有している。
メモリ１５４Ｂには各画素に対応するカウントデータが、各々異なるアドレスに保存されている。

図１７は、図１６の回路における高照度時の撮像データ処理のフローを示す図である。
処理は１μ秒の単位サイクルで以下のように実施される。
まず、時刻Ｔ０のタイミングで画素ＤＸ１への電荷蓄積が開始され、６００ナノ秒後にセンス回路１２０Ｂによってその読み出しが開始されて２値判定される。
そして単位サイクルの終わり際に判定データはラッチ１５２Ｂ−０〜１５２Ｂ−３に保存される。
自刻Ｔ１のタイミングで始まる次のサイクルでは、再び画素ＤＸ１への電荷蓄積が開始されるとともに、ラッチ１５２Ｂ−０〜１５２Ｂ−３に保存されたデータのカウント処理が開始される。
カウント回路１５３Ｂは４列で共有されているため、各列の対応する画素のラッチデータがセレクタ１５５Ｂを介して順次カウント回路１５３Ｂに送信され、列ごとのカウント処理が実施される。
画素ＤＸ１のカウント処理は、まずメモリ１５４Ｂから対応するカウントデータがカウント回路１５３Ｂにセットされ、たとえばラッチ１５２Ｂ−０〜１５２Ｂ−３に保存された値が１であれば値がカウントアップされるが、０であれば何もなされない。
その後、カウント回路１５３Ｂのデータがメモリ１５４Ｂの元のアドレスに書き戻されて、画素ＤＸ１のカウント処理が完了する。
あるいはラッチ１５２Ｂ−０〜１５２Ｂ−３に保存されたデータが１の場合のみ上記動作が行われ、０では何も行われないようにしても良い。

一方、同じ時刻Ｔ１のタイミングで、センス回路１２１Ｂによって画素ＤＸ２に蓄積されたデータの読み出しが開始される。
このような処理フローを繰り返すことで、センス回路１２１Ｂ、ラッチ１５２Ｂ−０〜１５２Ｂ−３、カウント回路１５３Ｂ、メモリ１５４Ｂは共有された複数画素のデータをパイプライン的に処理していく。
このとき、たとえば１フレーム期間を１／６０秒とすると、１４ビットに相当する１６，３００回超のカウントが可能であり、高いＳ／Ｎ比でデータを採取することが可能である。

図１８は、図１６の回路における低照度時の撮像データ処理のフローを示す図である。
図１７の処理から読み出しとカウント処理が１サイクルおきに省略され、その間蓄積が継続されている。即ち各画素の処理サイクルの長さは２倍の２μ秒となっている。
このとき、サイクルごとの露光時間は最大１６００ナノ秒であり、フレーム期間の８割の露光期間が確保できる。
一方、１フレーム期間を１／６０秒とすると、カウント数は図２の処理の約半分となる。即ち１３ビットに相当する８，１９０カウント超に留まるが、低照度でのカウント数としては十分である。

図１９（Ａ）〜（Ｄ）は、本第３の実施形態におけるサイクル切り替えの概念を示す図である。
図１９において、斜線部分が蓄積期間、白抜き部分が読み出し期間を示している。

上段の基本サイクルから読み出しとそれに伴うカウント処理を間引いていくことで、基本サイクルのＮ倍（Ｎは整数）のサイクル期間を容易に設定できる。
このときの最大カウント数は略１／Ｎである。このように低照度撮像時に必要に応じてサイクル期間を延ばしていくことで、実効的な露光期間を長く確保できるだけでなく、消費電力も大幅に低減できる。

また、上記サイクル切り替えと、画素のリセットによる電子シャッターを組み合わせても良い。
すなわち図１７および図１８の蓄積期間は最大蓄積期間を示しているが、この期間の途中に任意のタイミングで画素のリセットを行うことで、実質的な蓄積時間を微調整することができる。
このようにサイクル切り替えと、画素リセットのタイミング調整の組み合わせで、蓄積時間を柔軟に調整でき、最適な露光条件での撮像が可能になる。

実際の撮像システムにおいては、自動露出で一般に行われるのと同様に、まずシステムで被写体の明るさを判定する。
そして高照度の撮像に対しては短いサイクル期間と高頻度のサンプリングを、低照度の撮像に対しては長いサイクル期間と低頻度のサンプリングを採用する。

簡単な例では、たとえばまず短いサイクル期間で撮像をスタートし、単位フレーム期間において画面内の画素の平均光子カウント数がカウント総数の一定割合以下であれば、より低照度の撮像モードに移行する。
すなわち、サイクル期間を延ばすとともにカウント総数を減らしていく。あるいは長いサイクル期間からスタートして、高照度側の撮像モードに移行する形の調整を行っても良い。

図２０は、サイクル期間の長短２通りを組み合わせ、それを循環させてカウントを行うことで撮像のダイナミックレンジを向上させる例を示す図である。

この例では、短いサイクルＣＹＣ１で４回のサンプリングを行い、その後サイクルＣＹＣ１の４倍の期間をもつサイクルＣＹＣ２で１回のサンプリングを実施している。
これを循環的に繰り返し、たとえば１フレーム期間内にサイクルＣＹＣ１で４０９５回、サイクルＣＹＣ２で１０２３回のサンプリングを行う。各画素の各々のサイクルにおけるカウント値はメモリの異なるアドレスに独立して保存される。

ここで、短サイクルＣＹＣ１でのサンプリングにおいては、このサンプリングの合計蓄積期間中に各画素に入射した光子数を、高照度時も低照度時もほぼ正確にカウントできる。
一方、長サイクルＣＹＣ２でのサンプリングにおいては、低照度時はほぼ正確にカウントしているものの、高照度時には多くのカウントミスを含む。

出力は画素ごとに、たとえば以下のように合成される。
すなわち、サイクルＣＹＣ２のカウント値が２５６以上であれば、この画素は高照度の画素と判定され、その出力値としては、たとえばサイクルＣＹＣ１のカウント値に（ＣＹＣ１とＣＹＣ２の合計サイクル時間／ＣＹＣ１の合計蓄積時間）を乗じた値が採用される。
つまり、サイクルＣＹＣ１のカウント値のみから出力が生成される。

一方、サイクルＣＹＣ２のカウント値が２５５以下であれば、それは低照度の画素と判定される。
この画素の出力値としては、たとえばサイクルＣＹＣ２のカウント値に（ＣＹＣ２の合計サイクル時間／ＣＹＣ２の合計蓄積時間）を乗じた値とサイクルＣＹＣ１のカウント値に（ＣＹＣ１の合計サイクル時間／ＣＹＣ１の合計蓄積時間）を乗じた値が加算される。そして、その加算値が出力される。
すなわち、サイクルＣＹＣ１のカウント値とサイクルＣＹＣ２のカウント値の双方が使用される。

この場合、単にサイクルＣＹＣ１のみでカウントした場合に対して消費電力は６０％強ですみ、かつ短いサイクルＣＹＣ１は高照度の画素への入射光子数をほぼ正確にカウントすることができる。
一方、低照度の画素においては、より長い実蓄積時間を得ることができ、その分高感度化が実現できる。
したがって、同一画面に高照度部と低照度部が混在した場合にも、画素ごとに最適な合成手法を選択することができ、ノイズが小さくダイナミックレンジの広い撮像が可能となる。
さらに２種類のサイクルによるサンプリングは１フレーム期間内に循環的に多数回実行されるので、結果は各々平均化されて、動いている被写体の撮像においても、画素ごとのサンプル期間の相違による色ズレの発生等が無い。

なお、たとえば低照度での高感度を優先する場合、サイクルＣＹＣ２によるサンプリングをより多くして、その分サイクルＣＹＣ１によるサンプリングを減らしても良い。その場合、実蓄積時間はより長くなる。
また、実蓄積時間が十分に長ければ、低照度画素の出力はサイクルＣＹＣ２のカウント値のみから生成しても良い。この際も高照度画素の出力はサイクルＣＹＣ１のカウント値のみから生成される。
また、３種類以上のサイクルを組み合わせて撮像を行っても良い。異なるサイクル期間ごとのカウント値から出力を合成する際の手法には、さまざまなバリエーションが生じえる。

以上説明した第１、第２、および第３の実施形態に係る固体撮像素子は、デジタルカメラやビデオカメラの撮像デバイスとして適用することができる。

＜５．第４の実施形態＞
図２１は、本発明の第４の実施形態に係る固体撮像素子が適用されるカメラシステムの構成の一例を示す図である。

本カメラシステム４００は、図２１に示すように、本実施形態に係るＣＭＯＳイメージセンサ（固体撮像素子）１００，１００Ａが適用可能な撮像デバイス４１０を有する。
カメラシステム４００は、この撮像デバイス４１０の画素領域に入射光を導く（被写体像を結像する）光学系、たとえば入射光（像光）を撮像面上に結像させるレンズ４２０を有する。
さらに、カメラシステム４００は、撮像デバイス４１０を駆動する駆動回路(ＤＲＶ)４３０と、撮像デバイス４１０の出力信号を処理する信号処理回路(ＰＲＣ)４４０と、を有する。

駆動回路４３０は、撮像デバイス４１０内の回路を駆動するスタートパルスやクロックパルスを含む各種のタイミング信号を生成するタイミングジェネレータ(図示せず)を有し、所定のタイミング信号で撮像デバイス４１０を駆動する。

また、信号処理回路４４０は、撮像デバイス４１０の出力信号に対して所定の信号処理を施す。
信号処理回路４４０で処理された画像信号は、たとえばメモリなどの記録媒体に記録される。記録媒体に記録された画像情報は、プリンタなどによってハードコピーされる。また、信号処理回路４４０で処理された画像信号を液晶ディスプレイ等からなるモニターに動画として映し出される。

上述したように、デジタルスチルカメラ等の撮像装置において、撮像デバイス４１０として、先述した固体撮像素子１００，１００Ａを搭載することで、低消費電力で、高精度なカメラが実現できる。

１００，１００Ａ，１００Ｂ・・・ＣＭＯＳイメージセンサ、１１０・・・画素アレイ部、ＤＰＸ・・・デジタル画素、１１０Ａ〜１１０Ｇ・・・画素回路、１１１・・・フォトダイオード、１１２・・・転送トランジスタ、１１３・・・リセットトランジスタ、１１４・・・アンプトランジスタ、１１５・・・蓄積ノード、１１６・・・ＦＤノード、１２０・・・センス回路部、１２１，１２１Ａ、１２１Ｂ・・・センス回路、１３０・・・出力信号線群、１３１・・・出力信号線、１４０・・・転送線群、１４１・・・転送線、１５０，１５０Ａ・・・判定結果集積回路部、１５２，１５２Ａ，１５２Ｂ・・・レジスタ（ラッチ）、１５３，１５３Ａ，１５３Ｂ・・・カウント回路、１５４，１５４Ａ、１５４Ｂ・・・メモリ、１５５，１５５Ｂ・・・選択回路（セレクタ）、１６０，１６０Ｃ・・・画素ブロック、１７０・・・行駆動回路、１８０・・・行制御線群、１８１・・・行制御線、２００・・・回路ブロック、２１０・・・制御回路、２２０・・・デマルチプレクサ、２３０・・・レジスタ群、２３１・・・レジスタ、４００・・・カメラシステム、４１０・・・撮像デバイス、４２０・・・レンズ、４３０・・・駆動回路(ＤＲＶ)、４４０・・・信号処理回路（ＰＲＣ）。

Claims (19)

1. 光電変換素子を有し、光子入射に応じて電気信号を出力する画素が、複数アレイ状に配置された画素アレイ部と、
   上記画素からの電気信号を受けて、所定期間における画素への光子入射の有無を２値判定するセンス回路が、複数配置されたセンス回路部と、
   上記センス回路の判定結果を画素ごとまたは画素グループごとに複数回集積して、階調のある撮像データを生成する判定結果集積回路部と、を有し、
   上記判定結果集積回路部は、
   上記センス回路の判定結果を集積するカウント処理を行うカウント回路と、
   上記カウント回路における各画素のカウント結果を格納するためのメモリと、を含み、
   複数の上記センス回路が上記判定結果を集積するためのカウント回路を共有している
   撮像素子。
2. 上記画素アレイ部の上記複数の画素と上記センス回路部の上記複数のセンス回路は１対１に対応して形成されて互いに接続され、
   上記複数のセンス回路のうちの所定数のセンス回路ごとに上記カウント回路を共有している
   請求項１記載の撮像素子。
3. 上記画素アレイ部は、
   上記複数の画素が行方向および列方向にマトリクス状に配置され、
   上記センス回路部は、
   上記複数のセンス回路が行方向および列方向にマトリクス状に配置され、
   上記画素アレイ部の上記複数の画素と上記センス回路部の上記複数のセンス回路は１対１に対応して互いに接続され、
   上記複数のセンス回路のうち、同一行または同一列に配置された複数のセンス回路が上記カウント回路を共有している
   請求項２記載の撮像素子。
4. 上記各画素を光子が未入射の状態にリセットするリセット機能を有し、
   上記センス回路による光子入射判定は、各画素において一定のサイクルで実施され、
   各サイクル期間内でリセットのタイミングを変えることによって露光期間の調整を行う調整機能を有する
   請求項１から３のいずれか一に記載の撮像素子。
5. 上記調整機能は、
   上記リセットのタイミングを変えた複数セットの露光期間を形成し、
   上記センス回路は、
   各々の露光期間で複数回の光子入射判定を実行し、
   上記判定結果集積回路部は、
   上記センス回路の光子入射判定結果を集積して撮像データを生成する
   請求項４記載の撮像素子。
6. 複数の画素が上記センス回路を共有している
   請求項１記載の撮像素子。
7. 上記画素アレイ部は、
   各々複数の画素とその選択手段を含む複数の画素ブロックが形成され、
   上記センス回路部は、
   上記各画素ブロックに対応して各々独立したセンス回路が配置されている
   請求項６記載の撮像素子。
8. 上記画素ブロックの上記選択手段は、
   当該画素ブロック内の各画素を循環的に選択して上記センス回路に選択画素の信号を出力し、
   上記センス回路は、
   前回選択から今回選択までの間の一定期間における各画素への光子の入射の有無を判定する
   請求項７記載の撮像素子。
9. 上記各画素を光子が未入射の状態にリセットするリセット機能を有し、
   上記画素ブロックにおける各画素の選択出力から次の選択出力までの間に、各画素で露光時間が一定になるようにリセット処理を挿入することで、露光期間の調整を行う調整機能を有する
   請求項８記載の撮像素子。
10. 上記各画素を光子が未入射の状態にリセットするリセット機能を有し、
    上記センス回路は、
    リセット状態の信号と、露光後の読み出し信号を各々読み出して、いずれか一方にオフセットを加えて両者を比較することで上記２値判定を実施する
    請求項１から９のいずれか一に記載の撮像素子。
11. 上記判定結果集積回路部は、互いに共有する上記カウント回路を介して複数の画素のカウント値を加算する機能を有する
    請求項１から１０のいずれか一に記載の撮像素子。
12. アレイ状に配置された上記複数の画素を含む上記画素アレイ部が第１の半導体基板が形成され、
    アレイ状に配置された上記複数のセンス回路を含む上記センス回路部が第２の半導体基板が形成され、
    上記第１の半導体基板と上記第２の半導体基板は互いに積層されている
    請求項１から１１のいずれか一に記載の撮像素子。
13. 上記カウント回路と上記メモリのうち、少なくとも上記カウント回路は、上記第２の半導体基板に形成されている
    請求項１２記載の撮像素子。
14. 上記第１の半導体基板と上記第２の半導体基板は、両者の接合面を研磨した貼り合せによって接合され、
    上記画素または上記画素ブロックからの出力信号は、対応するセンス回路へ、上記貼り合せ接合面に形成されたキャパシタを介して伝達される
    請求項１２または１３記載の撮像素子。
15. 上記センス回路部は、
    ２値判定を、単位フレーム期間内において複数回反復実行し、当該判定結果を集積することで、受光部への光子入射量を導出する
    上記判定のサイクル期間を、単位サイクル期間のＮ倍（Ｎは整数）に従う複数のサイクル期間の範囲で、可変に設定する機能を有する
    請求項１から１４のいずれか一に記載の撮像素子。
16. 同一の単位フレーム期間における上記入射光量の導出を、長いサイクル期間による少回数の判定で実施するモードと、短いサイクル期間による多回数の判定で実施するモードを含む
    請求項１５記載の撮像素子。
17. 低照度の撮像においては長いサイクル期間による少回数の判定を実施し、高照度の撮像においては短いサイクル期間による多回数の判定を実施する
    請求項１５または１６記載の撮像素子。
18. 上記単位フレーム期間内に、短いサイクル期間による判定と長いサイクル期間による判定を含む複数回の判定を、さらに循環的に複数回反復し、それらの判定結果を合成、集積することで、受光部への光子入射量を導出する
    請求項１６または１７記載の撮像素子。
19. 撮像素子と、
    上記撮像素子に被写体像を結像する光学系と、
    上記撮像素子の出力画像信号を処理する信号処理回路と、を有し、
    上記撮像素子は、
    光電変換素子を有し、光子入射に応じて電気信号を出力する画素が、複数アレイ状に配置された画素アレイ部と、
    上記画素からの電気信号を受けて、所定期間における画素への光子入射の有無を２値判定するセンス回路が、複数配置されたセンス回路部と、
    上記センス回路の判定結果を画素ごとまたは画素ブロックごとに複数回集積して、階調のある撮像データを生成する判定結果集積回路部と、を有し、
    上記判定結果集積回路部は、
    上記センス回路の判定結果を集積するカウント処理を行うカウント回路と、
    上記カウント回路における各画素のカウント結果を格納するためのメモリと、を含み、
    複数の上記センス回路が上記判定結果を集積するためのカウント回路を共有している
    カメラシステム。

Images