本発明の実施の形態について図面を用いて以下に説明する。なお、本発明は以下の実施形態に限定されるものではなく、適宜変更可能である。また、以下に示す実施形態を適宜組み合わせるようにしてもよい。
[第1実施形態]
第1実施形態による固体撮像素子、撮像装置及び撮像方法について図1乃至図5を用いて説明する。図1は、本実施形態による固体撮像素子を示す図である。
図1に示すように、本実施形態による固体撮像素子100は、撮像部(撮像領域、画素アレイ領域)160と、水平選択回路(水平走査回路)130と、垂直選択回路(垂直走査回路)140と、出力部150とを備えている。
撮像部160には、複数の画素110が行列状、即ち、マトリクス状に配されている。ここでは、説明の簡略化のため、24個の画素110が図示されているが、実際には多数の画素110が撮像部160に備えられている。各々の画素110に付された(p,q)(p、qはそれぞれ整数)は、当該画素110の座標を示している。pは行番号を示しており、qは列番号を示している。各々の画素110には、システム制御部404(図4参照)から同期信号VDが供給される(図2(b)参照)。撮像部160は、撮影光学系401(図4参照)によって形成される光学像を受光する。各々の画素110に入射する光子が、各々の画素110においてカウントされるようになっている。画素110においてカウントされた光子の数に応じた出力信号が、水平出力線120を介して出力部150に出力されるようになっている。同一の行に位置する画素110によって取得された信号は、同一の水平出力線120を介して出力部150に伝送される。ここでは、4本の水平出力線が図示されているが、実際には、多数の出力信号線が備えられている。各々の水平出力線120には、スイッチ121が備えられている。画素110から出力される出力信号は、水平出力線120とスイッチ121とを介して出力部150に伝送される。
撮像部160の各々の行に対して、水平選択回路130が備えられている。なお、ここでは、水平選択回路130が撮像部160内に備えられている場合を例に説明するが、撮像部160の外側に水平選択回路130が備えられていてもよい。当該画素110が読み出し対象であるか否かを示す情報が、当該画素110から水平選択回路130に信号線125を介して供給されるようになっている。例えば、前フレームにおける当該画素110の画素値と現フレームにおける当該画素110の画素値との差分が閾値TH以下である場合には、以下のようになる。即ち、当該画素110は読み出し対象ではないということを示す情報が、当該画素110から水平選択回路130に信号線125を介して供給される。一方、前フレームにおける当該画素110の画素値と現フレームにおける当該画素110の画素値との差分が閾値THより大きい場合には、以下のようになる。即ち、当該画素110は読み出し対象であるということを示す情報が、当該画素110から水平選択回路130に信号線125を介して供給される。水平選択回路130は、各々の画素110から供給されるこのような情報をそれぞれ記憶する。水平選択回路130は、各々の画素110から供給されるこのような情報に基づいて、以下のような処理を行う。即ち、水平選択回路130は、当該水平選択回路130が備えられている行に位置する画素110のうちの読み出し対象となる画素110の数を示す情報を、信号線126を介して垂直選択回路140に供給する。水平選択回路130は、読み出し処理の際、当該水平選択回路130が備えられた行に位置する複数の画素110のうちの読み出し対象となる画素110を水平方向に順次選択する。画素110から出力される信号は、スイッチ123を介して水平出力線120に伝送されるようになっている。スイッチ123は、水平選択回路130から読み出し制御線124を介して供給される信号によって制御される。水平選択回路130は、読み出し対象の画素110から信号を読み出す際、当該画素110の出力信号線に備えられたスイッチ123をON状態にする。水平選択回路130は、読み出し対象の画素110に対して、列番号qが小さい順に読み出し処理を行う。水平選択回路130は、読み出し対象ではない画素110に対しては、読み出し処理を行わない。
垂直選択回路140には、水平方向に延在する複数の読み出し制御線122が備えられている。ここでは、4本の読み出し制御線122が図示されているが、実際には、多数の読み出し制御線122が備えられている。垂直選択回路140には、システム制御部404(図4参照)から同期信号(垂直同期信号)VDが供給されるようになっている。上述したように、各々の行に備えられた水平選択回路130からは、読み出し対象となる画素110の数を示す情報が、信号線126を介して垂直選択回路140に供給されるようになっている。垂直選択回路140は、各々の行において読み出し対象となる画素110の数を記憶する。垂直選択回路140は、読み出し処理の際、読み出し対象となる画素110が存在している行、即ち、読み出しの対象となる行を垂直方向に順次選択する。読み出し対象となる画素110が存在しない行に対しては、読み出し処理は行われない。垂直選択回路140は、読み出し制御線122を介してスイッチ121をON状態にすることによって、読み出しの対象となる行を選択する。垂直選択回路140は、当該行に存在している読み出し対象となる画素110の数に応じた時間だけ、当該行を選択する。読み出し対象となる画素110が当該行に多く存在している場合には、当該行が選択される時間が長くなり、読み出し対象となる画素110が当該行に多く存在していない場合には、当該行が選択される時間は短くなる。
垂直選択回路140によって行の選択を垂直方向に適宜行いつつ、水平選択回路130によって画素110の選択を水平方向に適宜行うことにより、読み出し対象の画素110から信号が読み出される。読み出し対象の画素110からそれぞれ読み出された信号は、水平出力線120をそれぞれ介して出力部150に供給される。出力部150は、撮像部160から順次供給される信号を用いて出力信号OUTPUTを生成する。出力部150は、例えば、低電圧差動伝送(LVDS:Low Voltage Differential Signaling)技術等を用いて、固体撮像素子100の外部に出力信号OUTPUTを出力する。この際、出力部150は、読み出し対象となった画素110の座標(p,q)を示す情報を、当該画素110から読み出された信号とともに出力する。固体撮像素子100は、同期信号VDに基づいて、第n番目のフレームに対する読み出し処理と、第n+1番目のフレームの露光処理とを並行して行う。
図2は、本実施形態による固体撮像素子を示す図である。図2(a)は、本実施形態による固体撮像素子を示す斜視図である。図2(a)に示すように、固体撮像素子100は、2つの基板(半導体チップ)220,230を積層することによって構成されている。図2(b)は、本実施形態による固体撮像素子100に備えられている画素110を示している。図2(b)においては、固体撮像素子100に備えられた複数の画素110のうちの1つの画素110が抜き出して示されている。
図2(a)に示すように、固体撮像素子100は、撮影光学系401によって形成される光学像を受光する基板(上部基板)220と、主としてデジタル系の回路を備える基板(下部基板)230とから構成されている。図2(b)に示すように、画素110は、センサ部(受光部、画素部)216と計数部217とによって構成されている。画素110のうちのセンサ部216は、基板220に形成されている。画素110のうちの計数部217は、基板230に形成されている。複数のセンサ部216が、基板220に行列状に配列されている。複数の計数部217が、基板230に行列状に配列されている。複数のセンサ部216の各々と、これらのセンサ部216に対応する複数の計数部217の各々とが、互いに電気的に接続されている。こうして、複数の画素110がマトリクス状に配されている。センサ部216には、フォトダイオード201と、クエンチ素子202と、インバータ203とが備えられている。センサ部216にインバータ203が備えられているため、波形整形されたパルス信号PULSEがセンサ部216から計数部217に伝送される。従って、センサ部216から計数部217への伝送は比較的ロバストである。計数部217には、カウンタ204と、ラッチ回路(ラッチ部)Lat1、Lat2と、インバータ207と、減算器208と、比較器209,210と、OR回路211と、乗算器212,213と、スイッチ214,215とが備えられている。垂直選択回路140と、出力部150とは、基板220の周辺回路部241又は基板230の周辺回路部242とのうちのいずれかに備えられている。ここでは、垂直選択回路140と、出力部150とが、基板230の周辺回路部242に配置されている場合を例に説明する。なお、図2(a)においては、水平選択回路130の図示が省略されている。水平選択回路130は、例えば基板230に備えられている。
このように、本実施形態では、センサ部216が基板220に形成されており、計数部217が基板230に形成されている。回路規模が大きい計数部217が、センサ部216が備えられている基板220とは別個の基板230に備えられているため、センサ部216の面積を十分に確保することができる。このため、センサ部216の開口面積を十分に確保することができる。
フォトダイオード201としては、単一光子を検出し得るアバランシェフォトダイオード、即ち、SPAD(Single Photon Avalanche Diode、単一光子アバランシェダイオード)が用いられている。フォトダイオード201のアノードは接地電圧に接続されており、フォトダイオード201のカソードはクエンチ素子202の一端に接続されている。クエンチ素子202の他端にはバイアス電圧Vaが印加される。フォトダイオード201には、クエンチ素子202を介してフォトダイオード201の降伏電圧より大きいバイアス電圧Vaが印加され得る。このため、フォトダイオード201はガイガーモードと称される動作モードで動作し得る。即ち、フォトダイオード201に光子(フォトン)が入射するとアバランシェ増倍現象を引き起こす。これにより、アバランシェ電流が生じ、クエンチ素子202において電圧降下が生ずる。クエンチ素子202は、フォトダイオード201のアバランシェ増倍現象を停止させるための抵抗素子である。ここでは、MOSトランジスタの抵抗成分を利用してクエンチ素子202が構成されている。アバランシェ増倍現象によってアバランシェ電流が生じると、クエンチ素子202において電圧降下が生じ、フォトダイオード201に印加されるバイアス電圧が降下する。バイアス電圧がフォトダイオード201の降伏電圧以下になるとアバランシェ増倍現象が停止する。その結果、アバランシェ電流が流れなくなり、フォトダイオード201には、再びバイアス電圧Vaが印加される。フォトダイオード201のカソードと、クエンチ素子202の一端とは、インバータ203の入力端子に接続されている。インバータ203の出力端子は、カウンタ204の入力端子に接続されている。フォトダイオード201に光子が入射すると、上記のような現象が生ずるため、インバータ203の入力端子において電圧変化が生じる。インバータ203は、かかる電圧変化に応じてパルス信号PULSEを生成し、生成したパルス信号PULSEをカウンタ204に出力する。こうして、波形整形されたパルス信号PULSEがインバータ203から出力される。このように、フォトダイオード201とクエンチ素子202とインバータ203とを含むセンサ部216においては、フォトダイオード201に光子が入射すると、光子の受光頻度に応じた頻度でインバータ203からパルス信号PULSEが出力される。より具体的には、フォトダイオード201に1つの光子が入射すると、インバータ203から1つのパルス信号PULSEが出力される。バイアス電圧Vaは、例えば+20V程度とすることができるが、これに限定されるものではない。例えば、フォトダイオード201のアノードを負の電位に接続するようにしてもよい。
カウンタ204のクロック端子には、インバータ203から出力されるパルス信号PULSEが入力されるようになっている。カウンタ204は、パルス信号PULSEのパルス数をカウントする。カウンタ204のビット(bit)幅は、例えば16とすることができるが、これに限定されるものではない。カウンタ204のリセット端子には、同期信号VDが供給されるようになっている。カウンタ204は、同期信号VDの極性が変化した際に、カウント値CNTを初期値、即ち、0にリセットする。即ち、カウンタ204は、同期信号VDがLowレベルからHighレベルに変化した際に、カウント値CNTを初期値にリセットする。また、カウンタ204は、同期信号VDがHighレベルからLowレベルに変化した際に、カウント値CNTを初期値にリセットする。カウンタ204の出力端子は、ラッチ回路Lat1,Lat2のD端子に接続されている。従って、カウンタ204から出力されるカウント値CNTは、ラッチ回路Lat1,Lat2のD端子にそれぞれ入力されるようになっている。
ラッチ回路Lat1のG端子には、同期信号VDが供給されるようになっている。ラッチ回路Lat2のG端子には、同期信号VDがインバータ207を介して供給されるようになっている。ラッチ回路Lat1は、同期信号VDがLowレベルからHighレベルに変化した際に、カウンタ204から出力されているカウント値CNTを記録する。一方、ラッチ回路Lat2は、同期信号VDがHighレベルからLowレベルに変化した際に、カウンタ204から出力されているカウント値CNTを記録する。ラッチ回路Lat1のQ端子は、スイッチ214,123を介して水平出力線120に接続されている。また、ラッチ回路Lat2のQ端子は、スイッチ215,123を介して水平出力線120に接続されている。また、ラッチ回路Lat1のQ端子は、減算器208の一方の入力端子に接続されており、ラッチ回路Lat2のQ端子は、減算器208の他方の入力端子に接続されている。ラッチ回路Lat1のQ端子から出力されるカウント値Lat1−Qと、ラッチ回路Lat2のQ端子から出力されるカウント値Lat2−Qとの差分が、減算器208によって求められる。減算器208によって求められたこれらの差分(差分値)は、比較器209、210に入力されるようになっている。比較器209は、減算器208によって求められた差分値が閾値THより大きいか否かを判定し、かかる差分値が閾値THよりも大きい場合にはHighレベルの信号を出力する。比較器209は、減算器208によって求められた差分値が閾値−THより小さいか否かを判定し、かかる差分値が閾値−THよりも小さい場合にはHighレベルの信号を出力する。比較器209,210の出力端子は、OR回路211の入力端子にそれぞれ接続されている。OR回路211は、比較器209,210から出力される信号のうちの少なくともいずれかがHighレベルになると、Highレベルの信号を出力する。OR回路211から出力される信号は、乗算器212、213に入力されるようになっている。乗算器212には、同期信号VDとOR回路211の出力信号とが入力されるようになっている。同期信号VDがHighレベルであり、且つ、OR回路211の出力信号がHighレベルである際に、乗算器212の出力がHighレベルとなる。スイッチ214は、乗算器212から出力される信号によって制御されるようになっている。同期信号VDがHighレベルであり、且つ、OR回路211の出力信号がHighレベルである際に、スイッチ214はON状態となる。即ち、同期信号VDがHighレベルであり、且つ、ラッチ回路Lat1,Lat2のカウント値Lat1−Q,Lat2−Qの差分が閾値THより大きい場合、ラッチ回路Lat1のカウント値Lat1−Qがスイッチ214を介して画素110から出力される。乗算器213には、同期信号VDをインバータ207で反転することによって得られる信号とOR回路211の出力信号とが入力されるようになっている。同期信号VDがLowレベルであり、且つ、OR回路211の出力信号がHighレベルである際に、乗算器213の出力がHighレベルとなる。スイッチ215は、乗算器213から出力される信号によって制御されるようになっている。同期信号VDがLowレベルであり、且つ、OR回路211の出力信号がHighレベルである際に、スイッチ215はON状態となる。即ち、同期信号VDがLowレベルであり、且つ、ラッチ回路Lat1,Lat2のカウント値Lat1−Q,Lat2−Qの差分が閾値THより大きい場合、ラッチ回路Lat2のカウント値Lat2−Qがスイッチ215を介して画素110から出力される。OR回路211から出力される信号は、信号線125を介して水平選択回路130に入力される。ラッチ回路Lat1,Lat2のカウント値Lat1−Q,Lat2−Qの差分が閾値THより大きい場合、即ち、当該画素110が読み出し対象の画素である場合には、OR回路211から出力されるHighレベルの信号が水平選択回路130に供給される。一方、ラッチ回路Lat1,Lat2のカウント値Lat1−Q,Lat2−Qの差分が閾値TH以下である場合、即ち、当該画素110が読み出し対象の画素でない場合、OR回路211から出力されるLowレベルの信号が水平選択回路130に供給される。こうして、当該画素110が読み出し対象の画素である場合には、水平選択回路130に例えば“1”が記憶され、当該画素110が読み出し対象の画素でない場合には、水平選択回路130に例えば“0”が記憶される。
図3は、本実施形態による固体撮像素子の動作の例を示すタイミングチャートである。ここでは、複数の画素110のうちの1つの画素110の動作に着目して説明する。図3には、動画像を構成する複数のフレームのうちの3つのフレームに対応するタイミングチャートが示されている。タイミングt0からタイミングt1までの期間は、第1番目のフレームの撮影期間に対応している。タイミングt1からタイミングt3までの期間は、第2番目のフレームの撮影期間に対応している。タイミングt3からタイミングt5までの期間は、第3番目のフレームの撮影期間に対応している。タイミングt5は、第4番目のフレームの撮影期間の開始のタイミングに対応している。
図3に示すように、第1番目のフレームの撮影期間であるタイミングt0からタイミングt1までの期間において、同期信号VDはLowレベルとなる。第2番目のフレームの撮影期間であるタイミングt1からタイミングt3までの期間において、同期信号VDはHighレベルとなる。第3番目のフレームの撮影期間であるタイミングt3からタイミングt5までの期間において、同期信号VDはLowレベルとなる。第4番目のフレームの撮影期間の開始のタイミングt5において、同期信号VDはHighレベルとなる。なお、図3に示すパルス信号PULSEは概念的に記載したものであり、パルス信号PULSEの立ち上がり波形は実際には急峻である。
タイミングt0において、カウンタ204は、パルス信号PULSEのカウントを開始する。
タイミングt1において、同期信号VDがLowレベルからHighレベルに変化する。ラッチ回路Lat1のG端子には同期信号VDが入力されるようになっているため、タイミングt1において、ラッチ回路Lat1のG端子の電位はLowレベルからHighレベルに変化する。ラッチ回路Lat1のG端子の電位がLowレベルからHighレベルに変化すると、ラッチ回路Lat1は、当該ラッチ回路Lat1のD端子に入力されているカウント値CNTを記憶する。図3に示す例では、タイミングt1におけるカウンタ204のカウント値CNTはS1である。従って、ラッチ回路Lat1は、カウント値S1を画素値として記憶する。タイミングt1は、第1番目のフレーム、即ち、最初のフレームの撮影期間の終了のタイミングであるため、ラッチ回路Lat2に記憶されているカウント値は0となっている。このため、ラッチ回路Lat1,Lat2のカウント値Lat1−Q,Lat2−Qの差分は閾値THより大きく、OR回路211からHighレベルの信号が出力される。OR回路211から出力されるHighレベルの信号は、水平選択回路130に供給される。OR回路211から供給される信号がHighレベルであるため、水平選択回路130は、当該画素110を読み出し対象の画素として記憶する。水平選択回路130は、読み出し対象の画素110によって取得された信号が読み出されるように、適切なタイミングでスイッチ123を制御する。OR回路211から出力されるHighレベルの信号は、乗算器212にも供給される。同期信号VDがHighレベルであり、OR回路211から供給される信号もHighレベルであるため、乗算器212の出力はHighレベルとなる。乗算器212の出力がHighレベルとなるため、スイッチ214がON状態となり、ラッチ回路Lat1から出力されるカウント値S1を水平出力線120を介して出力部150に送信することが可能となる。OR回路211から出力されるHighレベルの信号は、乗算器213にも供給される。同期信号VDを反転させることにより得られる信号がLowレベルであり、OR回路211からの信号がHighレベルであるため、乗算器213の出力はLowレベルとなる。乗算器213の出力がLowレベルとなるため、スイッチ215がOFF状態となり、ラッチ回路Lat2のカウント値0は水平出力線120を介して出力部150に伝送されない。出力部150は、撮像部160から順次供給される信号を用いて出力信号OUTPUTを生成し、生成した出力信号OUTPUTを固体撮像素子100の外部に出力する。図3において、出力信号OUTPUTのうちに示された符号S1は、上記の説明において着目した1つの画素110から出力された信号を示している。こうして、タイミングt1において、第1番目のフレームの撮影が完了する。そして、第1番目のフレームの画像信号の出力がタイミングt1において開始される。
図3に示す例においては、タイミングt2において、画素110に入射する光の強度が低下している。このため、タイミングt2より前とタイミングt2より後とでは、単位時間あたりのカウント値CNTの増加量が異なっている。このため、タイミングt3におけるカウント値は、タイミングt1におけるカウント値S1よりも小さいS2となる。タイミングt3において、同期信号VDがHighレベルからLowレベルに変化する。ラッチ回路Lat2のG端子には、同期信号VDをインバータ207によって反転させることにより得られる信号が入力されるようになっているため、タイミングt3において、ラッチ回路Lat2のG端子の電位はLowレベルからHighレベルに変化する。ラッチ回路Lat2のG端子の電位がLowレベルからHighレベルに変化すると、ラッチ回路Lat2は、当該ラッチ回路Lat2のD端子に入力されているカウンタ204のカウント値CNTを記憶する。このように、ラッチ回路Lat1とラッチ回路Lat2とは、カウンタ204のカウント値を、同期信号VDに対応する単位時間毎に交互に記憶する。タイミングt3におけるカウンタ204のカウント値CNTはS2である。従って、ラッチ回路Lat2は、カウント値S2を画素値として記憶する。タイミングt3は、第2番目のフレームの撮影期間の終了のタイミングであるため、ラッチ回路Lat1には第1番目のフレームの撮影期間において得られたカウント値S1が記憶されている。ここでは、カウント値S1とカウント値S2との差分が閾値THより大きい場合を例に説明する。ラッチ回路Lat1,Lat2のカウント値S1,S2の差分が閾値THより大きいため、OR回路211からHighレベルの信号が出力される。OR回路211から供給される信号がHighレベルであるため、水平選択回路130は、当該画素110を読み出し対象の画素として記憶する。水平選択回路130は、読み出し対象の画素110によって取得された信号が読み出されるように、適切なタイミングでスイッチ123を制御する。OR回路211から出力されるHighレベルの信号は、乗算器213にも供給される。同期信号VDをインバータ207で反転させることにより得られる信号がHighレベルであり、OR回路211からの信号もHighレベルであるため、乗算器213の出力はHighレベルとなる。乗算器213の出力がHighレベルとなるため、スイッチ215がON状態となり、ラッチ回路Lat2から出力されるカウント値S2を水平出力線120を介して出力部150に送信することが可能となる。OR回路211から出力されるHighレベルの信号は、乗算器212にも供給される。同期信号VDがLowレベルであり、OR回路211からの信号がHighレベルであるため、乗算器212の出力はLowレベルとなる。乗算器212の出力がLowレベルとなるため、スイッチ214がOFF状態となり、ラッチ回路Lat1に記憶されているカウント値S1は水平出力線120を介して出力部150に伝送されない。出力部150は、撮像部160から順次供給される信号を用いて出力信号OUTPUTを生成し、生成した出力信号OUTPUTを固体撮像素子100の外部に出力する。図3において、出力信号OUTPUTのうちに示された符号S2は、上記の説明において着目した1つの画素110から出力された信号を示している。こうして、タイミングt3において、第2番目のフレームの撮影が完了する。そして、第2番目のフレームの画像信号の出力がタイミングt3以降において開始される。ここでは、第1番目のフレームの画像信号の出力がタイミングt3において完了していない場合を例に説明する。このような場合、タイミングt3よりも後のタイミングt4において、第2番目のフレームの画像信号の出力が開始される。なお、第1番目のフレームの画像信号の出力がタイミングt3において完了していないのは、第1番目のフレームについては、全ての画素110によって取得された信号を読み出すことを要するためである。第2番目のフレームの画像信号を読み出す際には、読み出し対象とならない画素110が生じ得る。読み出し対象とならない画素110が生じると、読み出しに要する時間は削減される。
なお、ここでは、第1番目のフレームの画像信号を読み出す際に、撮像部160に備えられた全ての画素110によって取得された信号を読み出す場合を例に説明したが、これに限定されるものではない。例えば、空間的に間引きを行うことにより、読み出しの対象となる画素110を減らし、第1番目のフレームの画像信号の読み出し時間を短縮するようにしてよい。このようにすれば、タイミングt3よりも前の段階で、第1番目のフレームの画像信号の読み出しを完了することが可能となる。
タイミングt5におけるカウント値は、タイミングt3におけるカウント値S2との差が比較的小さいS3となる。タイミングt5において、同期信号VDがLowレベルからHighレベルに変化する。ラッチ回路Lat1のG端子には、同期信号VDが入力されるようになっているため、タイミングt5において、ラッチ回路Lat1のG端子の電位はLowレベルからHighレベルに変化する。ラッチ回路Lat1のG端子の電位がLowレベルからHighレベルに変化すると、ラッチ回路Lat1は、当該ラッチ回路Lat1のD端子に入力されているカウント値CNTを記憶する。図3に示す例では、タイミングt5におけるカウンタ204のカウント値CNTはS3である。従って、ラッチ回路Lat1は、カウント値S3を画素値として記憶する。タイミングt5は、第3番目のフレームの撮影期間の終了のタイミングであるため、ラッチ回路Lat2には第2番目のフレームの撮影期間において得られたカウント値S2が記憶されている。ここでは、カウント値S2とカウント値S3との差分が閾値TH以下である場合を例に説明する。ラッチ回路Lat1,Lat2のカウント値S2,S3の差分が閾値TH以下であるため、OR回路211から出力される信号はLowレベルとなる。OR回路211から供給される信号がLowレベルであるため、水平選択回路130は、当該画素110を読み出し対象ではない画素として記憶する。水平選択回路130は、当該画素110によって取得された信号が読み出されないように、スイッチ123を制御する。OR回路211から出力されるLowレベルの信号は、乗算器212にも供給される。同期信号VDがHighレベルであり、OR回路211からの信号がLowレベルであるため、乗算器212の出力はLowレベルとなる。乗算器212の出力がLowレベルとなるため、スイッチ214がOFF状態となり、ラッチ回路Lat1のカウント値S3は水平出力線120を介して出力部150に送信されない。OR回路211から出力されるLowレベルの信号は、乗算器213にも供給される。同期信号VDをインバータ207で反転することにより得られる信号がLowレベルであり、OR回路211からの信号がLowレベルであるため、乗算器212の出力はLowレベルとなる。乗算器213の出力がLowレベルとなるため、スイッチ215がOFF状態となり、ラッチ回路Lat2に記憶されているカウント値S2は水平出力線120を介して出力部150に伝送されない。出力部150は、撮像部160から順次供給される信号を用いて生成される出力信号OUTPUTを、固体撮像素子100の外部に出力する。こうして、タイミングt5において、第3番目のフレームの撮影が完了する。そして、第3番目のフレームの画像信号の読み出しが、タイミングt5において開始される。第3番目のフレームの画像信号を読み出す際にも、読み出し対象とならない画素110が生じ得るため、読み出しに要する時間は短縮される。
このように、本実施形態によれば、前フレームにおける画素値と、現フレームにおける画素値との差分が閾値以下である場合には、当該画素110を読み出し対象としない。このため、本実施形態によれば、画像信号の読み出しに要する時間を短縮することができる。
図4は、本実施形態による撮像装置を示すブロック図である。撮影光学系401には、フォーカスレンズ、ズームレンズ、及び、絞り等が備えられている。撮影光学系401は、被写体の光学像を形成し、形成した光学像を固体撮像素子100の撮像面に入射する。固体撮像素子100は、撮影光学系401によって形成される光学像を上記のようにして撮像する。固体撮像素子100は、撮像によって得られた出力信号OUTPUTを画像処理部403に出力する。
画像処理部403は、固体撮像素子100から出力される画像信号OUTPUTに基づいて、所定の画像処理を行う。具体的には、画像処理部403は、以下のようにして各フレームの画像を生成する。第1番目のフレームについては、上述したように、撮像部160に備えられた全ての画素110から画素値が読み出される。このため、画像処理部403は、読み出された全ての画素110の画素値に基づいて、第1番目のフレームを生成する。第2番目以降のフレームの読み出し処理においては、上述したように、読み出し対象とならない画素110が生じ得る。このため、画像処理部403は、読み出しが行われた画素110の画素値を用いて、前フレームを更新する。読み出しが行われた画素110に対応する部分については、画素値の更新が行われる。一方、読み出しが行われなかった画素110に対応する部分については、画素値の更新は行われない。固体撮像素子100から出力される画像信号OUTPUTには、読み出しが行われた画素110の座標(p,q)を示す情報が含まれているため、画像処理部403は、読み出しが行われた画素110に対応する部分のみを選択的に更新する。画像処理部403は、画像を生成する過程において、信号の並べ替え、欠陥画素の補正、ノイズリダクション、色変換、ホワイトバランス補正、ガンマ補正、解像度変換、データ圧縮、3面同時化、シャープネス調整等を更に行うこともできる。
メモリ405は、画像処理部403が演算処理等を行う際に用いられる。メモリ405としては、例えばDRAM(Dynamic Random Access Memory)、フラッシュメモリ等を用い得る。メモリ405は、連続撮影の際には、バッファメモリとしても用い得る。システム制御部(処理部)404は、本実施形態による撮像装置400の全体の制御を司る。システム制御部404には、CPU(Central Processing Unit)等が備えられている。また、システム制御部404は、画像処理部403によって処理された画像信号を、記録制御部406や表示制御部407に出力する。操作部410は、ボタン、スイッチ、電子ダイヤル等の操作部材によって構成される。ユーザ等が操作部410を操作すると、操作内容に応じた信号が操作部410からシステム制御部404に供給される。表示制御部407は、システム制御部404から供給される画像を表示部408に表示する。表示制御部407は、例えば、解像度、フレームレート、輝度域、色域等の表示フォーマットの調整を行い得る。表示制御部407は、8K UHDTV、4K UHDTV、HDTV等の規格に基づく表示を行うことが可能である。表示部408は、撮像装置400の本体に備えられてもよいし、撮像装置400の本体とは別個であってもよい。表示部408が撮像装置400の本体と別個に設けられる場合には、表示制御部407と表示部408とが例えば接続ケーブルによって接続される。記録制御部406には、記録媒体409が装着される。記録媒体409としては、例えば、メモリカード等が用いられる。記録制御部406は、複数のフレームを含む動画
像データをMPEG方式等の公知の符号化方法によって圧縮する。そして、記録制御部406は、圧縮した動画像データを、exFATファイルシステム等のコンピュータと互換性のあるフォーマットに従って、記録媒体409に書き込む。光学系駆動部402は、撮影光学系401に備えられたフォーカスレンズ、ズームレンズ、絞り等の制御を行う。なお、外部装置と通信するための有線又は無線による通信インターフェースを、撮像装置400が更に備えるようにしてもよい。この場合、撮像装置400は、当該通信インターフェースを介して、生成した画像等を外部装置等に送信したり、外部装置から制御信号等を受信したりすることが可能となる。また、被写体に光を投射する光源装置を、撮像装置400が更に備えるようにしてもよい。この場合、当該光源装置は、例えば、同期信号VD等に同期してパルス状に光を発することができる。また、当該光源装置は、常時発光を行うことも可能である。当該光源装置によって被写体に光を照射し得るため、被写体をより確実に認識することが可能となる。
図5は、本実施形態による撮像装置の動作を示すフローチャートである。
ステップS501にて、システム制御部404は、nの値を設定する。nの初期値は1とする。
ステップS502において、システム制御部404は、nの値が1であるか否かを判定する。nの値が1である場合には(ステップS502においてYES)、ステップS503に移行する。
ステップS503において、システム制御部404は、第1番目のフレームの撮影処理を固体撮像素子100に実行させる。この後、ステップS504に移行する。
ステップS504において、システム制御部404は、第1番目のフレームの読み出し処理を固体撮像素子100に実行させるとともに、第2番目のフレームの撮影処理を固体撮像素子100に実行させる。この後、ステップS505に移行する。
ステップS505において、システム制御部404は、第1番目のフレームの画像処理を画像処理部403に実行させるとともに、表示部408を用いた画像の表示を表示制御部407に実行させる。この後、ステップS506に移行する。
ステップS506において、システム制御部404は、撮影を中止するか否かを判定する。撮影を中止しない場合には(ステップS506においてNO)、ステップS501に戻る。ステップS501に戻った場合、システム制御部404は、nの値をインクリメントする。この後、ステップS502に移行する。nの値が1でない場合(ステップS502においてNO)、ステップS507に移行する。
ステップS507において、システム制御部404は、第n番目のフレームの読み出し処理を固体撮像素子100に実行させるとともに、第n+1番目のフレームの撮影処理を固体撮像素子100に実行させる。
ステップS508において、システム制御部404は、第n番目のフレームの生成処理を画像処理部403に実行させるとともに、表示部408を用いた画像の表示を表示制御部407に実行させる。第2番目以降のフレームの読み出し処理においては、上述したように、読み出し対象とならない画素110が生じ得る。このため、画像処理部403は、第n番目のフレームの読み出し処理において読み出された画素110の画素値を用いて、第n−1番目のフレームを更新することにより、第n番目のフレームを生成する。第n番目のフレームの読み出し処理において読み出された画素110に対応する部分については、画素値の更新が行われる。一方、第n番目のフレームの読み出し処理において読み出されなかった画素110に対応する部分については、画素値の更新は行われない。この後、ステップS506に移行する。
撮影を中止する場合には(ステップS506においてYES)、図5に示す処理が終了する。
このように、本実施形態によれば、単位時間あたりに検出されるパルスの数の変化が閾値THより大きい場合に、当該画素110に備えられたカウンタ204のカウント値に応じた信号が読み出される。単位時間あたりに検出されるパルスの数の変化が閾値TH以下である場合には、当該画素110に備えられたカウンタ204のカウント値に応じた信号は読み出されないため、読み出しに要する時間を短縮することができる。読み出しに要する時間を短縮することができるため、本実施形態によれば、高画素化を実現することが可能であり、高解像度の画像を得ることが可能となる。例えば、本実施形態によれば、動きのある被写体の高解像度の動画像を得ることも可能となる。
[第2実施形態]
第2実施形態による固体撮像素子、撮像装置及び撮像方法を図6及び図7を用いて説明する。図1乃至図5に示す第1実施形態による固体撮像素子等と同一の構成要素には、同一の符号を付して説明を省略又は簡潔にする。
本実施形態による固体撮像素子は、単位時間あたりに検出されるパルスの数の変化が閾値THより大きくなった段階で、当該画素110に備えられたカウンタ601のカウント値を読み出すものである。
図6は、本実施形態による固体撮像素子を示す図である。図6は、本実施形態による固体撮像素子に備えられている画素110を示している。図6においては、本実施形態による固体撮像素子に備えられた複数の画素110のうちの1つの画素110が抜き出して示されている。
センサ部216には、第1実施形態の場合と同様に、フォトダイオード201と、クエンチ素子202と、インバータ203とが備えられている。計数部217には、カウンタ204と、ラッチ回路Lat1、Lat2と、インバータ207と、減算器208と、比較器209,210と、OR回路211と、カウンタ601と、ラッチ回路Lat0とが備えられている。
カウンタ204のクロック端子及びカウンタ601のクロック端子には、インバータ203から出力されるパルス信号PULSEが入力されるようになっている。カウンタ204、601は、パルス信号PULSEのパルス数をそれぞれカウントする。カウンタ204のリセット端子には、同期信号subVDが供給されるようになっている。同期信号subVDは、図7に示すように、例えばデューティ比が50%の信号である。同期信号subVDは、同期信号VDを分周することによって生成され得る。すなわち、同期信号VDは、同期信号subVDを複数倍した周期である。カウンタ601のリセット端子には、同期信号VDが供給されるようになっている。本実施形態では、図7に示すように、パルス状の同期信号VDが用いられる。同期信号subVDの周期は、同期信号VDの周期よりも短い。ここでは、説明の簡略化のため、同期信号subVDの周期を、同期信号VDの周期の4分の1とする場合を例に説明するが、これに限定されるものではない。カウンタ204は、同期信号subVDの極性が変化した際に、カウント値CNTを初期値、即ち、0にリセットする。即ち、カウンタ204は、同期信号subVDがLowレベルからHighレベルに変化した際に、カウント値CNTを初期値にリセットする。また、カウンタ204は、同期信号subVDがHighレベルからLowレベルに変化した際に、カウント値CNTを初期値にリセットする。カウンタ601は、同期信号VDのパルスの立ち上がりのタイミングで、カウント値CNT0を初期値、即ち、0にリセットする。即ち、カウンタ601は、同期信号VDがLowレベルからHighレベルに変化した際に、カウント値CNT0を初期値にリセットする。カウンタ204のビット幅は、カウンタ601のビット幅よりも小さく設定されている。本実施形態において、カウンタ204のビット幅を、カウンタ601のビット幅よりも小さく設定し得るのは、同期信号subVDの周期が、同期信号VDの周期よりも小さいためである。同期信号subVDの周期が、同期信号VDの周期の例えば4分の1である場合、カウンタ204のビット幅を、カウンタ601のビット幅より例えば3減らすことができる。カウンタ601のビット幅が例えば16である場合、カウンタ204のビット幅を13とすることができる。カウンタ204のビット幅を小さく設定することは、計数部217の小型化に寄与し、ひいては、高画素化等に寄与し得る。なお、ここでは、同期信号subVDの周期を同期信号VDの周期の4分の1程度とする場合を例に説明するが、これに限定されるものではない。また、ここでは、カウンタ601のビット幅を16とし、カウンタ204のビット幅を13とする場合を例に説明するが、これに限定されるものではない。カウンタ204の出力端子は、ラッチ回路Lat1,Lat2のD端子に接続されている。従って、カウンタ204から出力されるカウント値CNTは、ラッチ回路Lat1,Lat2のD端子にそれぞれ入力されるようになっている。カウンタ601の出力端子は、ラッチ回路Lat0のD端子に接続されている。従って、カウンタ601から出力されるカウント値CNT0は、ラッチ回路Lat0のD端子に入力されるようになっている。
ラッチ回路Lat1のG端子には、同期信号subVDが供給されるようになっている。ラッチ回路Lat2のG端子には、同期信号subVDがインバータ207を介して供給されるようになっている。ラッチ回路Lat1は、同期信号subVDがLowレベルからHighレベルに変化した際に、カウンタ204から出力されているカウント値CNTを記録する。一方、ラッチ回路Lat2は、同期信号subVDがHighレベルからLowレベルに変化した際に、カウンタ204から出力されているカウント値CNTを記録する。ラッチ回路Lat1のQ端子は、減算器208の一方の入力端子に接続されており、ラッチ回路Lat2のQ端子は、減算器208の他方の入力端子に接続されている。ラッチ回路Lat1のQ端子から出力されるカウント値Lat1−Qと、ラッチ回路Lat2のQ端子から出力されるカウント値Lat2−Qとの差分が、減算器208によって求められる。減算器208によって求められたこれらの差分(差分値)は、比較器209、210に入力されるようになっている。比較器209は、減算器208によって求められた差分値が閾値THより大きいか否かを判定し、かかる差分値が閾値THよりも大きい場合にはHighレベルの信号を出力する。比較器210は、減算器208によって求められた差分値が閾値−THより小さいか否かを判定し、かかる差分値が閾値−THよりも小さい場合にはHighレベルの信号を出力する。比較器209,210の出力端子は、OR回路211の入力端子にそれぞれ接続されている。OR回路211は、比較器209,210から出力される信号のうちの少なくともいずれかがHighレベルになると、Highレベルの信号を出力する。OR回路211から出力される信号は、ラッチ回路Lat0のG端子に入力されるようになっている。ラッチ回路Lat0は、OR回路211から出力される信号がLowレベルからHighレベルに変化した際に、カウンタ601から出力されているカウント値CNT0を記録する。ラッチ回路Lat0のQ端子は、スイッチ123を介して水平出力線120に接続されている。OR回路211から出力される信号は、信号線125を介して水平選択回路130にも入力されるようになっている。ラッチ回路Lat1,Lat2のカウント値Lat1−Q,Lat2−Qの差分が閾値THより大きい場合、即ち、当該画素110が読み出し対象の画素である場合には、OR回路211から出力されるHighレベルの信号が水平選択回路130に供給される。一方、ラッチ回路Lat1,Lat2のカウント値Lat1−Q,Lat2−Qの差分が閾値TH以下である場合、即ち、当該画素110が読み出し対象の画素でない場合、OR回路211から出力されるLowレベルの信号が水平選択回路130に供給される。従って、当該画素110が読み出し対象の画素である場合には、水平選択回路130に例えば“1”が記憶され、当該画素110が読み出し対象の画素でない場合には、水平選択回路130に例えば“0”が記憶される。水平選択回路130は、読み出し対象の画素110によって取得された信号が読み出されるように、適切なタイミングでスイッチ123を制御する。
例えば、撮影中に手振れが生じた場合には、OR回路211から出力される信号がLowレベルからHighレベルに変化し、当該タイミングにおけるカウンタ601のカウント値CNT0がラッチ回路Lat0に記憶される。従って、本実施形態によれば、手ぶれの影響が低減された画像を取得することが可能となる。
また、被写体が動き始めた場合にも、OR回路211から出力される信号がLowレベルからHighレベルに変化し、当該タイミングにおけるカウンタ601のカウント値CNT0がラッチ回路Lat0に記憶される。従って、本実施形態によれば、被写体が動き出した瞬間の画像を取得することも可能となる。
なお、本実施形態では、OR回路211から出力される信号がLowレベルからHighレベルに変化した時点におけるカウンタ601のカウント値が取得される。このため、本実施形態では、Auto Exposure(AE)等によって決定される正規の露光時間よりも短い露光時間の画像値が取得されることとなる。このため、取得された画素値に対してゲイン補正等を行うことが好ましい。例えば、露光時間を示す情報を画像処理部403に供給するようにすれば、画像処理部403等によってゲイン補正を行うことが可能である。例えば、出力部150は、読み出し対象となった画素110の座標(p,q)を示す情報とともに、当該画素110の露光時間を示す情報を出力信号OUTPUTに含ませる。なお、露光時間を示す情報は、例えば、subVD信号の極性が変化した回数に基づいて生成することが可能である。
図7は、本実施形態による固体撮像素子の動作の例を示すタイミングチャートである。ここでは、複数の画素110のうちの1つの画素110の動作に着目して説明する。タイミングt10からタイミングt15までの期間、即ち、パルス状の同期信号VDが供給される間隔は、撮影期間に対応している。タイミングt15以降の期間は、読み出し期間に対応している。
図7に示すように、タイミングt10において、パルス状の同期信号VDが供給される。タイミングt10において、カウンタ601は、パルス信号PULSEのカウントを開始する。
タイミングt11において、同期信号subVDがLowレベルからHighレベルに変化する。ラッチ回路Lat1のG端子には同期信号subVDが入力されるようになっているため、タイミングt11において、ラッチ回路Lat1のG端子の電位はLowレベルからHighレベルに変化する。ラッチ回路Lat1のG端子の電位がLowレベルからHighレベルに変化すると、ラッチ回路Lat1は、当該ラッチ回路Lat1のD端子に入力されているカウント値CNTを記憶する。ここでは、説明を簡略化するため、カウント値CNTが4である場合を例に説明するが、これに限定されるものではない。タイミングt11におけるカウンタ204のカウント値CNTは4である。従って、ラッチ回路Lat1は、カウント値である4を記憶する。タイミングt11においては、ラッチ回路Lat2に記憶されているカウント値CNTは4であるものとする(図示せず)。このため、ラッチ回路Lat1,Lat2のカウント値Lat1−Q,Lat2−Qの差分は閾値TH以下であり、OR回路211から出力される信号はLowレベルのままである。
タイミングt12において、同期信号subVDがHighレベルからLowレベルに変化する。これにより、ラッチ回路Lat2のG端子の電位はLowレベルからHighベルに変化する。ラッチ回路Lat2のG端子の電位がLowレベルからHighレベルに変化すると、ラッチ回路Lat2は、当該ラッチ回路Lat2のD端子に入力されているカウント値CNTを記憶する。タイミングt12におけるカウンタ204のカウント値CNTは4である。従って、ラッチ回路Lat2は、カウント値である4を記憶する。タイミングt12においては、ラッチ回路Lat1に記憶されているカウント値CNTは4となっている。このため、ラッチ回路Lat1,Lat2のカウント値Lat1−Q,Lat2−Qの差分は閾値TH以下であり、OR回路211から出力される信号はLowレベルである。
図7に示す例においては、タイミングt13において、画素110に入射する光の強度が低下している。このため、タイミングt13より前とタイミングt13より後とでは、単位時間あたりのカウント値CNT、CNT0の増加量が異なっている。このため、タイミングt14におけるカウント値CNTは、タイミングt13におけるカウント値CNTよりも小さくなる。タイミングt14において、同期信号subVDがLowレベルからHighレベルに変化し、ラッチ回路Lat1のG端子の電位がLowレベルからHighレベルに変化する。ラッチ回路Lat1のG端子の電位がLowレベルからHighレベルに変化すると、ラッチ回路Lat1は、当該ラッチ回路Lat1のD端子に入力されているカウント値CNTを記憶する。ここでは、説明を簡略化するため、タイミングt14におけるカウンタ204のカウント値CNTが2である場合を例に説明するが、これに限定されるものではない。タイミングt143におけるカウンタ204のカウント値CNTは2である。従って、ラッチ回路Lat1は、カウント値である2を記憶する。タイミングt13においては、ラッチ回路Lat2に記憶されているカウント値CNTは4となっている。ここでは、説明を簡略化するため、閾値THが1である場合を例に説明するが、これに限定されるものではない。ラッチ回路Lat1,Lat2のカウント値Lat1−Q,Lat2−Qの差分が閾値THより大きいため、OR回路211から出力される信号はLowレベルからHighレベルに変化する。OR回路211から供給される信号がHighレベルであるため、水平選択回路130は、当該画素110を読み出し対象の画素として記憶する。水平選択回路130は、読み出し対象の画素110によって取得された信号が読み出されるように、適切なタイミングでスイッチ123を制御する。OR回路211から出力されるHighレベルの信号は、ラッチ回路Lat0のG端子にも供給される。ラッチ回路Lat0のG端子の電位がLowレベルからHighレベルに変化すると、ラッチ回路Lat0は、当該ラッチ回路Lat0のD端子に入力されているカウント値CNT0を記憶する。タイミングt14におけるカウンタ601のカウント値CNT0は、S+ΔSである。ΔSは、タイミングt13からタイミングt14までの間におけるカウンタ601のカウント値CNT0の増加分である。同期信号VDの周期に対して同期信号subVDの周期を十分に小さくしておけば、Sに対して十分に無視し得る程度にまでΔSを小さくし得る。ラッチ回路Lat0のQ端子は、スイッチ123を介して水平出力線120に接続されている。ラッチ回路Lat0のカウント値Lat0−Qは、スイッチ123及び水平出力線120を介して画素110から出力されることとなる。
タイミングt15以降において、出力部150は出力信号OUTPUTを出力する。画像処理部403は、固体撮像素子100から出力される出力信号OUTPUTを用いて、タイミングt15より前の段階で既に取得しておいた画像の一部を更新する。上述したように、出力部150は、当該画素110の露光時間を示す情報を出力信号OUTPUTに含ませる。画像処理部403は、当該画素110の露光時間を示す情報に基づいて、当該画素110によって取得された信号に対してゲイン補正を行う。
このように、本実施形態によれば、単位時間あたりに検出されるパルスの数の変化が閾値THより大きくなった段階で、当該画素110に備えられたカウンタ601のカウント値を取得する。このため、本実施形態によれば、例えば光強度の変化をトリガとして画素値を取得することができる。このため、本実施形態によれば、手ぶれの影響が低減された画像や、被写体が動き出した瞬間の画像等を取得することも可能となる。
[第3実施形態]
次に、本発明の第3実施形態について説明する。なお、第3実施形態は、画素の構成が、第2の実施形態と比較して、図6を参照して説明した画素100と異なる構成を有し、画素100に代えて用いられる。それ以外の構成は第2実施形態と同様であるため、以下、画素の構成及びその駆動について説明する。
図8は、第3実施形態における画素100’の概略構成を示す図である。なお、図8において、図6と同様の構成には同じ参照番号を付し、適宜説明を省略する。図8に示すように、本第3実施形態における画素100’は、図6に示す構成にOR回路301及び302と、信号線310及び311が追加されたものである。OR回路211は、上述した実施形態で説明したように、ラッチ回路Lat1,Lat2のカウント値Lat1−Q,Lat2−Qの差分が閾値THより大きくなると、信号線125を介して、水平選択回路130にHighレベルの信号を出力する。
水平選択回路130は、信号線310に、信号線125を介して入力したOR回路211からの信号を出力し、OR回路301は、同期信号VDと信号線310の信号とのいずれかがHighレベルである場合に、Highレベルの信号を出力する。これにより、カウンタ601は、同期信号VDがHighになるタイミング(第1のリセット動作)、または、カウント値Lat1−Q,Lat2−Qの差分が閾値THより大きくなったタイミングから所定時間遅延した信号がHighレベルになるタイミング(第2のリセット動作)で、カウンタ601をリセットする。
また、水平選択回路130は、同期信号VDの1周期の間に、OR回路211から、Highレベルの信号が1回出力された場合に、同期信号VDによりカウンタ601がリセットされる直前のタイミングで、Highレベルの信号を信号線311に出力する。2回以上出力された場合には、出力しない。OR回路302は、OR回路211の出力と、信号線311への出力のいずれかがHighレベルである場合に、Highレベルの信号をラッチ回路Lat0のG端子に出力し、ラッチ回路Lat0は、そのときのカウント値CNT0をラッチする。これにより、後述するように、同期信号VDの1周期の間に起こった最初の変化に応じた信号を出力することができる。
図9は、第3実施形態による固体撮像素子の動作の例を示すタイミングチャートである。ここでは、複数の画素110’のうちの1つの画素110’の動作に着目して説明する。なお、第3実施形態では、同期信号subVDは、デューティ比が50%、周期が同期信号VDの周期の6分の1の信号とする場合を例に説明するが、これに限定されるものではない。
タイミングt30からタイミングt38までの期間、即ち、パルス状の同期信号VDが供給される間隔は、撮影期間に対応している。タイミングt38以降の期間は、読み出し期間に対応している。図9に示すように、タイミングt30において、パルス状の同期信号VDが供給され、カウンタ601は、パルス信号PULSEのカウントを開始する。
タイミングt31において、同期信号subVDがLowレベルからHighレベルに変化する。ラッチ回路Lat1のG端子には同期信号subVDが入力されるようになっているため、ラッチ回路Lat1のG端子の電位はLowレベルからHighレベルに変化する。ラッチ回路Lat1のG端子の電位がLowレベルからHighレベルに変化すると、ラッチ回路Lat1は、当該ラッチ回路Lat1のD端子に入力されているカウント値CNTを記憶する。タイミングt31におけるカウンタ204のカウント値CNTが2の場合、ラッチ回路Lat1は、2を記憶する。また、タイミングt31において、ラッチ回路Lat2に記憶されているカウント値CNTが2である場合、ラッチ回路Lat1,Lat2のカウント値Lat1−Q,Lat2−Qの差分は閾値TH以下であるため、OR回路211から出力される信号はLowレベルのままである。
タイミングt32において、同期信号subVDがHighレベルからLowレベルに変化すると、ラッチ回路Lat2のG端子の電位がLowレベルからHighレベルに変化し、D端子に入力されているカウント値CNTを記憶する。タイミングt32におけるカウンタ204のカウント値CNTを2とすると、ラッチ回路Lat2は、2を記憶する。また、タイミングt32においては、ラッチ回路Lat1に記憶されているカウント値CNTは2であるため、カウント値Lat1−Q,Lat2−Qの差分は閾値TH以下であり、OR回路211から出力される信号はLowレベルである。
図9に示す例においては、タイミングt32において、画素110’に入射する光の強度が上昇している。このため、タイミングt32より前とタイミングt32より後とでは、単位時間あたりのカウント値CNT、CNT0の増加量が異なっており、タイミングt33におけるカウント値CNTは、タイミングt32におけるカウント値CNTよりも大きくなる。また、同期信号subVDがLowレベルからHighレベルに変化し、ラッチ回路Lat1のG端子の電位がLowレベルからHighレベルに変化すると、ラッチ回路Lat1は、ラッチ回路Lat1のD端子に入力されているカウント値CNTを記憶する。タイミングt33におけるカウンタ204のカウント値CNTが、例えば、4である場合、ラッチ回路Lat1は、4を記憶する。また、タイミングt33において、ラッチ回路Lat2に記憶されているカウント値CNTは2である。閾値THが、例えば1である場合、カウント値Lat1−Q,Lat2−Qの差分が閾値THより大きいため、OR回路211から出力される信号はLowレベルからHighレベルに変化する。OR回路211から供給される信号がHighレベルであるため、水平選択回路130は、当該画素110’を読み出し対象の画素として記憶する。また、OR回路211から出力されたHighレベルの信号は、OR回路302を介してラッチ回路Lat0にも送られ、ラッチ回路Lat0は、この時点でラッチ回路Lat0のD端子に入力されているカウント値CNTを記憶する。ここでは、カウントPが記憶されるものとする。
一方、OR回路211から出力されたHighレベルの信号は、水平選択回路130からOR回路301へ送られる。これにより、OR回路301の出力は、t33から少し遅れてHighレベルとなり、タイミングt34でカウンタ601は0にリセットされる。
その後、輝度に変化無く、タイミングt35で輝度が変化した場合、タイミングt35において、画素110’に入射する光の強度が低下している。このため、タイミングt35より前とタイミングt35より後とでは、単位時間あたりのカウント値CNT、CNT0の増加量が異なっており、タイミングt36におけるカウント値CNTは、タイミングt35におけるカウント値CNTよりも大きくなる。また、同期信号subVDがLowレベルからHighレベルに変化し、ラッチ回路Lat1のG端子の電位がLowレベルからHighレベルに変化すると、ラッチ回路Lat1は、ラッチ回路Lat1のD端子に入力されているカウント値CNTを記憶する。タイミングt36におけるカウンタ204のカウント値CNTが、例えば、2である場合、ラッチ回路Lat1は、2を記憶する。また、タイミングt36において、ラッチ回路Lat2に記憶されているカウント値CNTは2である。閾値THが、例えば1である場合、カウント値Lat1−Q,Lat2−Qの差分が閾値THより大きいため、OR回路211から出力される信号はLowレベルからHighレベルに変化する。OR回路211から供給される信号がHighレベルであるため、水平選択回路130は、当該画素110’を読み出し対象の画素として記憶する。また、OR回路211から出力されたHighレベルの信号は、OR回路302を介してラッチ回路Lat0にも送られ、ラッチ回路Lat0は、この時点でラッチ回路Lat0のD端子に入力されているカウント値CNTを記憶する。ここでは、カウントS+ΔSが記憶されるものとする。
一方、OR回路211から出力されたHighレベルの信号は、水平選択回路130からOR回路301へ送られる。これにより、OR回路301の出力は、t36から少し遅れてHighレベルとなり、タイミングt37でカウンタ601は0にリセットされる。そして、タイミングt38において、同期信号VDがHighレベルになると、カウンタ601は0にリセットされる。
図9に示す例では、OR回路211から2回、Highレベルの信号が出力され、カウントS+ΔSがラッチ回路Lat0に記憶されているため、水平選択回路130は、同期信号VD直前の信号は出力しない。ここで、OR回路211から1回しかHighレベルの信号が出力されなかった場合には、同期信号VD直前に水平選択回路130がHighレベルの信号を信号線311に出力する。これにより、カウンタ601がリセットされる前に、カウント値CNT0をラッチLat0に記憶することができる。
なお、同期信号VDの1周期の間にカウンタ601がリセットされた場合、第2の実施形態で説明したように、露光時間を示す情報を出力信号OUTPUTに含ませ、画像処理部403がゲイン補正を行う。
上記の通り第3実施形態によれば、単位時間あたりに検出されるパルスの数の変化が閾値THより大きくなった段階で、当該画素110’に備えられたカウンタ601のカウント値をリセットし、カウントをし直す。これにより、例えば光強度の変化をトリガとして画素値を取得することができる。このため、本実施形態によれば、手ぶれの影響が低減された画像や、被写体が動き出した瞬間の画像等を取得することも可能となる。
[変形実施形態]
以上、好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
例えば、上記実施形態では、固体撮像素子100と別個に画像処理部403が備えられている場合を例に説明したが、画像処理部403が固体撮像素子100備えられていてもよい。
また、上記実施形態では、複数の画素110または100’の各々にカウンタ204,601やラッチ回路Lat0,Lat1,Lat2等が備えられている場合を例に説明したが、これに限定されるものではない。例えば、互いに隣接する複数の画素110または100’によって、これらが共用されるようにしてもよい。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。