JP2009047475A - 固体撮像素子 - Google Patents

Abstract

【課題】 正確な距離画像の計測が可能な固体撮像素子及び距離画像測定装置を提供する。
【解決手段】 固体撮像素子１は、パルス光が入射する固体撮像素子であって、画素Ｐ（ｍ，ｎ）へのパルス光の入射光量に応じた電圧（節点Ａの電圧）を出力するアンプＢＡと、アンプＢＡの後段に接続された第１キャパシタＣＳ１と、アンプＢＡの後段に接続された第２キャパシタＣＬ１と、第１キャパシタＣＳ１にショートゲート期間の間、アンプＢＡの出力を入力するための第１スイッチＳＳ１と、第２キャパシタＣＬ１にロングゲート期間、アンプＢＡの出力を入力するための第２スイッチＳＬ１とを備えている。
【選択図】 図１

Description

本発明は、固体撮像素子及び距離画像測定装置に関する。

下記特許文献１は、ＴＯＦ（Time Of Flight)型の距離画像測定装置を開示している。この距離画像測定装置は、所定のパルス幅を有するプローブ光を被写体に向けて繰り返し出射し、プローブ光の出射時刻から戻り時刻までの期間、すなわち、プローブ光の飛行時間を計測することで、被写体までの三次元距離画像を測定している。この装置では、プローブ光の出射時のパルスと戻り時のパルスの間の位相差を飛行時間として計測している。

飛行時間の１つの計測手法では、２つのフォトダイオードを用いている。一方のフォトダイオードは、出射時のプローブ光のパルス幅と同じ期間だけ動作しており（ショートシャッターモード）、他方のフォトダイオードは出射時のプローブ光のパルス幅よりも十分に長く、且つ、パルスの繰り返し周期よりも短い期間だけ動作している（ロングシャッターモード）。ショートシャッターモードとロングシャッターモードにおけるフォトダイオードの計測値の差分又は比率は飛行時間に関連する。したがって、飛行時間、すなわち被写体までの距離（＝光速×飛行時間×（１／２））は、これら２つのフォトダイオードの出力に基づいて求めることが可能である。

また、飛行時間のもう１つの計測手法では、２つのフォトダイオードに代えて、時分割で動作する１つのフォトダイオードを用いたものである。１つのフォトダイオードをショートシャッターモードで動作させた後、同様に、ロングシャッターモードで動作させると、それぞれのモードに対応した２つの計測値を時系列として得ることができる。

下記特許文献２は、距離画像と実画像（ＲＧＢ画像）を同時に１つの固体撮像素子から出力する距離画像測定装置を開示している。この固体撮像素子は、ＲＧＢ画像取得用画素と、距離画像取得用画素を別々に備えている。
米国特許６３７３５５７号明細書 米国特許出願公開第２００５／０２８５９６６号明細書

しかしながら、上記従来の発明の概念によれば、空間的に離間した２点における反射光の計測、又は、時間的に離間した２時刻における反射光の計測が必須とされている。すなわち、固体撮像素子を構成する別々の画素からそれぞれ距離測定用データを測定し、このデータから距離を求める場合には空間的な同一性が無いため計測の正確性に劣り、更に、１つの計測に複数の画素を必要とするため、撮像領域の開口率も低下する。また、１つの画素から時系列として距離測定用データを計測する場合には、計測の同時性が乏しいため、動体までの距離を正確に計測することができない。

本発明は、このような課題に鑑みてなされたものであり、正確な距離画像の計測が可能な固体撮像素子及び距離画像測定装置を提供することを目的とする。

上述の課題を解決するため、本発明に係る固体撮像素子は、パルス光が入射する固体撮像素子であって、画素へのパルス光の入射光量に応じた電圧を出力するアンプと、アンプの後段に接続された第１キャパシタと、アンプの後段に接続された第２キャパシタと、第１キャパシタに第１期間の間、アンプの出力を入力するための第１スイッチと、第２キャパシタに第１期間を含み、第１期間よりも長い第２期間の間、アンプの出力を入力するための第２スイッチとを備えることを特徴とする。

パルス光が入射すると、画素において発生した電荷に応じてアンプから電圧が出力される。このアンプの出力は、第１キャパシタに第１期間、第２キャパシタに第２期間、入力される。この構造の場合、１つの画素からの出力を利用するので、距離計測における空間的な同一性を確保することができる。また、第２期間は第１期間を含んで設定されているので、計測時の同時性も確保することができる。第１キャパシタからは、ショートシャッターモード（第１期間）の信号が出力され、第２キャパシタからはロングシャッターモード（第２期間）の信号が出力される。ショートシャッターモードとロングシャッターモードにおける第１及び第２キャパシタの出力信号の差分（又は比率）は被写体までの距離に依存するので、これらの出力信号を元データとし、この元データに基づいて被写体までの距離を測定することができる。

なお、上記画素は、一端がアンプに接続されたフォトダイオードと、フォトダイオードの前記一端にゲートが接続されたトランジスタとを有し、トランジスタの出力は輝度画像読出回路に接続されていることが好ましい。フォトダイオードの一端の出力は、上記アンプに入力されるが、この一端は、増幅用のトランジスタのゲートにも入力されている。すなわち、この画素は、増幅用のトランジスタを含むＡＰＳ（Active Pixel Sensor)としても機能しており、増幅用トランジスタの出力は輝度画像読出回路に入力されるので、高品質な輝度画像を輝度画像読出回路から出力することができる。

すなわち、単一の画素の出力から正確な距離画像と高品質な輝度画像の双方を読み出すことができ、人物、車両、飛行機、搬送品、軍用ミサイル等の被写体を測定することができ、画像認識技術を含めた多彩な応用が可能である。

本発明に係る距離画像測定装置は、上述の固体撮像素子と、パルス光を出射する光源と、第１キャパシタ及び第２キャパシタの出力からパルス光が照射される物体までの距離を演算する演算回路とを備えている。光源から出射されたパルス光は、被写体としての物体で反射され、固体撮像素子の画素にパルス光として入射する。パルス光の往復に要する飛行時間は、ショートシャッターモードとロングシャッターモードにおける第１及び第２キャパシタの出力信号の差分（又は比率）に依存するので、演算回路は画素出力に基づいて距離演算を行うことができる。

本発明の固体撮像素子によれば、正確な距離画像の計測に用いるデータを出力することが可能であり、距離画像測定装置によれば正確な距離画像測定を行うことができる。

以下、実施の形態に係る固体撮像素子を備えた距離画像測定装置について説明する。同一要素には、同一符号を用いることとし、重複する説明は省略する。

図１は、距離画像測定装置の概要を説明するための図である。

この距離画像測定装置は、車両ＶＧに搭載されており、車両前方に位置する物体Ｈを計測している。

距離画像測定装置は、固体撮像素子１、固体撮像素子１の駆動を制御する制御回路２、パルス光を出射する光源３、光源３の駆動回路４、及び固体撮像素子１の出力から物体Ｈまでの距離を演算する演算回路を内蔵した出力処理回路５を備えている。制御回路２は、固体撮像素子１にショートパルスＳ_Ｓ、ロングパルスＳ_Ｌを入力しており、また、駆動回路４には投光用の駆動パルスＳ_Ｐを入力している。駆動パルスＳ_Ｐは出力処理回路５にも入力されており、固体撮像素子１から距離を演算する際に用いられる。

制御回路２から出力された駆動パルスＳ_Ｐに同期して、駆動回路４から光源３に駆動電流が供給される。光源３からは、駆動パルスＳ_Ｐと同一パルス幅のプローブ光が出射される。プローブ光は、投光用のレンズＬ１を介して物体Ｈに照射される。物体Ｈの表面において反射されたプローブ光は、結像用のレンズＬ２，Ｌ３を介して固体撮像素子１の撮像領域に入射する。したがって、固体撮像素子１の撮像領域には物体Ｈの像が結像することになる。

固体撮像素子１からは、物体Ｈの距離画像（の元データ）と輝度画像（実画像）が出力されており、これらのデータは出力処理回路５によって処理され、カーナビゲーションシステムの表示器６に表示される。表示器６には、距離画像及び輝度画像を独立に表示することができるが、これらの画像を重畳して表示することも可能である。なお、距離画像の示す物体Ｈが所定距離以内に存在する場合には、物体Ｈが存在する旨の警告表示を輝度画像に重畳して表示することもできる。

図２は、固体撮像素子１の斜視図である。

固体撮像素子１は、二次元状に配列した複数の画素Ｐ（１，１），Ｐ（１，２），・・・Ｐ（ｍ，ｎ），・・・Ｐ（Ｍ，Ｎ）からなる撮像領域１ＩＰを備えている。ｍ，ｎ，Ｍ，Ｎは自然数である。なお、説明の明確化のため、同図では実際よりも少ない数の画素を示している。撮像領域１ＩＰの画素列に平行に垂直シフトレジスタ１Ｖが配置されており、画素行に平行に第１水平シフトレジスタ１Ｈ１、第２水平シフトレジスタ１Ｈ２が配置されている。

垂直シフトレジスタ１Ｖは、列方向に配列した画素Ｐ（ｍ，ｎ）の出力を、列方向に沿って順次読み出すための垂直転送信号を各画素Ｐ（ｍ，ｎ）に順次印加する。各画素列において、一垂直方向に転送された画素出力は、距離情報読出回路Ｊ１、Ｊ２・・・Ｊｎ・・・ＪＮに入力され、逆の垂直方向に転送された画素出力は輝度画像読出回路Ｋ１，Ｋ２・・・Ｋｎ・・・Ｋ_Ｎに入力される。距離情報読出回路Ｊ１、Ｊ２・・・Ｊｎ・・・ＪＮに入力された画素出力は、距離画像（の元データ）として、行方向に沿って順次読み出される。

すなわち、距離画像測定モードにおいては、１行目の画素Ｐ（１，１）、Ｐ（１，２）・・・Ｐ（１，ｎ）・・・Ｐ（１，Ｎ）の出力が、それぞれ、距離情報読出回路Ｊ１、Ｊ２・・・Ｊｎ・・・ＪＮに入力された場合、距離情報読出回路Ｊ１、Ｊ２・・・Ｊｎ・・・ＪＮは、入力された各画素出力毎に距離画像の元データを作成し、作成された元データは水平方向に沿った順番で、出力バッファアンプ１Ｄを介して外部に順次読みされる。この水平方向の読み出しは、水平シフトレジスタ１Ｈ１から各距離情報読出回路Ｊ１、Ｊ２・・・Ｊｎ・・・ＪＮの出力スイッチをＯＮする信号を、水平方向に沿って当該出力スイッチに順次入力することで行う。

次に、２行目の画素Ｐ（２，１）、Ｐ（２，２）・・・Ｐ（２，ｎ）・・・Ｐ（２，Ｎ）の出力が、それぞれ、距離情報読出回路Ｊ１、Ｊ２・・・Ｊｎ・・・ＪＮに入力され、以後、上記と同じ操作が行われる。以後、３行目、４行目・・・Ｍ行目まで、上記と同じ操作が行われると、撮像領域１ＩＰ内の全ての画素が距離情報として読み出されることになる。

輝度画像測定モードにおいては、１行目の画素Ｐ（１，１）、Ｐ（１，２）・・・Ｐ（１，ｎ）・・・Ｐ（１，Ｎ）の出力が、それぞれ、輝度画像読出回路Ｋ１、Ｋ２・・・Ｋｎ・・・Ｋ_Ｎに入力された場合、輝度画像読出回路Ｋ１、Ｋ２・・・Ｋｎ・・・Ｋ_Ｎは、入力された各画素出力毎に輝度画像データを作成し、作成されたデータは水平方向に沿った順番で、出力バッファアンプ１Ｉを介して外部に順次読み出される。この水平方向の読み出しは、水平シフトレジスタ１Ｈ２から各輝度画像読出回路Ｋ１、Ｋ２・・・Ｋｎ・・・Ｋ_Ｎの出力スイッチをＯＮする信号を、水平方向に沿って当該出力スイッチに順次入力することで行う。次に、２行目の画素Ｐ（２，１）、Ｐ（２，２）・・・Ｐ（２，ｎ）・・・Ｐ（２，Ｎ）の出力が、それぞれ、輝度画像読出回路Ｋ１、Ｋ２・・・Ｋｎ・・・Ｋ_Ｎに入力され、以後、上記と同じ操作が行われる。以後、３行目、４行目・・・Ｍ行目まで、上記と同じ操作が行われると、撮像領域１ＩＰ内の全ての画素が輝度画像として読み出されることになる。

プローブ光の非照射時においては、撮像領域１ＩＰには、太陽や街灯などの外光が物体Ｈの表面で反射されて形成される輝度画像が投影されている。プロープ光の照射時においては、撮像領域１ＩＰには、かかる輝度画像に重畳して、プローブ光の反射光から構成される、物体Ｈまでの距離取得用の画像が投影されている。通常の輝度画像については、各画素に入射した光量の大きさによって、その像を構成するため、格段の説明を必要としない。距離取得用の画像は、距離画像を演算するための元データの集合である。

図３は、撮像領域１ＩＰに投影された距離取得用の画像から生成される距離画像を示す図である。Ｍ軸、Ｎ軸及びＤ軸からなる直交座標系を設定する。同図では、撮像領域１ＩＰ内の各画素出力が示す距離を結んだ線が網目状に示されている。この距離画像は出力処理回路５において演算される。撮像領域１ＩＰ内においては、各画素がＭ行、Ｎ列だけ配列しており、撮像領域１ＩＰに垂直な距離はＤ軸上に示される。物体Ｈの距離画像は、Ｄ軸上の距離（ｄとする）の情報の集合である。

図４は、物体Ｈまでの距離ｄの測定原理について説明するための図である。

駆動回路４は、電源４ａと光源３との間に介在するスイッチ４ｂを有しており、スイッチ４ｂに投光用の駆動パルスＳ_Ｐを入力すると、駆動パルスＳ_Ｐに同期した駆動電流が光源３に供給され、駆動パルスＳ_Ｐに同期したプローブ光Ｌ_Ｐ（パルス光）が光源３から出射される。本例の光源３は、パルス光の立ち上がり及び立下りの急峻性に優れた発光ダイオード又はレーザダイオードからなることとするが、もちろん、他の種類の光源を用いることも可能である。なお、好適には、光源３は、赤外線発光ダイオードからなる。

プローブ光Ｌ_Ｐが、距離ｄの位置にある物体Ｈの表面に照射されると、プローブ光はこの表面で反射され、反射したプローブ光はパルス光として固体撮像素子１に入射する。固体撮像素子１に入射するパルス光をＬ_Ｄとし、パルス光が入射することによって画素から出力される検出パルスをＳ_Ｄとする。固体撮像素子１には、上述の距離情報読出回路Ｊと、輝度画像読出回路Ｋが設けられており、距離情報読出回路Ｊには上述のショートパルスＳ_ＳとロングパルスＳ_Ｌが入力される。

輝度画像読出回路Ｋからは、各画素Ｐ（ｍ，ｎ）から出力された輝度画像ｑ（ｍ，ｎ）が入力されており、輝度画像ｑ（ｍ，ｎ）は画像処理回路５ｂに入力される。パルス光Ｌ_Ｄの入射に応じて、距離情報読出回路Ｊからは、距離画像の元データとしての距離情報ｄ’（ｍ，ｎ）が各画素Ｐ（ｍ，ｎ）に対応して読み出される。距離情報ｄ’（ｍ，ｎ）は、演算回路５ａに入力され、駆動パルスＳ_Ｐを用いて距離画像ｄ（ｍ，ｎ）に変換される。距離情報ｄ’（ｍ，ｎ）は、物体Ｈまでのプローブ光の飛行時間に依存した値である。距離画像ｄ（ｍ，ｎ）は、輝度画像ｑ（ｍ，ｎ）と共に画像処理回路５ｂに入力される。画像処理回路５ｂでは、上述の重畳処理などを行うことができる。

図５は、駆動パルスＳ_Ｐ、検出パルスＳ_Ｄ、ショートパルスＳ_Ｓ、ロングパルスＳ_Ｌのタイミングチャートである。駆動パルスＳ_Ｐのパルス幅をＴ_Ｐとする。

駆動パルスＳ_Ｐの立ち上がり時刻ｔ_１に同期して、ショートパルスＳ_Ｓ及びロングパルスＳ_Ｌが立ち上がる。駆動パルスＳ_Ｐの立ち下がり時刻ｔ_３に同期して、ショートパルスＳ_Ｓは立ち下がる。検出パルスＳ_Ｄは反射光Ｌ_Ｄによるパルスであるため、駆動パルスＳ_Ｐの立ち上がり時刻ｔ_１よりも遅れた時刻ｔ_２において立ち上がる。ショートパルスＳ_Ｓは、検出パルスＳ_Ｄの立下り時刻ｔ_４よりも前の時刻ｔ_３において立ち下がるが、ロングパルスＳ_Ｌは、検出パルスＳ_Ｄの立下り時刻ｔ_４よりも後の時刻ｔ_５において立ち下がる。

検出パルスＳ_ＤにショートパルスＳ_Ｓでゲートをかけた場合（重複成分のみを取り出した場合）、これらのパルスの重複成分（計測値Ｖ１）が得られ、検出パルスＳ_ＤにロングパルスＳ_Ｌでゲートをかけた場合（重複成分のみを取り出した場合）、これらのパルスの重複成分（計測値Ｖ２）が得られる。各画素Ｐ（ｍ，ｎ）に対応して距離情報読出回路Ｊから出力されるＶ１，Ｖ２は、距離情報ｄ’（ｍ，ｎ）として取り扱うことができる。

図６は、距離ｄの演算について説明するためのブロック図である。

距離情報読出回路Ｊには、各画素から出力される検出パルスＳ_Ｄが入力され、検出パルスＳ_ＤとショートパルスＳ_Ｓの積を、これらのパルスの重複期間ｔ_２〜ｔ_３の間、時間積分した値をＶ１として演算する。また、検出パルスＳ_ＤとロングパルスＳ_Ｌの積を、これらのパルスの重複期間ｔ_２〜ｔ_４の間、時間積分した値をＶ２として演算する。

計測値Ｖ１，Ｖ２は、駆動パルスＳ_Ｐのパルス幅Ｔ_Ｐと共に、後段の演算回路５ａに入力され、距離ｄを求める演算が行われる。なお、ｄ＝（ｃ／２）×（Ｔ_Ｐ×（Ｖ２−Ｖ１）／Ｖ２））＝（ｃ／２）×Ｔ_Ｐ×（１−（Ｖ１／Ｖ２））である。なお、ｃは光速である。したがって、演算回路５ａからは、各画素Ｐ（ｍ，ｎ）毎の距離ｄ（ｍ，ｎ）が出力される。なお、画素列又は画素行毎にビニング動作を行っても良い。この場合には、ビニングによって積算される画素列又は画素行に入射した検出パルスが示す平均距離が得られることになる。

図７は、固体撮像素子１内の回路図である。

列方向に配列した各画素Ｐ（ｍ、ｎ）は、それぞれスイッチＱ_ｘｒ、垂直転送ラインＶＬｎ（Ｄ）を介して１つのバッファアンプＢＡに接続されている。なお、ｎは１〜Ｎの値をとり、ｍは１〜Ｍの値をとる。垂直シフトレジスタ１Ｖは、垂直方向に配列した画素列に設けられたスイッチＱ_ｘｒを順番にＯＮしていく。バッファアンプＢＡの後段には、距離情報読出回路Ｊｎが設けられている。距離情報読出回路Ｊｎは、ショートパルスＳ_Ｓが入力されるショートゲート回路Ｊ_Ｓｎと、ロングパルスＳ_Ｌが入力されるロングゲート回路Ｊ_Ｌｎとを備えている。

距離情報読出回路Ｊｎのショートゲート回路Ｊ_Ｓｎ側の出力は、出力スイッチＳＳ３を介して水平ラインＨＳに接続され、ロングゲート回路Ｊ_Ｌｎ側の出力は、出力スイッチＳＬ３を介して水平ラインＨＬに接続されている。出力スイッチＳＳ３及び出力スイッチＳＬ３は、水平シフトレジスタ１Ｈ１によって各列毎に、行方向に沿って、順次、同時にＯＮされていき、各水平ラインＨＳ，ＨＬの出力は、出力バッファアンプ１Ｄに入力される。出力バッファアンプ１Ｄからは、各画素Ｐ（ｍ，ｎ）毎の計測値Ｖ１（ｍ，ｎ）、Ｖ２（ｍ，ｎ）が順次出力される。

一方、列方向に配列した各画素Ｐ（ｍ、ｎ）は、それぞれ別の垂直転送ラインＶＬｎ（Ｉ）を介して、各列毎の輝度画像読出回路Ｋｎに接続されている。垂直シフトレジスタ１Ｖは、垂直方向に配列した画素列に設けられた後述のスイッチを順番にＯＮしていく。各画素列の画素毎の信号は、順次、輝度画像読出回路Ｋｎに入力される。輝度画像読出回路Ｋｎでは、画素毎の信号成分とノイズ成分を蓄積しており、読出回路側の信号成分用の出力スイッチＳＷ_Ｓ２及びノイズ成分用の出力スイッチＳＷ_Ｎ２は、水平シフトレジスタ１Ｈ２によって各列毎に、行方向に沿って、順次、同時にＯＮされていき、各水平ラインＨＤ，ＨＮの出力は、出力バッファアンプ１Ｉに入力される。なお、水平ラインＨＤは信号成分用の出力スイッチＳＷ_Ｓ２に接続され、水平ラインＨＮはノイズ成分用の出力スイッチＳＷ_Ｎ２に接続されている。出力バッファアンプ１Ｉからは、各画素Ｐ（ｍ，ｎ）毎の輝度値ｑ（ｍ，ｎ）が輝度画像信号として順次出力される。

まず、距離計測側の構成について説明する。

図８は、１つの画素Ｐ（ｍ，ｎ）と距離情報読出回路Ｊｎとの詳細関係を示す回路図である。なお、各スイッチは電界効果トランジスタからなる。

画素Ｐ（ｍ，ｎ）は、カソード（一端）が、（バッファ）アンプＢＡに接続されたフォトダイオードＤ１を備えている。すなわち、フォトダイオードＤ１のカソードは、スイッチＱ_Ｘ、スイッチＱ_ＸＲ及び垂直転送ラインＶＬｎ（Ｄ）を順次介して、バッファアンプＢＡの非反転入力端子に接続されている。なお、フォトダイオードＤ１のアノードは基準電位に接続されている。本例では、基準電位はグランドに設定されている。

また、スイッチＱ_Ｘと電源電位Ｖｃｃとの間には、リセットスイッチＱ_Ｒｅｓが介在している。スイッチＱ_ＸとリセットスイッチＱ_ＲｅｓをＯＮし、フォトダイオードＤ１に逆バイアス電圧をかけた後、リセットスイッチＱ_ＲｅｓをＯＦＦし、電源電位ＶｃｃからフォトダイオードＤ１を切り離した状態を初期状態とする。初期状態から、スイッチＱ_ＸＲをＯＮし、計測可能状態に移行する。なお、スイッチＱ_ＸＲは、理解を容易にするために図７に示したスイッチＱ_ｘｒと同一である。計測可能状態において、フォトダイオードＤ１に光が入射すると、入射光量に応じて、フォトダイオードＤ１のカソード電位が低下する。すなわち、バッファアンプＢＡへの入力電圧が低下するので、バッファアンプＢＡの出力端子（節点Ａ）の電圧が低下する。

バッファアンプＢＡの後段には、ショートゲート回路Ｊ_Ｓｎ、及びロングゲート回路Ｊ_Ｌｎが並列に接続されている。

ショートゲート回路Ｊ_Ｓｎは、オペアンプＡＳの反転入力端子とバッファアンプＢＡの出力端子との間に介在するキャパシタＣＳ１と、オペアンプＡＳの反転入力端子と出力端子間に並列に接続されたキャパシタＣＳ２及びスイッチＳＳ２を備えている。なお、キャパシタＣＳ１とバッファアンプＢＡの出力端子との間にはショートパルスＳ_Ｓによって制御されるスイッチＳＳ１が介在している。オペアンプＡＳの非反転入力端子は参照電位に接続されている。

ロングゲート回路Ｊ_Ｌｎは、オペアンプＡＬの反転入力端子とバッファアンプＢＡの出力端子との間に介在するキャパシタＣＬ１と、オペアンプＡＬの反転入力端子と出力端子間に並列に接続されたキャパシタＣＬ２及びスイッチＳＬ２を備えている。なお、キャパシタＣＬ１とバッファアンプＢＡの出力端子との間にはロングパルスＳ_Ｌによって制御されるスイッチＳＬ１が介在している。オペアンプＡＬの非反転入力端子は参照電位に接続されている。

計測可能状態において、画素Ｐ（ｍ，ｎ）にパルス光Ｌ_Ｄ（検出パルスＳ_Ｄ）が入射した場合、バッファアンプＢＡの出力は徐々に低下するが、検出パルスＳ_ＤとショートパルスＳ_Ｓの重複する期間だけ、キャパシタＣＳ１に電荷が蓄積される。スイッチＳＳ２を開放した状態の場合、キャパシタＣＳ１に蓄積された電荷がキャパシタＣＳ２に移動し、ショートゲート回路Ｊ_Ｓｎの出力端子（節点Ｂ）の電圧として、Ｖ１が出力される。すなわち、光の入射に伴って、バッファアンプＢＡの出力電位は低下し、ショートゲート回路Ｊ_Ｓｎの出力端子（節点Ｂ）の電位は上昇する。出力端子（節点Ｂ）の電位の上昇分が、上述の計測値Ｖ１に相当する。なお、計測の前後において、スイッチＳＳ２をＯＮすると、キャパシタＣＳ２に蓄積された電荷は放電される。

また、計測値Ｖ１を出力させるにあたり、ノイズ成分を除去することも可能である。すなわち、パルス光を撮像領域に入射させない状態で、スイッチＳＳ２をＯＮし、上記と同一の動作を実行すると、キャパシタＣＳ１に背景光（外光）・ノイズ成分に対応する電荷「ｑ１」が蓄積される。その後、パルス光を撮像領域に入射させ、スイッチＳＳ２をＯＦＦして、上記動作を実行すると、ショートゲートをかけたパルス光に対応する電荷「Ｑ１」と背景光・ノイズ成分に対応する電荷「ｑ１」の加算値「ｑ１＋Ｑ１」が、キャパシタＣＳ１，ＣＳ２に振り分けて蓄積される。もともとキャパシタＣＳ１には電荷「ｑ１」が蓄積されているので、オペアンプＡＳに並列接続されたキャパシタＣＳ２には、結果的にはパルス光に対応する電荷「Ｑ１」が蓄積される。

計測可能状態において、画素Ｐ（ｍ，ｎ）にパルス光Ｌ_Ｄ（検出パルスＳ_Ｄ）が入射した場合、バッファアンプＢＡの出力は徐々に低下するが、検出パルスＳ_ＤとロングパルスＳ_Ｌの重複する期間だけ、キャパシタＣＬ１に電荷が蓄積される。なお、本例では、ロングパルスＳ_Ｌは、検出パルスＳ_Ｄの全ての期間において検出パルスＳ_Ｄと重複する。スイッチＳＬ２を開放した状態の場合、キャパシタＣＬ１に蓄積された電荷がキャパシタＣＬ２に移動し、ロングゲート回路Ｊ_Ｌｎの出力端子（節点Ｃ）の電圧として、Ｖ２が出力される。すなわち、光の入射に伴って、バッファアンプＢＡの出力電位は低下し、ロングゲート回路Ｊ_Ｌｎの出力端子（節点Ｃ）の電位は上昇する。出力端子（節点Ｃ）の電位の上昇分が、上述の計測値Ｖ２に相当する。なお、計測の前後において、スイッチＳＬ２をＯＮすると、キャパシタＣＬ２に蓄積された電荷は放電される。

また、計測値Ｖ２を出力させるにあたり、ノイズ成分を除去することも可能である。すなわち、パルス光を撮像領域に入射させない状態で、スイッチＳＬ２をＯＮし、上記と同一の動作を実行すると、キャパシタＣＬ１に背景光（外光）・ノイズ成分に対応する電荷「ｑ２」が蓄積される。その後、パルス光を撮像領域に入射させ、スイッチＳＬ２をＯＦＦして、上記動作を実行すると、ロングゲートをかけたパルス光に対応する電荷「Ｑ２」と背景光・ノイズ成分に対応する電荷「ｑ２」の加算値「ｑ２＋Ｑ２」が、キャパシタＣＬ１，ＣＬ２に振り分けて蓄積される。もともとキャパシタＣＬ１には電荷「ｑ２」が蓄積されているので、オペアンプＡＬに並列接続されたキャパシタＣＳ２には、結果的にはパルス光に対応する電荷「Ｑ２」が蓄積される。

出力端子（節点Ｂ）及び出力端子（節点Ｃ）において、計測値Ｖ１，Ｖ２が現れた後、スイッチＳＳ３、ＳＬ３をＯＮすると、各計測値Ｖ１，Ｖ２が各水平ラインＨＳ，ＨＬを介して読み出される。

なお、トランジスタからなるスイッチＱ_Ｒｅｓ、Ｑ_Ｘ、Ｑ_ＸＲのゲートには、上述のように、それぞれの導通を制御する制御信号Ｒｅｓ、Ｔ_Ｘ、Ｔ_ＸＲが入力される。

次に、輝度画像取得側の構成について説明する。

図９は、１つの画素Ｐ（ｍ，ｎ）と輝度画像読出回路Ｋｎとの詳細関係を示す回路図である。なお、各スイッチは電界効果トランジスタからなる。

画素Ｐ（ｍ，ｎ）は、フォトダイオードＤ１のカソードに、スイッチＱ_Ｘ、Ｑ_ＴＧを介して、ゲートが接続されたトランジスタＱ_ＡＤを有しており、トランジスタＱ_ＡＤの出力は、選択用のスイッチＱ_ＳＥＬ、垂直転送ラインＶＬｎ（Ｉ）を介して、画像読出回路Ｋｎに接続されている。選択用のスイッチＱ_ＳＥＬは、垂直シフトレジスタ１Ｖからの選択信号ＳＥＬによって、列方向に沿って順次ＯＮされる。

上述のように、スイッチＱ_ＸとリセットスイッチＱ_ＲｅｓをＯＮし、フォトダイオードＤ１を初期状態とした後、転送ゲートとなるスイッチＱ_ＴＧをＯＮすると、フォトダイオードＤ１のカソード電位がトランジスタＱ_ＡＤのゲートに入力される。トランジスタＱ_ＡＤをＰ型の電界効果トランジスタで構成しておく場合、カソード電位が低下すると、電源電位ＶｃｃからトランジスタＱ_ＡＤに流れ込もうとする電流量が増加する。トランジスタＱ_ＡＤのゲートに、検出信号を入力した後、選択スイッチＱ_ＳＥＬをＯＮすると、電源電位Ｖｃｃから、読出回路ＫｎのキャパシタＣ_Ｓ又はＣ_Ｎに電流が流れ込む。信号成分蓄積用のキャパシタＣ_Ｓとノイズ成分蓄積用のキャパシタＣ_Ｎは、それぞれ垂直転送ラインＶＬｎ（Ｉ）と基準電位（グランド）との間に接続されており、キャパシタＣ_Ｓと垂直転送ラインＶＬｎ（Ｉ）との間にはスイッチＳＷ_Ｓ１が介在し、キャパシタＣ_Ｎと垂直転送ラインＶＬｎ（Ｉ）との間にはスイッチＳＷ_Ｎ１が介在している。

信号光を検出した場合のカソード電位を、トランジスタＱ_ＡＤのゲートに入力し、制御信号Ｓ_ＳＩＧによってスイッチＳＷ_Ｓ１をＯＮし、この時のトランジスタＱ_ＡＤの出力電圧を信号成分蓄積用のキャパシタＣ_Ｓの一端に入力する。また、スイッチＱ_ＸをＯＦＦした状態で、リセット時の電位、すなわち、リセットスイッチＱ_Ｒｅｓ、Ｑ_ＴＧをＯＮし、この時のトランジスタＱ_ＡＤの出力電圧を、制御信号Ｓ_{ＮＯＩＳＥ}をＯＮすることによってノイズ成分蓄積用のキャパシタＣ_Ｎの一端に入力する。信号成分とノイズ成分がキャパシタＣ_Ｓ，Ｃ_Ｎに蓄積された後、水平シフトレジスタ１Ｈ２を制御して、出力スイッチＳＷ_Ｓ２，ＳＷ_Ｎ２をＯＮし、水平ラインＨＤ、ＨＮにそれぞれのキャパシタＣ_Ｓ，Ｃ_Ｎの電圧を入力する。元の信号光にはノイズ成分が含まれているので、後段回路において、水平ラインＨＤと水平ラインＨＮの電圧の差分を演算すれば、ノイズが除去された信号光（輝度画像信号）ｑ（ｍ，ｎ）を得ることができる。

なお、トランジスタからなるスイッチＱ_ＳＥＬ、Ｑ_ＴＧのゲートには、上述のように、それぞれの導通を制御する制御信号ＳＥＬ、Ｔ_Ｇが入力される。

上述のように、実施の形態に係る固体撮像素子１は、パルス光Ｌ_Ｄが入射する固体撮像素子であって、画素Ｐ（ｍ，ｎ）へのパルス光の入射光量に応じた電圧（節点Ａの電圧）を出力するアンプＢＡと、アンプＢＡの後段に接続された第１キャパシタＣＳ１と、アンプＢＡの後段に接続された第２キャパシタＣＬ１と、第１キャパシタＣＳ１に第１期間（ショートゲート期間：ｔ_１−ｔ_３：図５参照）の間、アンプＢＡの出力を入力するための第１スイッチＳＳ１と、第２キャパシタＣＬ１に第１期間を含み、第１期間よりも長い第２期間の間（ロングゲート期間：ｔ_１−ｔ_５：図５参照）、アンプＢＡの出力を入力するための第２スイッチＳＬ１と、を備えている。

パルス光Ｌ_Ｄが入射すると、画素Ｐ（ｍ，ｎ）において発生した電荷に応じてアンプＢＡから電圧が出力される。このアンプＢＡの出力は、第１キャパシタＣＳ１に第１期間、第２キャパシタＣＬ１に第２期間、入力される。この構造の場合、１つの画素Ｐ（ｍ，ｎ）からの出力を利用するので、距離計測における空間的な同一性を確保することができる。また、第２期間は第１期間を含んで設定されているので、計測時の同時性も確保することができる。第１キャパシタＣＳ１からは、ショートシャッターモード（第１期間）の信号が出力され、第２キャパシタＣＬ１からはロングシャッターモード（第２期間）の信号が出力される。ショートシャッターモードとロングシャッターモードにおける第１及び第２キャパシタの出力信号Ｖ１、Ｖ２の差分（＝Ｖ２−Ｖ１）又は比率（＝Ｖ１／Ｖ２）は被写体までの距離（ｄ）に依存するので、これらの出力信号を元データとし、この元データに基づいて被写体までの距離（ｄ）を測定することができる。

また、図１に示した光源３から出射されたパルス光Ｌ_Ｐは、被写体としての物体Hで反射され、固体撮像素子１の画素P（ｍ，ｎ）にパルス光Ｌ_Ｄとして入射する。パルス光の往復に要する飛行時間は、ショートシャッターモードとロングシャッターモードにおける第１及び第２キャパシタＣＳ１，ＣＬ１の出力信号の差分又は比率に依存するので、演算回路５aは画素出力に基づいて距離演算を行うことができる。

また、フォトダイオードＤ１のカソードの出力は、アンプＢＡに入力されるが、カソードは、増幅用のトランジスタＱ_ＡＤのゲートにも入力されている。すなわち、この画素Ｐ（ｍ，ｎ）は、増幅用のトランジスタを含むＡＰＳとしても機能しており、増幅用トランジスタの出力は輝度画像読出回路Ｋｎに入力されるので、高品質な輝度画像を画像読出回路から出力することができる。

すなわち、単一の画素Ｐ（ｍ，ｎ）の出力から正確な距離画像と高品質な輝度画像の双方を読み出すことができ、人物、車両、飛行機、搬送品、軍用ミサイル等の被写体を測定することができ、画像認識技術を含めた多彩な応用が可能である。

図１０は、距離情報読出回路Ｊｎの変形例を示す回路図である。

この距離情報読出回路Ｊｎの図８に示したものとの相違点は、スイッチＳＳ１がキャパシタＣＳ１とアンプＡＳの反転入力端子との間に位置している点と、スイッチＳＬ１がキャパシタＣＬ１とオペアンプＡＬの反転入力端子との間に位置している点である。その他の構成は図８に示したものと同一である。

初期状態から計測可能状態に移行した後、画素Ｐ（ｍ，ｎ）からバッファアンプＢＡに検出パルスＳ_Ｄが入力されると、キャパシタＣＳ１，ＣＬ１のバッファアンプＢＡ側の電位が低下し始める。パルス光の出射時に立ち上がりタイミングを同期させて、スイッチＳＳ１にショートパルスＳ_Ｓを入力し、スイッチＳＬ１にロングパルスＳ_Ｌを入力すると、これらのスイッチＳＳ１，ＳＬ１がＯＮ状態にある期間のみ、キャパシタＣＳ１、ＣＬ１に蓄積された電荷が、それぞれキャパシタＣＳ２，ＣＬ２に移動し、計測値Ｖ１，Ｖ２を発生する。この電荷の移動時には、スイッチＳＳ２，ＳＬ２は開放しておくが、計測前後にスイッチＳＳ２、ＳＬ２を閉じると、キャパシタＣＳ２，ＣＬ２の放電が行われる。

この構造の固体撮像素子１においても、アンプＢＡの後段に接続された第１キャパシタＣＳ２と、アンプＢＡの後段に接続された第２キャパシタＣＬ２と、第１キャパシタＣＳ２に第１期間（ショートゲート期間：ｔ_１〜ｔ_３：図５参照）の間、アンプＢＡの出力を入力するための第１スイッチＳＳ１と、第２キャパシタＣＬ２に第１期間を含み、第１期間よりも長い第２期間の間（ロングゲート期間：ｔ_１〜ｔ_５：図５参照）、アンプＢＡの出力を入力するための第２スイッチＳＬ１と、を備えており、上記実施形態と同様に機能する。

図１１は、距離情報読出回路Ｊｎの別の変形例を示す回路図である。

この距離情報読出回路Ｊｎの図８に示したものとの相違点は、キャパシタＣＳ１の代わりに抵抗ＲＳを、アンプＡＳの反転入力端子とバッファアンプＢＡの出力端子との間に介在させた点と、キャパシタＣＬ１の代わりに抵抗ＲＬを、オペアンプＡＬの反転入力端子とバッファアンプＢＡの出力端子との間に介在させた点である。その他の構成は図８に示したものと同一である。

初期状態から計測可能状態に移行した後、画素Ｐ（ｍ，ｎ）からバッファアンプＢＡに検出パルスＳ_Ｄが入力されると、バッファアンプＢＡの出力電位が低下し始める。パルス光の立ち上がりに同期して立ち上がるように、スイッチＳＳ１にショートパルスＳ_Ｓを入力し、スイッチＳＬ１にロングパルスＳ_Ｌを入力すると、これらのスイッチＳＳ１，ＳＬ１がＯＮ状態にある期間のみ、キャパシタＣＳ２、ＣＬ２に電荷が蓄積され、計測値Ｖ１，Ｖ２が発生する。なお、この蓄積時にはスイッチＳＳ２，ＳＬ２は開放しており、蓄積の前後の期間ではＯＮしている。

図１２は、距離情報読出回路Ｊｎの更に別の変形例を示す回路図である。

この距離情報読出回路Ｊｎの図８に示したものとの相違点は、キャパシタＣＳ１及びキャパシタＣＬ１を削除した点である。その他の構成は図８に示したものと同一である。

初期状態から計測可能状態に移行した後、画素Ｐ（ｍ，ｎ）からバッファアンプＢＡに検出パルスＳ_Ｄが入力されると、バッファアンプＢＡの出力電位が低下し始める。パルス光の立ち上がりに同期して立ち上がるように、スイッチＳＳ１にショートパルスＳ_Ｓを制御入力し、スイッチＳＬ１にロングパルスＳ_Ｌを制御入力すると、これらのスイッチＳＳ１，ＳＬ１がＯＮ状態にある期間のみ、キャパシタＣＳ２、ＣＬ２に電荷が蓄積され、計測値Ｖ１，Ｖ２が発生する。なお、この電荷の蓄積時にはスイッチＳＳ２，ＳＬ２は開放しており、蓄積の前後の期間ではＯＮしている。

図１３は、画像の読み出し順序の一例について説明するための図である。

図２に示した固体撮像素子１の撮像領域１ＩＰからは、距離画像のデータと輝度画像のデータが交互に出力される。

図１３（ａ）に示すように、距離画像のデータは距離画像読出期間Ｔ１において出力され、輝度画像のデータは輝度画像読出期間Ｔ２において出力される。画像の１フレームは、距離画像読出期間Ｔ１と輝度画像読出期間Ｔ２からなることとする。

図１３（ｂ）に示すように、１つの距離画像読出期間Ｔ１は、ｉ行目の画素群の距離画像データの読出期間Ｐ_ｉからｉ＋ｋ行目の画素群の距離画像のデータの読出期間Ｐ_ｉ＋ｋまでの積算期間からなる（ｉ＋ｋ＝Ｍ）。

図１３（ｃ）に示すように、ｉ行目の画素群の距離画像データの読出期間Ｐ_ｉは、ｉ行目の画素データの読出期間（各画素から各距離情報読出回路Ｊまでの信号読出期間）と、各距離情報読出回路Ｊに蓄積された距離画像データを、水平ラインを介して1列目からＮ列目まで順次読み出す期間からなる。

図１３（ｄ）に示すように、１つの輝度画像読出期間Ｔ２は、ｉ行目の画素群の輝度画像データの読出期間Ｑ_ｉからｉ＋ｋ行目の画素群の輝度画像のデータの読出期間Ｑ_ｉ＋ｋまでの積算期間からなる（ｉ＋ｋ＝Ｍ）。

図１３（ｅ）に示すように、ｉ行目の画素群の輝度画像データの読出期間Ｑ_ｉは、ｉ行目の画素データの読出期間（各画素から各輝度画像読出回路Ｋまでの信号読出期間）と、各輝度画像読出回路Ｋに蓄積された輝度画像データを、水平ラインを介して1列目からＮ列目まで順次読み出す期間からなる。

図１４は、距離画像読出期間Ｔ１におけるｉ行目の画素群から距離画像データを読み出す場合の読出期間Ｐｉ内のタイミングチャートである。なお、ｉ＋ｋ行目の画素群まで、同図のタイミングは繰り返される。以下の説明では、図８を再び参照する。

短絡信号電圧φは、キャパシタＣＳ２，ＣＬ２の短絡指令を出す信号であり、ハイレベルの「１」の場合には、スイッチＳＳ２，ＳＬ２がＯＮし、ローレベルの「０」の場合には、スイッチＳＳ２，ＳＬ２はＯＦＦする。時刻ｔ１〜時刻ｔ３までの間、短絡信号電圧φは「１」となり、スイッチＳＳ２，ＳＬ２がＯＮして、キャパシタＣＳ２，ＣＬ２に蓄積されている電荷が放電する。

リセット信号Ｒｅｓは、リセットスイッチＱ_Ｒｅｓの短絡指令を出す信号であり、ハイレベルの「１」の場合には、リセットスイッチＱ_ＲｅｓがＯＮし、ローレベルの「０」の場合には、リセットスイッチＱ_ＲｅｓはＯＦＦする。放電時のスイッチＳＳ２，ＳＬ２の立ち上がりに同期して、時刻ｔ１〜ｔ２の間、リセット信号Ｒｅｓは「１」となり、スイッチＱ_ＲｅｓがＯＮし、電源電位ＶｃｃがスイッチＱ_Ｘにかかる。

このとき、共通画素データ通過信号Ｔ_Ｘも時刻ｔ_１〜ｔ_９において「１」となるため、スイッチＱ_ＸがＯＮし、フォトダイオードＤ１のカソードには、電源電位Ｖｃｃが印加され、フォトダイオードＤ１がチャージアップされる。時刻ｔ_２においてリセット信号Ｒｅｓは「０」となり、フォトダイオードＤ１が電源から切り離される。

その後、距離情報読み出し回路Ｊｎへの入力スイッチＳＳ１，ＳＬ１はＯＦＦしたままで、距離画像用画素データ通過信号Ｔ_ＸＲを時刻ｔ_３から「１」にしてスイッチＱ_ＸＲをＯＮする一方で、短絡信号電圧φは「０」にして、スイッチＳＳ２，ＳＬ２はＯＦＦにする。この状態で、時刻ｔ_４から時刻ｔ_６の間においてＯＮとなる駆動パルスＳ_Ｐを光源３（図１参照）に印加する。光源３からはプローブ光Ｌ_Ｐが物体に向けて出射され、物体からの反射光像が撮像領域内の画素群に入射し、各画素のフォトダイオードＤ１からは、駆動パルスＳ_Ｐに応答して発生した検出パルスＳ_Ｄが出力される。検出パルスＳ_Ｄは駆動パルスＳ_Ｐよりも遅延しており、時刻ｔ_５〜ｔ_７の期間において「１」となる。

ショートパルスＳ_Ｓ及びロングパルスＳ_Ｌは、それぞれ駆動パルスＳ_Ｐの立ち上がりに同期して時刻ｔ_４において立ち上がる。ショートパルスＳ_ＳはスイッチＳＳ１に印加され、時刻ｔ_４からｔ_６の期間において「１」となり、バッファアンプＢＡの出力端子とキャパシタＣＳ１とを接続する。ロングパルスＳ_Ｌのパルス幅はショートパルスＳ_Ｓのパルス幅よりも大きく、スイッチＳＬ１に印加され、時刻ｔ_４からｔ_８の期間において「１」となり、バッファアンプＢＡの出力端子とキャパシタＣＬ１とを接続する。

距離情報読出回路Ｊｎへの入力電位（節点Ａの電位）Ａは、フォトダイオードＤ１に光が照射されると低下する。すなわち、フォトダイオードＤ１のカソード電位は、光の入射に応答して低下し、バッファアンプＢＡの出力端子の電位（節点Ａの電位）も低下する。初期状態におけるバッファアンプＢＡの出力端子の電位をＶ０とすると、一度のパルス光の照射によって、この電位は時刻ｔ_５〜ｔ_７においてＶ０’まで低下する。

ここで、ショートパルスＳ_Ｓは、時刻ｔ_４〜ｔ_６まで「１」になっているため、検出パルスＳ_Ｄが「１」である期間（ｔ_５〜ｔ_７）と、ショートパルスＳ_Ｓが「１」である期間（ｔ_４〜ｔ_６）の重複期間（ｔ_５〜ｔ_６）において、キャパシタＣＳ１に電荷が蓄積され、スイッチＳＳ２が開放している場合には、パルス光による蓄積電荷がキャパシタＣＳ２に移動し、距離情報読出回路Ｊｎからの出力電位（節点Ｂの電位）Ｂは、参照電位（＝０Ｖとする）からＶ１まで上昇する。

また、ロングパルスＳ_Ｌは、時刻ｔ_４〜ｔ_８まで「１」になっているため、検出パルスＳ_Ｄが「１」である期間（ｔ_５〜ｔ_７）と、ロングパルスＳ_Ｌが「１」である期間（ｔ_４〜ｔ_８）の重複期間（ｔ_５〜ｔ_７）において、キャパシタＣＬ１に電荷が蓄積され、スイッチＳＬ２が開放している場合には、パルス光による蓄積電荷がキャパシタＣＬ２に移動し、距離情報読出回路Ｊｎからの出力電位（節点Ｃの電位）Ｃは、参照電位（＝０Ｖとする）からＶ２まで上昇する。

双方の計測値Ｖ１，Ｖ２は、スイッチＳＳ３、ＳＬ３をＯＮすることによって、それぞれ水平ラインＨＳ、ＨＬに出力される。

上記の電荷蓄積をキャパシタにおいて繰り返し行うことで、計測値を積分し、Ｓ／Ｎ比を向上させることができる。

図１５は、距離画像読出期間Ｔ１におけるｉ行目の画素群から距離画像データを積分して読み出す場合の読出期間Ｐｉ内のタイミングチャートである。なお、ｉ＋ｋ行目の画素群まで、同図のタイミングは繰り返される。以下の説明では、図８を再び参照する。

時刻ｔ_１〜ｔ_８までの動作は図１４の場合と同一である。

本例では積分動作を３回行うので、スイッチＱ_ＸＲは時刻ｔ_３〜時刻ｔ_９までＯＮしておき、スイッチＱ_Ｘは時刻ｔ_１〜時刻ｔ_９までＯＮしておく。また、短絡信号電圧φは積分が終了する時刻ｔ_３〜時刻ｔ_９まではＯＦＦ「０」にしておき、リセット信号Ｒｅｓは時刻ｔ３以降はＯＦＦ「０」にしておく。

その他の時刻ｔ_４’〜ｔ_８’までの動作、及び時刻ｔ_４”〜ｔ_８”までの動作は、時刻ｔ_４〜ｔ_８までの動作と同一である。キャパシタＣＳ１、ＣＬ１には、パルス光の入射毎に電荷が積算して蓄積され、スイッチＳＳ２，ＳＬ２が開放している場合には、パルス光による蓄積電荷がキャパシタＣＳ２，ＣＬ２に移動し、信号が3回の積分動作の対象期間内に変わらないとすれば、計測値Ｖ１，Ｖ２が積分回数に比例して大きくなる（本例では３回）。双方の計測値３×Ｖ１，３×Ｖ２は、スイッチＳＳ３、ＳＬ３をＯＮすることによって、それぞれ水平ラインＨＳ、ＨＬに出力される。

なお、図８において説明したように、外光蓄積と距離情報蓄積を時系列として行って、外光除去を行ってもよい。

図１６は、外光除去を行う場合のタイミングチャートであり、このタイミングチャートでは距離画像読出期間Ｔ１におけるｉ行目の画素群から距離画像データを読み出す場合の読出期間Ｐｉ内のタイミングを示している。なお、ｉ＋ｋ行目の画素群まで、同図のタイミングは繰り返される。以下の説明では、図８を再び参照する。

なお、リセット信号Ｒｅｓは、距離画像読出期間Ｔ１より前の輝度画像読出期間Ｔ２において既に一度ＯＮされているものとする。

時刻ｔ_３以降の動作（距離情報蓄積）は、図１４に示したものと同一である。また、短絡信号電圧φがＯＮ「１」である時刻ｔ_１〜時刻ｔ_３までの期間において、共通画素データ通過信号Ｔ_Ｘ、及び距離画像用画素データ通過信号Ｔ_ＸＲは共にＯＮ「１」であり、このとき、時刻ｔ_１からｔ_Ａまでの間に、駆動パルスＳ_ＰがＯＮすることなく、ショートパルスＳ_ＳがＯＮ「１」となり、時刻ｔ_１からｔ_３までの間に、駆動パルスＳ_ＰがＯＮすることなく、ロングパルスＳ_ＬがＯＮ「１」となり、キャパシタＣＳ１，ＣＬ１に外光に対応する電荷が行われる（外光蓄積）。

時刻ｔ_３以降の動作では、外光にパルス光を加算した光が各画素に入射するため、キャパシタＣＳ２，ＣＬ２にパルス光に対応する電荷が蓄積され、外光（ノイズ成分）が除去された計測値Ｖ１，Ｖ２が、スイッチＳＳ３，ＳＬ３をＯＮした場合には、水平ラインＨＳ，ＨＬに出力される。なお、上述の動作は図１１などの構成の距離情報読出回路Ｊｎにも適用できる。

次に、輝度画像読出期間Ｔ２について説明する。

図１７は、輝度画像読出期間Ｔ２におけるｉ行目の画素群から輝度画像データを読み出す場合の読出期間Ｑｉ内のタイミングチャートである。なお、ｉ＋ｋ行目の画素群まで、同図のタイミングは繰り返される。以下の説明では、図９を再び参照する。

距離情報読出回路Ｊｎは基本的には動作していないので、短絡信号電圧φ、距離画像用画素データ通過信号Ｔ_ＸＲはＯＦＦ「０」のままであり、パルス光の発光、ショートパルス、ロングパルスの印加は行わない。

まず、同図の時刻ｔ_１〜ｔ_２において、リセット信号ＲｅｓをＯＮ「１」する。

次に、時刻ｔ_３〜ｔ_６の期間において共通画素データ通過信号Ｔ_ＸをＯＮ「１」し、また、この期間内の時刻ｔ_４〜ｔ_５において転送信号Ｔ_ＧをＯＮ「１」して転送スイッチＱ_ＴＧをＯＮし、フォトダイオードＤ１のカソード電位をトランジスタＱ_ＡＤのゲートに転送する（同時シャッター）。フォトダイオードＤ１は前回の周期において、初期状態とされた後、輝度画像の入射によって、カソード電位が低下しているものとすると、同時シャッターによって、入射光量に応じた電位（信号成分）がトランジスタＱ_ＡＤのゲートに与えられることになる。

次に、転送信号Ｔ_ＧをＯＦＦしてフォトダイオードＤ１のカソードをトランジスタＱ_ＡＤから切り離した後、時刻ｔ_７〜ｔ_８において、リセット信号Ｒｅｓと共通画素データ通過信号Ｔ_Ｘを共にＯＮ「１」し、フォトダイオードＤ１をチャージアップし、初期状態とする。しかる後、時刻ｔ_９〜ｔ_１０まで選択信号ＳＥＬをＯＮ「１」することで、スイッチＱ_ＳＥＬをＯＮし、入射光量に応じた電流をトランジスタＱ_ＡＤから出力させる。この電流は、スイッチＳＷ_Ｓ１をＯＮすることによって、キャパシタＣ_Ｓに流れ、電流量に対応した電荷として蓄積される。この時、スイッチＳＷ_Ｎ１はＯＦＦしておく。

更に、時刻ｔ_１０〜ｔ_１４まで選択信号ＳＥＬをＯＮ「１」した状態で、時刻ｔ_１０〜ｔ_１３においてリセット信号ＲｅｓをＯＮ「１」し、また、時刻ｔ_１１〜ｔ_１２において転送信号Ｔ_Ｇを同時にＯＮし、リセット電位をトランジスタＱ_ＡＤのゲートに与え、これに対応する電流（ノイズ成分）をトランジスタＱ_ＡＤから出力させる。この電流は、スイッチＳＷ_Ｎ１をＯＮすることによって、キャパシタＣ_Ｎに流れ、電流量に対応した電荷として蓄積される。この時、スイッチＳＷ_Ｓ１はＯＦＦしておく。

したがって、信号成分とノイズ成分がそれぞれキャパシタＣ_Ｓ，Ｃ_Ｎに蓄積されているので、後段の出力スイッチＳＷ_Ｓ２，ＳＷ_Ｎ２をＯＮすることによって、それぞれの蓄積電荷が水平ラインＨＤ，ＨＮに流れ、輝度画像信号として読み出される。

なお、距離画像測定において、水平方向のビニング読み出し動作を行う場合には、図７に示した距離情報読出回路Ｊｎの出力側のスイッチＳＳ３，ＳＬ３を各行毎に同時にＯＮするように、水平シフトレジスタ１Ｈ１を駆動すればよい。

なお、距離画像測定において、垂直方向のビニング動作を行う場合には、図７の行方向に隣接するスイッチＱ_ＸＲへの制御信号は独立に入力する構成とし、図７の列方向に並んだスイッチＱ_ＸＲを同時にＯＮし、このＯＮ動作を、各列毎に順次行うように垂直シフトレジスタ１Ｖを駆動すればよい。また、全画素を同時にリセットするグローバルシャッターモードを実行することも可能である。

距離画像測定装置の概要を説明するための図である。 固体撮像素子１の斜視図である。 撮像領域１ＩＰに投影された距離取得用の画像から生成される距離画像を示す図である。 物体Ｈまでの距離ｄの測定原理について説明するための図である。 駆動パルスＳ_Ｐ、検出パルスＳ_Ｄ、ショートパルスＳ_Ｓ、ロングパルスＳ_Ｌのタイミングチャートである。 距離ｄの演算について説明するためのブロック図である。 固体撮像素子１内の回路図である。 １つの画素Ｐ（ｍ，ｎ）と距離情報読出回路Ｊｎとの詳細関係を示す回路図である。 １つの画素Ｐ（ｍ，ｎ）と輝度画像読出回路Ｋｎとの詳細関係を示す回路図である。 距離情報読出回路Ｊｎの変形例を示す回路図である。 距離情報読出回路Ｊｎの別の変形例を示す回路図である。 距離情報読出回路Ｊｎの更に別の変形例を示す回路図である。 画像の読み出し順序の一例について説明するための図である。 距離画像読出期間Ｔ１におけるｉ行目の画素群から距離画像データを読み出す場合の読出期間Ｐｉ内のタイミングチャートである。 距離画像読出期間Ｔ１におけるｉ行目の画素群から距離画像データを積分して読み出す場合の読出期間Ｐｉ内のタイミングチャートである。 外光除去を行う場合の距離画像読出期間Ｔ１におけるｉ行目の画素群から距離画像データを読み出す場合の読出期間Ｐｉ内のタイミングチャートである。 輝度画像読出期間Ｔ２におけるｉ行目の画素群から輝度画像データを読み出す場合の読出期間Ｑｉ内のタイミングチャートである。

符号の説明

１・・・固体撮像素子、２・・・制御回路、３・・・光源、４・・・駆動回路、４ａ・・・電源、４ｂ・・・スイッチ、５・・・出力処理回路、５ａ・・・演算回路、５ｂ・・・画像処理回路、６・・・表示器、Ａ・・・節点、Ｂ・・・節点、Ｃ・・・節点、ＡＰ，ＡＳ，ＡＬ・・・オペアンプ、Ｃ１・・・キャパシタ、Ｃ２・・・キャパシタ、Ｃ３・・・キャパシタ、Ｃ４・・・キャパシタ、ＣＳ１，ＣＬ１・・・キャパシタ、ＣＳ２，ＣＬ２・・・キャパシタ、Ｃ_Ｓ，Ｃ_Ｎ・・・キャパシタ、Ｊ・・・距離情報読出回路、Ｊ_Ｌｎ・・・ロングゲート回路、Ｊ_Ｓｎ・・・ショートゲート回路、Ｋ・・・輝度画像読出回路、Ｌ１，Ｌ２，Ｌ３・・・レンズ、P（ｍ，ｎ）・・・画素、Ｑ_ＡＤ・・・トランジスタ、Ｑ_Ｒｅｓ・・・リセットスイッチ、Ｑ_ＳＥＬ・・・選択スイッチ、Ｑ_ＴＧ・・・転送スイッチ、Ｑ_Ｘ・・・スイッチ、Ｑｘｒ・・・スイッチ、Ｑ_ＸＲ・・・スイッチ、Ｄ１・・・フォトダイオード、ｄ・・・距離、Ｈ・・・物体、ＨＤ，ＨＮ・・・水平ライン、ＨＳ，ＨＬ・・・水平ライン、１ＩＰ・・・撮像領域、Ｐ_ｉ・・・読出期間、Ｑ_ｉ・・・読出期間、ＲＬ・・・抵抗、ＲＳ・・・抵抗、Ｓ_Ｐ・・・駆動パルス、Ｓ_Ｄ・・・検出パルス、Ｓ_Ｌ・・・ロングパルス、Ｓ_Ｓ・・・ショートパルス、Ｖ１，Ｖ２・・・計測値、１Ｄ・・・出力バッファアンプ、１Ｉ・・・出力バッファアンプ、１Ｖ・・・垂直シフトレジスタ、１Ｈ１・・・水平シフトレジスタ、１Ｈ２・・・水平シフトレジスタ、ＳＳ１，ＳＬ１・・・スイッチ、ＳＳ２，ＳＬ２・・・スイッチ、ＳＳ３，ＳＬ３・・・スイッチ、Ｒｅｓ・・・リセット信号、ＳＥＬ・・・選択信号、Ｓ_ＳＩＧ，Ｓ_{ＮＯＩＳＥ}・・・制御信号、Ｔ１・・・距離画像読出期間、Ｔ２・・・輝度画像読出期間、Ｔ_Ｘ・・・共通画素データ通過信号、Ｔ_ＸＲ・・・距離画像用画素データ通過信号、ＶＧ・・・車両、ＶＬｎ（Ｄ）・・・垂直転送ライン、ＶＬｎ（Ｉ）・・・垂直転送ライン。

Claims (3)

1. パルス光が入射する固体撮像素子であって、
   画素への前記パルス光の入射光量に応じた電圧を出力するアンプと、
   前記アンプの後段に接続された第１キャパシタと、
   前記アンプの後段に接続された第２キャパシタと、
   前記第１キャパシタに第１期間の間、前記アンプの出力を入力するための第１スイッチと、
   前記第２キャパシタに前記第１期間を含み、前記第１期間よりも長い第２期間の間、前記アンプの出力を入力するための第２スイッチと、
   を備えることを特徴とする固体撮像素子。
2. 前記画素は、
   一端が前記アンプに接続されたフォトダイオードと、
   前記フォトダイオードの前記一端にゲートが接続されたトランジスタと、
   を有し、
   前記トランジスタの出力は輝度画像読出回路に接続されていることを特徴とする請求項１に記載の固体撮像素子。
3. 請求項１又は２に記載の固体撮像素子と、
   前記パルス光を出射する光源と、
   前記第１キャパシタ及び第２キャパシタの出力から前記パルス光が照射される物体までの距離を演算する演算回路と、
   を備えたことを特徴とする距離画像測定装置。

Images