JP2015192341A - 撮像システム - Google Patents

Abstract

【課題】簡単な構成で被写体までの距離を算出するための画素信号を生成することができる撮像システムを提供することを課題とする。
【解決手段】撮像システムは、行列状に配置され、光電変換により電荷を生成する複数の光電変換素子と、前記複数の光電変換素子の上にそれぞれ設けられる複数のカラーフィルタと、前記複数の光電変換素子の電荷をそれぞれ転送するための複数の転送スイッチと、被写界に光を投射する発光素子とを有し、前記複数の転送スイッチは、前記発光素子が光を投射している期間とオーバーラップするタイミングでオン状態になり、前記発光素子が投射する光の色に応じて、オン／オフ状態が異なることを特徴とする。
【選択図】図７

Description

本発明は、撮像システムに関する。

近年、被写体に赤外光を投射し、その反射光を撮像装置で受光することで、被写体距離を算出する方法が提案されている。光の速度は、３×１０ｍ／ｓである。これが既知であるので、光源より対象物に向かってパルス光を放ち、対象物からはね返ってきた反射光を受け、そのパルス光の遅れ時間を計測することで、対象物までの距離を測定することができる。ＴＯＦ（Ｔｉｍｅ−Ｏｆ−Ｆｌｉｇｈｔ）法とは、このパルス光の飛行時間を測定することで、対象物までの距離を測る方法である。遅れ時間計測範囲に対する距離計測範囲を読み取ることができ、例えば遅れ時間計測範囲が１μｓであり、遅れ時間計測分解能が、１ｎｓのものができれば、１５０ｍの範囲を１５ｃｍの分解能で測定でき、車載用の距離センサとして利用可能である。

この原理を応用し、電荷振り分け方式の画素構造を有するＣＭＯＳ型固体撮像装置を用いて、２次元の距離画像を取得する技術が提案されている（例えば、特許文献１参照）。具体的には、照射パルス光が物体に反射して、遅れて到達する反射パルス光の先行部分に対応する信号成分と後行部分に対応する信号成分をスイッチで振り分ける。これらの信号を画素毎に検出し、先行部分と後行部分の比率を求めることにより、画素毎の距離情報を得ることができる。

さらに、ＴＯＦ法でフォトダイオードの開口率を低下させない方法として、偶数行と奇数行で転送タイミングを変えることで、異なる画素出力を用いて距離情報を得る方法が提案されている（例えば、特許文献２参照）。

特開２００４−２９４４２０号公報 特開２０１０−２１３２３１号公報

通常、画像を生成するための固体撮像装置は、画素上に赤（Ｒ），緑（Ｇ），青（Ｂ）のカラーフィルタがベイヤ状に配置される。特許文献２では、偶数行画素の信号と奇数行画素の信号を用いて、距離情報を得るようにしている。しかし、これでは色違いの画素出力を用いることになり、正確な距離情報を得るために、後段の処理回路が複雑になる課題がある。また、１つのフローティングディフュージョン部を偶数行画素と奇数行画素で共有しているため、ほぼ同時に転送される信号を保持するためのメモリが別途必要になる。また、通常の撮像システムには、パッシブ型の専用のセンサで、位相差検出により焦点検出情報を生成させる手段を有しているが、一般的に暗い状況では精度が落ちる課題がある。

本発明の目的は、簡単な構成で被写体までの距離を算出するための画素信号を生成することができる撮像システムを提供することである。

本発明の撮像システムは、行列状に配置され、光電変換により電荷を生成する複数の光電変換素子と、前記複数の光電変換素子の上にそれぞれ設けられる複数のカラーフィルタと、前記複数の光電変換素子の電荷をそれぞれ転送するための複数の転送スイッチと、被写界に光を投射する発光素子とを有し、前記複数の転送スイッチは、前記発光素子が光を投射している期間とオーバーラップするタイミングでオン状態になり、前記発光素子が投射する光の色に応じて、オン／オフ状態が異なることを特徴とする。

投射する光の色に応じて、反射光を効率よく用いることにより、簡単な構成で被写体までの距離を算出するための高精度の画素信号を得ることができる。これにより、被写体までの距離を高精度で算出することができる。

画素の構成例を示す図である。 固体撮像装置の構成例を示す図である。 読み出し部の構成例を示す図である。 画素のレイアウト図である。 読み出し駆動を説明するためのタイミングチャートである。 被写体距離情報を生成可能な撮像システムを説明するための図である。 ＴＯＦ法における駆動方法を示すタイミングチャートである。 画素出力を説明するための図である。 ＴＯＦ法における駆動方法を示すタイミングチャートである。 画素出力を説明するための図である。 ＴＯＦ法における駆動方法を示すタイミングチャートである。 画素出力を説明するための図である。 読み出し部の構成例を示す図である。

（第１の実施形態）
図１は、本発明の第１の実施形態による画素１００の構成例を示す図である。フォトダイオード１０１は、光電変換により電荷を生成する光電変換素子であり、アノードが接地されている。フォトダイオード１０１のカソードは、転送ＭＯＳトランジスタ（転送スイッチ）１０２を介して、フローティングディフュージョンＣｆｄ及び増幅ＭＯＳトランジスタ１０４のゲートに接続されている。増幅ＭＯＳトランジスタ１０４のゲートは、フローティングディフュージョンＣｆｄをリセットするためのリセットＭＯＳトランジスタ１０３のソースが接続されている。リセットＭＯＳトランジスタ１０３のドレインは、電源電圧ＶＤＤのノードに接続されている。増幅ＭＯＳトランジスタ１０４は、ドレインが電源電圧ＶＤＤのノードに接続され、ソースが選択ＭＯＳトランジスタ１０５のドレインに接続されている。

転送ＭＯＳトランジスタ１０２のゲートには、信号ＰＴＸが入力される。転送ＭＯＳトランジスタ１０２は、信号ＰＴＸに応じて、フォトダイオード１０１の電荷をフローティングディフュージョンＣｆｄ及び増幅ＭＯＳトランジスタ１０４のゲートに転送する。リセットＭＯＳトランジスタ１０３のゲートには、信号ＰＲＥＳが入力される。リセットＭＯＳトランジスタ１０３は、信号ＰＲＥＳに応じて、フローティングディフュージョンＣｆｄ及びフォトダイオード１０１の電荷をリセットする。選択ＭＯＳトランジスタ１０５のゲートには、信号ＰＳＥＬが入力される。選択ＭＯＳトランジスタ１０５は、信号ＰＳＥＬに応じて、増幅ＭＯＳトランジスタ１０４のソースを端子ＯＵＴに接続する。端子ＯＵＴは、図３の垂直出力線３０１に接続される。増幅ＭＯＳトランジスタ１０４は、選択ＭＯＳトランジスタ１０５を介して、図３の垂直出力線３０１の負荷の電流源３０２に接続されることで、ソースフォロワアンプとして機能する。なお、信号ＰＲＥＳ及びＰＳＥＬは、それぞれ、図２の垂直走査部２０２により生成される。

図２は、ＣＭＯＳ型固体撮像装置２００の構成例を示す図である。固体撮像装置２００は、画素部２０１、垂直走査部２０２、読み出し部２０３、水平走査部２０４及び読み出しアンプ１５０を有する。画素部２０１は、２次元行列状に配置された複数の画素１００（図１）を有し、光学系により結像された光学像を受光する。垂直走査部２０２は、信号ＰＴＸ、ＰＳＥＬ及びＰＴＸにより、画素部２０１内の画素１００の行を順に選択する。水平走査部２０４は、画素部２０１内の画素の列を順に選択する。これにより、画素部２０１内の複数の画素は、順に選択される。読み出し部２０３は、垂直走査部２０２及び水平走査部２０４によって選択される画素１００の信号を読み出しアンプ１５０に読み出す。なお、固体撮像装置２００は、上記の各回路にタイミング信号を提供するタイミングジェネレータ等を備えても良い。

図３は、図１の画素１００及び図２の読み出し部２０３の一部の構成例を示す図である。画素１００＿００は、第０行第０列の画素１００である。画素１００＿０１は、第０行第１列の画素１００である。画素１００＿０２は、第０行第２列の画素１００である。画素１００＿０３は、第０行第３列の画素１００である。画素１００＿１０は、第１行第０列の画素１００である。画素１００＿１１は、第１行第１列の画素１００である。画素１００＿１２は、第１行第２列の画素１００である。画素１００＿１３は、第１行第３列の画素１００である。８個の画素１００＿００〜１００＿１３は、画素部２０１内で２次元行列状に配置される。８個の画素１００＿００〜１００＿１３の例を説明するが、実際にはより多数の画素１００が配置されている。各列の画素１００の出力端子ＯＵＴは、列毎に配置された垂直出力線３０１及び電流源３０２に共通に接続されている。電流源３０２は、垂直出力線３０１の負荷である。

信号ＰＴＸ＿００〜ＰＴＸ＿１３は、それぞれ、画素１００＿００〜１００＿１３の転送ＭＯＳトランジスタ１０２のゲートに入力される信号ＰＴＸである。信号ＰＳＥＬ＿０は、第０行の画素１００＿００，１００＿０１，１００＿０２，１００＿０３の選択ＭＯＳトランジスタ１０５のゲートに入力される信号ＰＳＥＬである。

増幅アンプ３０３は、垂直出力線３０１に読み出された信号を増幅する。保持容量３０６は、スイッチ３０４を介して、増幅アンプ３０３の出力信号を保持する。保持容量３０７は、スイッチ３０５を介して、増幅アンプ３０３の出力信号を保持する。スイッチ３０４は、図５の信号ＰＴＮにより駆動され、保持容量３０６は画素１００のリセット状態の信号（Ｎ信号）を保持する。また、スイッチ３０５は、図５の信号ＰＴＳにより駆動され、保持容量３０７は画素１００の光電変換に基づく信号（Ｓ信号）を保持する。保持容量３０６及び３０７の各列の信号は、水平走査部２０４によって、読み出しアンプ１５０の入力端子に順次転送される。読み出しアンプ１５０は、保持容量３０７のＳ信号と保持容量３０６のＮ信号の差分を出力する。

図４は、画素１００＿００〜１００＿１３のレイアウト図である。画素１００＿００〜１００＿１３は、それぞれ、半導体層に、フォトダイオード１０１、転送ＭＯＳトランジスタ１０２及びフローティングディフュージョンＣｆｄを有し、その直上にマイクロレンズ４０１が配置される。また、フォトダイオード１０１の上には、カラーフィルタ層がベイヤ配列されている。画素１００＿００及び１００＿０２には、赤色（Ｒ）のカラーフィルタが配置される。画素１００＿０１及び１００＿０３には、緑色（Ｇｒ）のカラーフィルタが配置される。画素１００＿１０及び１００＿１２には、緑色（Ｇｂ）のカラーフィルタが配置される。画素１００＿１１及び１００＿１３には、青色（Ｂ）のカラーフィルタが配置される。

図５は、固体撮像装置２００の第１のモードにおける駆動方法を示すタイミングチャートであり、被写体を撮像するためにフォトダイオード１０１に蓄積された信号を１画面分、読み出す駆動方法を示す。横軸は、時間の経過を示しており、その時刻をＴ１〜Ｔ１３で示している。信号ＨＤがローレベルからハイレベルになることで、垂直走査部２０２による画素選択行が切り替わる。また、信号ＨＤの位相は、選択行の信号ＰＳＥＬの位相を示している。また、各パルス信号はハイレベルで対応するトランジスタをオンさせる。さらに、第０行の同一行の転送ＭＯＳトランジスタ１０２は、２列毎の信号ＰＴＸ＿００，ＰＴＸ＿０１と信号ＰＴＸ＿０２，ＰＴＸ＿０３により駆動される。第１行の同一行の転送ＭＯＳトランジスタ１０２は、２列毎の信号ＰＴＸ＿１０，ＰＴＸ＿１１と信号ＰＴＸ＿１２，ＰＴＸ＿１３により駆動される。時刻Ｔ１以前では、フォトダイオード１０１は、光電変換により生成した電荷の蓄積を行っている。

時刻Ｔ１では、信号ＨＤ、ＰＴＳ、ＰＴＮがローレベルであり、信号ＰＲＥＳがハイレベルである。次に、時刻Ｔ２では、信号ＨＤ（ＰＳＥＬ）がローレベルからハイレベルになることで、垂直走査部２０２により第０行が選択される。具体的には、第０行の信号ＰＳＥＬ＿０がローレベルからハイレベルになり、第０行の選択ＭＯＳトランジスタ１０５がオンし、第０行の増幅ＭＯＳトランジスタ１０４が垂直出力線３０１に接続される。このとき、信号ＰＲＥＳはハイレベルであり、全画素１００のリセットＭＯＳトランジスタ１０３がオンし、フローティングディフュージョンＣｆｄはリセット状態である。

次に、時刻Ｔ３〜Ｔ４では、信号ＰＴＳ及びＰＴＮがハイレベルになり、スイッチ３０４及び３０５がオンし、保持容量３０６及び保持容量３０７はリセットされる。

次に、時刻Ｔ５では、信号ＰＲＥＳがローレベルになり、全画素１００のリセットＭＯＳトランジスタ１０３がオフし、フローティングディフュージョンＣｆｄのリセット状態が解除される。

次に、時刻Ｔ６〜Ｔ７では、信号ＰＴＮが再びハイレベルになり、スイッチ３０４がオンし、画素１００のリセット状態解除後の出力信号（Ｎ信号）が保持容量３０６に保持さる。

次に、時刻Ｔ８〜Ｔ９では、信号ＰＴＸ＿００，ＰＴＸ＿０１及び信号ＰＴＸ＿０２，ＰＴＸ＿０３がハイレベルになる。これにより、第０行の全画素１００＿００〜１００＿０３では、転送ＭＯＳトランジスタ１０２がオンし、フォトダイオード１０１の電荷がフローティングディフュージョンＣｆｄに転送される。また、時刻Ｔ８〜Ｔ１０では、信号ＰＴＳが再びハイレベルになり、スイッチ３０５がオンし、第０行の画素１００＿００〜１００＿０３の光電変換に基づく出力信号（Ｓ信号）が保持容量３０７に保持される。

次に、時刻Ｔ１０〜Ｔ１１の期間では、水平走査部２０４により、保持容量３０６及び３０７に保持された信号が順次読み出しアンプ１５０の入力端子に転送される。読み出しアンプ１５０は、保持容量３０７のＳ信号と保持容量３０６のＮ信号の差分を出力する。

次に、時刻Ｔ１１では、信号ＰＲＥＳがハイレベルになり、全画素１００のリセットＭＯＳトランジスタ１０３がオンし、フローティングディフュージョンＣｆｄがリセットされる。

時刻Ｔ１１〜Ｔ１２では、信号ＨＤ及びＰＳＥＬ＿０がローレベルになり、第０行の選択ＭＯＳトランジスタ１０５がオフし、第０行の増幅ＭＯＳトランジスタ１０４が垂直出力線３０１から切断される。

次に、時刻Ｔ１２では、信号ＨＤ及びＰＳＥＬ＿１がローレベルからハイレベルになり、第１行の選択ＭＯＳトランジスタ１０５がオンし、第１行の増幅ＭＯＳトランジスタ１０４が垂直出力線３０１から切断される。時刻Ｔ２〜Ｔ１２と同様に、第１行の画素１００＿１０〜１００＿１３の読み出しが行われる。この際、第０行の信号ＰＴＸ＿００〜ＰＴＸ＿０３の代わりに、第１行の信号ＰＴＸ＿１０〜ＰＴＸ＿１３の信号がハイレベルになり、第１行の画素１００＿１０〜１００＿１３の転送ＭＯＳトランジスタ１０２がオンする。上記の処理を全行について順次行い、１画面分の全ての画素１００の信号の読み出しを行うことができる。これにより、被写体を撮像するための１画面分の画素信号が得られる。

図６は、第２のモードにおいて、固体撮像装置２００を用いてＴＯＦ（Ｔｉｍｅ−Ｏｆ−Ｆｌｉｇｈｔ）法による被写体距離情報（距離画像）を生成可能な撮像システム（カメラ）の構成例を示す図である。撮影レンズ６０１は、被写界からの光を固体撮像装置２００に集光する。発光素子（投光手段）６０２は、被写界に対して、『Ｒ色』、『Ｇ色』、『Ｂ色』のパルス光を投射（照射）する。タイミング発生回路６０３は、固体撮像装置２００及び発光素子６０２を駆動する。発光素子６０２は、信号ＬＥＤ＿Ｒ＿ＰＬＳがハイレベルになることにより、『Ｒ色』の光を被写界に対して投射する。また、発光素子６０２は、信号ＬＥＤ＿Ｇ＿ＰＬＳがハイレベルになることにより、『Ｇ色』の光を被写界に対して投射する。また、発光素子６０２は、信号ＬＥＤ＿Ｂ＿ＰＬＳがハイレベルになることにより、『Ｂ色』の光を被写界に対して投射する。距離算出部６０４は、発光素子６０２から投射された光が被写体に反射して固体撮像装置２００で受光されるまでの時間を測定することで、撮像システムから被写体までの距離情報（距離画像）を算出する。発光素子６０２は、赤色、緑色及び青色の光を選択的に投射可能である。図４の複数の画素１００＿００〜１００＿１３のカラーフィルタは、発光素子６０２が投射する赤色、緑色及び青色の光と略同一色のカラーフィルタを有する。

図７は、固体撮像装置２００の第２のモードにおける駆動方法を示すタイミングチャートであり、１画面分の被写体距離情報を生成するための駆動方法を示す。このタイミングチャートでは、発光素子６０２が『Ｒ色』の光を投射してその反射光を『Ｒ色』のフィルタを有する画素１００で受光する、または、発光素子６０２が『Ｂ色』の光を投射してその反射光を『Ｂ色』のフィルタを有する画素１００で受光する。これにより、１画面分の被写体までの距離を測定する。

まず、時刻Ｔ１では、信号ＨＤ、ＰＴＳ及びＰＴＮがローレベルであり、信号ＰＲＥＳがハイレベルである。次に、時刻Ｔ２では、信号ＨＤ及びＰＳＥＬ＿０がハイレベルになり、第０行の選択ＭＯＳトランジスタ１０５がオンし、第０行の増幅ＭＯＳトランジスタ１０４が垂直出力線３０１に接続される。このとき、信号ＰＲＥＳはハイレベルであり、全画素１００のリセットＭＯＳトランジスタ１０３がオンし、フローティングディフュージョンＣｆｄはリセット状態である。また、時刻Ｔ２〜Ｔ３では、信号ＰＴＸ＿００，ＰＴＸ＿０１及び信号ＰＴＸ＿０２，ＰＴＸ＿０３がハイレベルになり、第０行の全画素１００＿００〜１００＿０３では、転送ＭＯＳトランジスタ１０２がオンし、フォトダイオード１０１の電荷がリセットされる。

次に、時刻Ｔ４〜Ｔ５では、信号ＰＴＳ及びＰＴＮがハイレベルになり、スイッチ３０４及び３０５がオンし、保持容量３０６及び保持容量３０７がリセットされる。

次に、時刻Ｔ６では、信号ＰＲＥＳがローレベルになり、全画素１００のリセットＭＯＳトランジスタ１０３がオフし、フローティングディフュージョンＣｆｄのリセット状態が解除される。

次に、時刻Ｔ７〜Ｔ８では、信号ＰＴＮが再びハイレベルになり、スイッチ３０４がオンし、画素１００のリセット状態解除後の出力信号（Ｎ信号）が保持容量３０６に保持さる。

次に、時刻Ｔ９〜Ｔ１１の期間では、信号ＰＴＸ＿００及びＰＴＸ＿０１がハイレベルになる。これにより、画素１００＿００及び１００＿０１では、転送ＭＯＳトランジスタ１０２がオンし、フォトダイオード１０１の電荷がフローティングディフュージョンＣｆｄに転送される。

次に、時刻Ｔ１１〜Ｔ１３の期間では、信号ＰＴＸ＿０２及びＰＴＸ＿０３がハイレベルになる。これにより、画素１００＿０２及び１００＿０３では、転送ＭＯＳトランジスタ１０２がオンし、フォトダイオード１０１の電荷がフローティングディフュージョンＣｆｄに転送される。

また、時刻Ｔ１０〜時刻Ｔ１２の期間では、信号ＬＥＤ＿Ｒ＿ＰＬＳがハイレベルになり、発光素子６０２は『Ｒ色』の光を被写界に向けて投射する。

その後、時刻Ｔ１４〜Ｔ１５では、信号ＰＴＳが再びハイレベルになり、スイッチ３０５がオンし、第０行の画素１００＿００〜１００＿０３の光電変換に基づく出力信号（Ｓ信号）が保持容量３０７に保持される。

次に、時刻Ｔ１５〜Ｔ１６の期間では、水平走査部２０４により、保持容量３０６及び３０７に保持された信号が順次読み出しアンプ１５０の入力端子に転送される。読み出しアンプ１５０は、保持容量３０７のＳ信号と保持容量３０６のＮ信号の差分を出力する。

ここで、発光素子６０２が『Ｒ色』の光を被写界に向けて投射しその反射光が固体撮像装置２００で受光される期間のうち、時刻Ｔ９〜Ｔ１１内の一部の期間に画素１００＿００及び１００＿０１のフォトダイオード１０１が受光する。また、時刻Ｔ１１〜Ｔ１３内の一部の期間に画素１００＿０２及び１００＿０３のフォトダイオード１０１が受光する。図４に示すように、画素１００＿００及び１００＿０２は、フォトダイオード１０１上に『Ｒ色』のカラーフィルタが配置されているので、投射光が『Ｒ色』の場合に、信号の強度が非常に高くなる。一方、画素１００＿０１及び１００＿０３は、フォトダイオード１０１上に『Ｇ色』のカラーフィルタが配置されているので、光電変換の効率は悪い。

つまり、第０行の画素１００＿００〜１００＿０３から読み出されたＳ信号及びＮ信号の差分信号のうち、画素１００＿００及び１００＿０２のフォトダイオード１０１の出力信号に所定の演算を行う。これにより、『Ｒ色』で投射された光の反射光を効率よく用いて被写体距離を算出することができる。

ＴＯＦ（Ｔｉｍｅ−Ｏｆ−Ｆｌｉｇｈｔ）法による被写体距離情報の生成方法を説明する。時刻Ｔ９〜Ｔ１３の間に被写界に光を投射し、その反射光を受光する際、２個の画素１００＿００及び１００＿０２のフォトダイオード１０１の電荷を時分割に取り出す。撮像システム内の距離算出部６０４（図６）は、２個の画素１００＿００及び１００＿０２の出力信号を比較することで、撮像システムから被写体までの距離を算出することができる。

次に、時刻Ｔ１６では、信号ＰＲＥＳがハイレベルになり、全画素１００のリセットＭＯＳトランジスタ１０３がオンし、フローティングディフュージョンＣｆｄがリセットされる。

時刻Ｔ１６〜Ｔ１７では、信号ＨＤ及びＰＳＥＬ＿０がローレベルになり、第０行の選択ＭＯＳトランジスタ１０５がオフし、第０行の増幅ＭＯＳトランジスタ１０４が垂直出力線３０１から切断される。

次に、時刻Ｔ１７では、信号ＨＤ及びＰＳＥＬ＿１がローレベルからハイレベルになり、第１行の選択ＭＯＳトランジスタ１０５がオンし、第１行の増幅ＭＯＳトランジスタ１０４が垂直出力線３０１に接続される。

また、時刻Ｔ１７では、信号ＰＴＸ＿１０，ＰＴＸ＿１１及び信号ＰＴＸ＿１２，ＰＴＸ＿１３がハイレベルになり、第１行の全画素１００＿１０〜１００＿１３では、転送ＭＯＳトランジスタ１０２がオンし、フォトダイオード１０１の電荷がリセットされる。

次に、時刻Ｔ４〜Ｔ５の期間と同様に、信号ＰＴＳ及びＰＴＮがハイレベルになる。次に、時刻Ｔ６と同様に、信号ＰＲＥＳがローレベルになる。次に、時刻Ｔ７〜Ｔ８の期間と同様に、信号ＰＴＮがハイレベルになる。次に、時刻Ｔ１８では、信号ＰＴＮがローレベルになる。

次に、時刻Ｔ１９〜Ｔ２１の期間では、信号ＰＴＸ＿１０及びＰＴＸ＿１１がハイレベルになる。これにより、画素１００＿１０及び１００＿１１では、転送ＭＯＳトランジスタ１０２がオンし、フォトダイオード１０１の電荷がフローティングディフュージョンＣｆｄに転送される。

次に、時刻Ｔ２１〜Ｔ２３の期間では、信号ＰＴＸ＿１２及びＰＴＸ＿１３がハイレベルになる。これにより、画素１００＿１２及び１００＿１３では、転送ＭＯＳトランジスタ１０２がオンし、フォトダイオード１０１の電荷がフローティングディフュージョンＣｆｄに転送される。

また、時刻Ｔ２０〜時刻Ｔ２２の期間では、信号ＬＥＤ＿Ｂ＿ＰＬＳがハイレベルになり、発光素子６０２は『Ｂ色』の光を被写界に向けて投射する。

その後、時刻Ｔ２４では、信号ＰＴＳが再びハイレベルになり、スイッチ３０５がオンし、第１行の画素１００＿１０〜１００＿１３の光電変換に基づく出力信号（Ｓ信号）が保持容量３０７に保持される。次に、水平走査部２０４により、保持容量３０６及び３０７に保持された信号が順次読み出しアンプ１５０の入力端子に転送される。読み出しアンプ１５０は、保持容量３０７のＳ信号と保持容量３０６のＮ信号の差分を出力する。

ここで、発光素子６０２が『Ｂ色』の光を被写界に向けて投射しその反射光が固体撮像装置２００で受光される期間のうち、時刻Ｔ１９〜Ｔ２１内の一部の期間に画素１００＿１０及び１００＿１１のフォトダイオード１０１が受光する。また、時刻Ｔ２１〜Ｔ２３内の一部の期間に画素１００＿１２及び１００＿１３のフォトダイオード１０１が受光する。図４に示すように、画素１００＿１１及び１００＿１３は、フォトダイオード１０１上に『Ｂ色』のカラーフィルタが配置されているので、投射光が『Ｂ色』の場合に、信号の強度が非常に高くなる。一方、画素１００＿１０及び１００＿１２は、フォトダイオード１０１上に『Ｇ色』のカラーフィルタが配置されているので、光電変換の効率は悪い。

つまり、第１行の画素１００＿１０〜１００＿１３から読み出されたＳ信号及びＮ信号の差分信号のうち、画素１００＿１１及び１００＿１３のフォトダイオード１０１の出力信号に所定の演算を行う。これにより、『Ｂ色』で投射された光の反射光を効率よく用いて被写体距離を算出することができる。

上記の第１行の処理を終えた後、上記の第０行の処理と同様に、第２行の処理を行う。その後、上記の第１行の処理と同様に、第３行の処理を行う。偶数行の処理と奇数行の処理を全行について順次行い、１画面分の全ての画素１００の読み出しを行う。１画面分の被写体距離情報が得られる。

図８（ａ）及び（ｂ）は、図７のタイミングチャートで駆動させたときの画素の出力信号のイメージを示す図であり、各行毎にハッチで示した２個の画素１００のフォトダイオード１０１の信号を用いて、被写体距離の算出を行う。例えば、図８（ａ）では、『Ｒ色』の光を投射した時に用いる『Ｒ色』のカラーフィルタのフォトダイオード１０１をハッチで示している。図８（ｂ）では、『Ｂ色』の光を投射した時に用いる『Ｂ色』のカラーフィルタのフォトダイオード１０１をハッチで示している。すなわち、２行のうちの１行で、４列中の同色の２列の画素１００の出力信号を用いる。このように、１画面において、１×４画素毎に１つの距離情報（距離画像）を得ることができる。

図９は、図７に対応し、固体撮像装置２００の第２のモードにおける駆動方法を示すタイミングチャートであり、１画面分の被写体距離情報を生成するための駆動方法を示す。このタイミングチャートでは、発光素子６０２が『Ｇ色』の光を投射してその反射光を『Ｇ色』のフィルタを有する画素１００で受光することで、被写体までの距離を測定する場合を示す。図９と図７との違いは、時刻Ｔ１０〜時刻Ｔ１２の期間、及び時刻Ｔ２０〜時刻Ｔ２２の期間で、信号ＬＥＤ＿Ｂ＿ＰＬＳがハイレベルになり、発光素子６０２が『Ｇ色』の光を被写界に向けて投射している点である。以下、図９が図７と異なる点を説明する。

時刻Ｔ１０〜時刻Ｔ１２の期間では、発光素子６０２が『Ｇ色』の光を被写界に向けて投射しその反射光が固体撮像装置２００で受光される期間のうち、時刻Ｔ９〜Ｔ１１内の一部の期間に画素１００＿００及び１００＿０１のフォトダイオード１０１が受光する。また、時刻Ｔ１１〜Ｔ１３内の一部の期間に画素１００＿０２及び１００＿０３のフォトダイオード１００が受光する。図４に示すように、画素１００＿０１及び１００＿０３は、フォトダイオード１０１上に『Ｇ色』のカラーフィルタが配置されているので、投射光が『Ｇ色』の場合に、信号の強度が非常に高くなる。一方、画素１００＿００及び１００＿０２は、フォトダイオード１０１上に『Ｒ色』のカラーフィルタが配置されているので、光電変換の効率は悪い。

つまり、第０行の画素１００＿００〜１００＿０３から読み出されたＳ信号及びＮ信号の差分信号のうち、画素１００＿０１及び１００＿０３の出力信号に所定の演算を行う。これにより、『Ｇ色』で投射された光の反射光を効率よく用いて、被写体距離を算出することができる。

同様に、時刻Ｔ２０〜時刻Ｔ２２の期間に『Ｇ色』の光を被写界に向けて投射しその反射光が固体撮像装置２００で受光される期間のうち、時刻Ｔ１９〜Ｔ２１内の一部の期間に画素１００＿１０及び１００＿１１のフォトダイオード１０１が受光する。また、時刻Ｔ２１〜Ｔ２３内の一部の期間に画素１００＿１２及び１００＿１３のフォトダイオード１０１が受光する。図４に示すように、画素１００＿１０及び１００＿１２は、フォトダイオード１０１上に『Ｇ色』のカラーフィルタが配置されているので、投射光が『Ｇ色』の場合に、信号の強度は非常に高くなる。一方、画素１００＿１１及び１００＿１３は、フォトダイオード１０１上に『Ｂ色』のカラーフィルタが配置されているので、光電変換の効率は悪い。

つまり、第１行の画素１００＿１０〜１００＿１３から読み出されたＳ信号及びＮ信号の差分信号のうち、画素１００＿１０及び１００＿１２の出力信号に所定の演算を行う。これにより、『Ｇ色』で投射された光の反射光を効率よく用いて、被写体距離を算出することができる。

上記の第１行の処理を終えた後、上記の第０行の処理と同様に、第２行の処理を行う。その後、上記の第１行の処理と同様に、第３行の処理を行う。偶数行の処理と奇数行の処理を全行について順次行い、１画面分の全ての画素１００の読み出しを行う。

図１０は、図９のタイミングチャートで駆動させたときの画素出力のイメージを示す図であり、発光素子６０２が『Ｇ色』の光を投射した時に、各行毎にハッチで示した２個の画素のフォトダイオードの信号を用いて、被写体距離の算出を行う。すなわち、毎行の４列中の同色の２列の画素１００の出力信号を用いる。このように、１画面において１×４画素毎に１つの距離情報（距離画像）を得ることができる。

以上のように、第１の実施形態によれば、被写体を撮像するための１画面分の画素信号を得られるとともに、投射された光の色に応じて反射光を効率よく用いることで、１画面において１×４画素毎に１つの距離情報（距離画像）を得ることができる。

次に、第１の実施形態の応用例を説明する。固体撮像装置２００を用いた撮像システムにおいて、通常は、パッシブ型の専用のセンサで位相差検出により焦点検出情報を生成しながら撮影レンズ６０１を駆動し、被写体にピントを合わせ、図５のタイミングチャートで駆動することで、被写体を撮像する。

周囲環境が暗く、パッシブ型の専用のセンサで位相差検出による焦点検出が困難な場合は、図６〜図１０で説明したＴＯＦ法により距離情報（距離画像）を取得し、撮影レンズ６０１を駆動して、被写体にピントを合わせる。この際、図５のタイミングチャートで駆動することで、被写体を撮像する。

さらに、ＴＯＦ法による距離情報（距離画像）の取得時は、被写体の色に応じて、投射光色を変えて、対応する駆動方式で駆動を行うことで、効率的に距離情報を取得することができる。このような動作を行うことで、ピント合わせができる明るさの範囲を広げることが可能である。

（第２の実施形態）
図１３は、図３に対応し、本発明の第２の実施形態による画素１００及び読み出し部２０３の一部の構成例を示す図である。ここでは、２×２個の画素１００＿００，１００＿０１，１００＿１０，１００＿１１を例に説明する。実際には、より多くの画素１００が配置されている。以下、図１３が図３と異なる点を説明する。第０列の画素１００＿００及び１００＿１０に対して２本の垂直出力線３０１ａ及び３０１ｂが設けられ、奇数行の画素１００＿１０は垂直出力線３０１ａに接続され、偶数行の画素１００＿００は垂直出力線３０１ｂに接続される。同様に、第１列の画素１００＿０１及び１００＿１１に対して２本の垂直出力線３０１ａ及び３０１ｂが設けられ、奇数行の画素１００＿１１は垂直出力線３０１ａに接続され、偶数行の画素１００＿０１は垂直出力線３０１ｂに接続される。図３と同様に、垂直出力線３０１ａ及び３０１ｂは、それぞれ、増幅アンプ３０３に接続される。保持容量３０６は、スイッチ３０４を介して、増幅アンプ３０３の出力端子に接続される。保持容量３０７は、スイッチ３０５を介して、増幅アンプ３０３の出力端子に接続される。すなわち、本実施形態は、図７及び図９のタイミングチャートにおける１行分の動作で、２行分の画素１００の出力信号を得ることができる。

図１１は、図９に対応し、固体撮像装置２００の第２のモードにおける駆動方法を示すタイミングチャートであり、１画面分の被写体距離情報を生成するための駆動方法を示す。このタイミングチャートでは、発光素子６０２が『Ｇ色』の光を投射してその反射光を『Ｇ色』のフィルタを有する画素１００で受光することで、被写体までの距離を測定する場合を示す。

以下、図１１が図９と異なる点を説明する。時刻Ｔ２から時刻Ｔ１７までで２行分の画素１００の読み出しを行っており、同一行の転送ＭＯＳトランジスタ１０２は同一のタイミングで駆動されている。

時刻Ｔ２〜Ｔ３では、信号ＰＴＸ＿００〜ＰＴＸ＿１３がハイレベルになり、全画素１００＿００〜１００＿１３で、転送ＭＯＳトランジスタ１０２がオンし、フォトダイオード１０１の電荷がリセットされる。また、時刻Ｔ２〜Ｔ１６では、信号ＰＳＥＬ＿０及びＰＳＥＬ＿１がハイレベルになり、第０行の画素１００＿００〜１００＿０２及び第１行の画素１００＿１０〜１００＿１３で、選択ＭＯＳトランジスタ１０５がオンする。

時刻Ｔ７〜Ｔ８では、第０行及び第１行の信号ＰＴＮがハイレベルになり、第０行及び第１行の画素１００＿００〜１００＿１３のリセット状態解除後の出力信号（Ｎ信号）が保持容量３０６に保持さる。

時刻Ｔ９〜Ｔ１１の期間では、信号ＰＴＸ＿００，ＰＴＸ＿０１及び信号ＰＴＸ＿１０，ＰＴＸ＿１１がハイレベルになる。これにより、画素１００＿００，１００＿０１，１００＿１０，１００＿１１では、転送ＭＯＳトランジスタ１０２がオンし、フォトダイオード１０１の電荷がフローティングディフュージョンＣｆｄに転送される。

時刻Ｔ１１〜Ｔ１３の期間では、信号ＰＴＸ＿０２，ＰＴＸ＿０３及び信号ＰＴＸ＿１２，ＰＴＸ＿１３がハイレベルになる。これにより、画素１００＿０２，１００＿０３，１００＿１２，１００＿１３では、転送ＭＯＳトランジスタ１０２がオンし、フォトダイオード１０１の電荷がフローティングディフュージョンＣｆｄに転送される。

また、時刻Ｔ１０〜Ｔ１２の期間では、信号ＬＥＤ＿Ｇ＿ＰＬＳがハイレベルになり、発光素子６０２が『Ｇ色』の光を被写界に向けて投射する。

その後、時刻Ｔ１４〜Ｔ１５では、信号ＰＴＳがハイレベルになり、第０行及び第１行の画素１００＿００〜１００＿１３の光電変換に基づく出力信号（Ｓ信号）が保持容量３０７に保持さる。

その後、時刻Ｔ１５〜Ｔ１６の期間では、水平走査部２０４により、保持容量３０６及び３０７の信号が順次読み出しアンプ１５０の入力端子に転送される。読み出しアンプ１５０は、第０行及び第１行のＳ信号とＮ信号の差分を出力する。

上記の第０行及び第１行の処理を終えた後、時刻Ｔ１７以降で、上記の第０行及び第１行の処理と同様に、第２行及び第３行の処理を行う。

時刻Ｔ１７では、信号ＰＴＸ＿００〜ＰＴＸ＿１３がハイレベルになり、全画素で、転送ＭＯＳトランジスタ１０２がオンし、フォトダイオード１０１の電荷がリセットされる。また、時刻Ｔ１７では、信号ＰＳＥＬ＿２及びＰＳＥＬ＿３がハイレベルになり、第２行の画素１００及び第３行の画素で、選択ＭＯＳトランジスタ１０５がオンする。

時刻Ｔ１８の前では、第２行及び第３行の信号ＰＴＮがハイレベルになり、第２行及び第３行の画素のリセット状態解除後の出力信号（Ｎ信号）が保持容量３０６に保持さる。

時刻Ｔ１９〜Ｔ２１の期間では、信号ＰＴＸ＿２０，ＰＴＸ＿２１及び信号ＰＴＸ＿３０，ＰＴＸ＿３１がハイレベルになる。これにより、画素１００＿２０，１００＿２１，１００＿３０，１００＿３１では、転送ＭＯＳトランジスタ１０２がオンし、フォトダイオード１０１の電荷がフローティングディフュージョンＣｆｄに転送される。

時刻Ｔ２１〜Ｔ２３の期間では、信号ＰＴＸ＿２２，ＰＴＸ＿２３及び信号ＰＴＸ＿３２，ＰＴＸ＿３３がハイレベルになる。これにより、画素１００＿２２，１００＿２３，１００＿３２，１００＿３３では、転送ＭＯＳトランジスタ１０２がオンし、フォトダイオード１０１の電荷がフローティングディフュージョンＣｆｄに転送される。

また、時刻Ｔ２０〜Ｔ２２の期間では、信号ＬＥＤ＿Ｇ＿ＰＬＳがハイレベルになり、発光素子６０２が『Ｇ色』の光を被写界に向けて投射する。

その後、時刻Ｔ２４では、信号ＰＴＳがハイレベルになり、第２行及び第３行の画素１００＿２０〜１００＿３３の光電変換に基づく出力信号（Ｓ信号）が保持容量３０７に保持さる。

その後、水平走査部２０４により、保持容量３０６及び３０７の信号が順次読み出しアンプ１５０の入力端子に転送される。読み出しアンプ１５０は、第２行及び第３行のＳ信号とＮ信号の差分を出力する。

上記の処理を全行について順次、２行単位で行い、１画面分の全ての画素１００の信号を読み出す。

図１２は、図１１のタイミングチャートで駆動させたときの画素の出力信号のイメージを示す図であり、発光素子６０２が『Ｇ色』の光を投射した時に、各行毎にハッチで示した２個の画素１００のフォトダイオード１０１の信号を用いて、被写体距離の算出を行う。すなわち、２行２列中の同色の２個の画素の出力を用いる。このように１画面において、２×２画素毎に１つの距離情報（距離画像）を得ることができる。

以上のように、第２の実施形態によれば、被写体を撮像するための１画面分の画素信号を得られると共に、投射された光の色に応じて、反射光を効率よく用いることで、１画面において２×２画素毎に１つの距離情報（距離画像）を得ることができる。なお、上記の第１の実施形態の応用例を、本実施形態に適用することも可能である。

第１及び第２の実施形態によれば、第２のモード（図７等）では、転送ＭＯＳトランジスタ１０２は、発光素子６０２が光を投射している期間とオーバーラップするタイミングでオン状態になり、発光素子６０２が投射する光の色に応じて、オン／オフ状態が異なる。また、転送ＭＯＳトランジスタ１０２は、第１のモードでは、同一行でオン／オフ状態が同じであり、第２のモードでは、同一行であっても列によってオン／オフ状態が異なる。

行列状のフォトダイオード１０１は、第１のフォトダイオード１０１及び第１のフォトダイオード１０１に隣接する同色のカラーフィルタが設けられる第２のフォトダイオード１０１を有する。行列状の転送ＭＯＳトランジスタ１０２は、第１のフォトダイオード１０１の電荷を転送する第１の転送ＭＯＳトランジスタ１０２及び第２のフォトダイオード１０１の電荷を転送する第２の転送ＭＯＳトランジスタ１０２を有する。第２のモードでは、第１の転送ＭＯＳトランジスタ１０２がオンし、その後、発光素子６０２が光の投射を開始し、その後、第１の転送ＭＯＳトランジスタ１０２がオフし、第２の転送ＭＯＳトランジスタ１０２がオンする。その後、発光素子６０２が光の投射を終了し、その後、第２の転送ＭＯＳトランジスタ１０２がオフする。距離算出部６０４は、第１のフォトダイオード１０１の電荷及び第２のフォトダイオード１０１の電荷に応じて、被写体までの距離を算出する。第１のモード（図５）では、第１の転送ＭＯＳトランジスタ１０２及び第２の転送ＭＯＳトランジスタ１０２は、同時にオンする。

第１の実施形態（図３）では、複数の垂直出力線３０１は、複数のフォトダイオード１０１の各列に対応して設けられる。複数のフォトダイオード１０１のうちの各列のフォトダイオード１０１の電荷に応じた信号は、同一の垂直出力線３０１に出力可能である。複数のフォトダイオード１０１の電荷に応じた信号は、複数のフォトダイオード１０１の１行単位で、垂直出力線３０１に出力される。

第２の実施形態（図１３）では、複数の垂直出力線３０１ａ及び３０１ｂは、複数のフォトダイオード１０１の各列に対応し、奇数行及び偶数行で別に設けられる。複数のフォトダイオード１０１の電荷に応じた信号は、複数のフォトダイオード１０１の２行単位で、垂直出力線３０１ａ及び３０１ｂに出力される。

第１及び第２の実施形態によれば、被写体の撮像画像を得るための１画面分の画素信号を得られるとともに、投射された光の色に応じて反射光を効率よく用いることで距離算出精度を向上させた距離画像を得ることができる。また、ＴＯＦ法で取得した距離情報（距離画像）により、撮影レンズ６０１を駆動し、被写体にピントを合わせできるため、ピント合わせできる明るさの範囲を広げることが可能である。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０１ フォトダイオード、１０２，１０３，１０４，１０５ ＭＯＳトランジスタ、６０２ 発光素子

Claims (8)

1. 行列状に配置され、光電変換により電荷を生成する複数の光電変換素子と、
   前記複数の光電変換素子の上にそれぞれ設けられる複数のカラーフィルタと、
   前記複数の光電変換素子の電荷をそれぞれ転送するための複数の転送スイッチと、
   被写界に光を投射する発光素子とを有し、
   前記複数の転送スイッチは、前記発光素子が光を投射している期間とオーバーラップするタイミングでオン状態になり、前記発光素子が投射する光の色に応じて、オン／オフ状態が異なることを特徴とする撮像システム。
2. 前記複数のカラーフィルタは、ベイヤ配列であり、
   前記複数のスイッチは、同一行であっても列によってオン／オフ状態が異なることを特徴とする請求項１記載の撮像システム。
3. 前記複数の光電変換素子は、第１の光電変換素子及び前記第１の光電変換素子に隣接する同色のカラーフィルタが設けられる第２の光電変換素子を有し、
   前記複数の転送スイッチは、前記第１の光電変換素子の電荷を転送する第１の転送スイッチ及び前記第２の光電変換素子の電荷を転送する第２の転送スイッチを有し、
   前記第１の転送スイッチがオンし、その後、前記発光素子が光の投射を開始し、その後、前記第１の転送スイッチがオフし、前記第２の転送スイッチがオンし、その後、前記発光素子が光の投射を終了し、その後、前記第２の転送スイッチがオフすることを特徴とする請求項１又は２記載の撮像システム。
4. さらに、前記第１の光電変換素子の電荷及び前記第２の光電変換素子の電荷に応じて、被写体までの距離を算出する距離算出部を有することを特徴とする請求項３記載の撮像システム。
5. 第１のモード及び第２のモードを有し、
   前記第１のモードでは、
   前記第１の転送スイッチ及び前記第２の転送スイッチは、同時にオンし、
   前記第２のモードでは、
   前記第１の転送スイッチがオンし、その後、前記発光素子が光の投射を開始し、その後、前記第１の転送スイッチがオフし、前記第２の転送スイッチがオンし、その後、前記発光素子が光の投射を終了し、その後、前記第２の転送スイッチがオフすることを特徴とする請求項３又は４記載の撮像システム。
6. さらに、前記複数の光電変換素子の各列に対応して設けられる複数の出力線を有し、
   前記複数の光電変換素子のうちの各列の光電変換素子の電荷に応じた信号は、同一の出力線に出力可能であり、
   前記複数の光電変換素子の電荷に応じた信号は、前記複数の光電変換素子の１行単位で、前記出力線に出力されることを特徴とする請求項１〜５のいずれか１項に記載の撮像システム。
7. さらに、前記複数の光電変換素子の各列に対応し、奇数行及び偶数行で別に設けられる複数の出力線を有し、
   前記複数の光電変換素子の電荷に応じた信号は、前記複数の光電変換素子の２行単位で、前記出力線に出力されることを特徴とする請求項１〜５のいずれか１項に記載の撮像システム。
8. 前記発光素子は、赤色、緑色及び青色の光を選択的に投射可能であり、
   前記複数のカラーフィルタは、前記発光素子が投射する赤色、緑色及び青色の光と略同一色のカラーフィルタを有することを特徴とする請求項１〜７のいずれか１項に記載の撮像システム。

Images