JP2016527787A - 画素飽和を回避する方法 - Google Patents

画素飽和を回避する方法 Download PDF

Info

Publication number
JP2016527787A
JP2016527787A JP2016524847A JP2016524847A JP2016527787A JP 2016527787 A JP2016527787 A JP 2016527787A JP 2016524847 A JP2016524847 A JP 2016524847A JP 2016524847 A JP2016524847 A JP 2016524847A JP 2016527787 A JP2016527787 A JP 2016527787A
Authority
JP
Japan
Prior art keywords
pixel
reset
detector
voltage
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016524847A
Other languages
English (en)
Other versions
JP6170618B6 (ja
JP6170618B2 (ja
Inventor
オリビエ ブルテール、
オリビエ ブルテール、
トーマス フィナテュー、
トーマス フィナテュー、
デル テンペル、 ワード ファン
デル テンペル、 ワード ファン
Original Assignee
ソフトキネティック センサー エヌブイ
ソフトキネティック センサー エヌブイ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソフトキネティック センサー エヌブイ, ソフトキネティック センサー エヌブイ filed Critical ソフトキネティック センサー エヌブイ
Publication of JP2016527787A publication Critical patent/JP2016527787A/ja
Application granted granted Critical
Publication of JP6170618B2 publication Critical patent/JP6170618B2/ja
Publication of JP6170618B6 publication Critical patent/JP6170618B6/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/587Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H04N25/621Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels for the control of blooming
    • H04N25/623Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels for the control of blooming by evacuation via the output or reset lines
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14643Photodiode arrays; MOS imagers
    • H01L27/14654Blooming suppression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

本発明は、各々がノードを有する画素のグループにおける画素飽和を回避する方法に関連する。基準電圧が予め定められ、予め定められた基準電圧と比較される画素の1つだけのノードで電圧が変動すると、グループの画素の全ての同期リセットが行われる。

Description

本発明は、高ダイナミックレンジCMOS画素及び関連するセンサの分野に関連する。詳細には、本発明は、画素の飽和を検出し、回避することで、入射光に対する画素のロバストさを向上させることに関連する。ロバストさによって、光量の機能を達成する画素の性能が示される。
イメージセンサは、光束などの衝突する電磁放射を取得し、電子信号に変換するデバイスである。デジタルイメージングにおいて、APS(Active-Pixel Sensor)が最もよく使用されている。APSは、画素センサのアレイを含むIC(Integrated Circuit)を含み、画素の各々はフォトダイオード及びアクティブアンプを含む。APSには多くのタイプがあり、その中の1つが、例えば、携帯電話のカメラもしくはウェブカメラに最もよく使用されているCMOS(Complementary Metal Oxide Semiconductor)APSである。イメージセンサはCCD(Charge-Coupled Device)イメージセンサの代替として進出してきた。
APSにおいて、フォトダイオードは入射光に敏感である。より詳細には、フォトダイオードは入射光を電荷に変換し、電荷は所与の露光時間の間積算され、画素内で増幅電圧に変換される。この電圧は連続アナログ物理量であり、アナログデジタル変換手段により電圧振幅を表すデジタル値に変換され得る。フォトダイオードのカソードの端子は、カソードに付着されているノードであり、デテクタ(detector)ノードともいう。APS画素を例示する図1にデテクタノード(20)を示す。このノードの電圧は増幅手段として使用されるトランジスタを経由して画素出力に向けて変換される。画素を特徴付ける効果を有する重要な数字はフィルファクタともいう。画素領域全体において、光に敏感な領域部分の割合を示す。図2は、一般的な画素領域を示し、画素領域は感光性領域1及び回路領域2に分割される。
標準的な画素の主な欠点の1つは入射光が非常に強く、及び/もしくは露光時間が非常に長い場合、潜在的な飽和が生じることである。飛行時間(ToF:Time of Flight)技術を用いた距離撮像システムにおいて、例えば、飛行時間カメラシステムは飛行時間及び制御された光源によって射出され、シーンからオブジェクトによって反射される光パルス信号の位相を分析することで距離情報を提供し、標準的な反射特性を有するオブジェクトが撮像システムが較正される距離レンジに近い場合、飽和が生じ得る。この場合、オブジェクトは射出光を非常に多く反射し、これにより、センサの画素の少なくともいくつかは最大値で応答することになる。画素が敏感となるように設計された波長領域でオブジェクトが鏡面反射特性を示す場合、例えば、シーンにおいて鏡が全入射光を反射する場合にシーンを撮像するセンサで画素が受け取る場合、オブジェクトが入射光を反射しセンサの部分に収束させる場合、もしくは、外部光源が同一の波長領域で強い照明を射出する場合に強い照明のために設計されたToFカメラがセンサを照明している場合などに、飽和は生じ得る。画素が飽和すると、提供され得る最大電圧値で提供される応答がフラットになるため、シーンに関する意味のある情報が失われ、これにより、画像の焼損領域、ブルーミングエフェクトなどの画像のアーチファクトもしくは欠陥が生じる。さらに、所定の応用、例えば、ToF技術における深度情報の計算は、距離計測値を導出するために、複数の取得値から位相シフトベース計算を行う。画素飽和が積算時間の間に生じる場合、デテクタノードの電圧は対応する取得値が損なわれる飽和レベルに到達する。これにより、より詳細には、異なる不可位相の中間の相対的な電圧増幅判定が行われ、結果として、深度計測値及び対応する深度マップはこれ以上判定されない。深度マップは、通常、これらの位相差計算処理から直接導出されるためである。
飽和の問題を解消するために、いくつかの電子回路、例えば、ラッチ及び/もしくはメモリポイントを含む(後述する)シュミットトリガを用いたHDR(High Dynamic Range:高ダイナミックレンジ)もしくはWDR(Wide Dynamic Range:ワイドダイナミックレンジ)が標準的な画像センサにおいて提案されている。センサは、よく調整された複数の取得値もしくは空間的に変動する露光などの技術によって設計されている。また、CMOS APS毎に論理回路が追加され、これにより、センサの効率的な感度領域が狭くなり、したがって、フィルファクタが非常に低くなり、効率的なToF撮像要件を満たさない。他の解決策は、対数画素を有する回路を用いることである。このような画素回路は画素に衝突する光量の対数関数である電圧レベルを生成する。これは、線形タイプの画素を使用する多くのCMOSもしくはCCDタイプ画像センサとは異なる。しかしながら、対数画素はよく知られた圧縮問題を引き起こし、追加的な計算処理を要求するので、対数画素の使用は必要なデータを計算する後処理を非常に複雑化する。
本発明の目的は、飽和を回避することによって、入射光に対する画素のロバストさを向上させることである。
上記目的を達成するために、本発明は、まず、請求項1に記載の方法に関連する。
本発明は、詳細には、アクティブな赤外線変調光照射が高周波数で駆動され、測定される照射信号がシーンに共存する周囲の光に、もしくは、シーンのオブジェクトの反射率及び距離の変動に、影響される飛行時間撮像のコンテキストに応用される。
同期リセット画素を利用することで、画素グループの飽和を回避し、したがって、画像アーチファクトを回避することができる、という効果を有する。
本発明では、積算時間の間、画素の飽和を回避することにより、電荷が移動すること、及び、関連するブルーミングエフェクトアーチファクトで、リセットなしで飽和を示す画素の近隣画素が損なわれることを回避することができる、という効果を有する。
さらに、画素の飽和を回避することで、本発明は、ブルーミングエフェクト及び関連する画像アーチファクトにセンサが影響されることを回避することができる。
本発明では、複数の画素で飽和回路を共有することで、フィルファクタが高く維持され、回路の追加は限定される、という、効果を有する。
同期リセット画素を利用することで、画素デテクタノードの電圧振幅によって搬送される情報は、飽和によって損なわれず、ノード間で、相対的な振幅及び/もしくは位相差を計算することを可能にする。ToF撮像コンテキストの結果として、データ測定値は維持され、距離情報の判定を可能とする。
本発明では、画素の全てのリセットは、調整可能な周期及び/もしくはデューティ比を有するパルス、クロックもしくはパルス波であってよいイネーブル信号によって、所与の積算時間TINT内で少なくとも一度許可される、という効果を有する。
好ましくは、高ダイナミックレンジ測定の絶対値が推定されてもよい。積算時間の各々の間、トリガされ得る同期リセットの回数から、もしくは、最後の同期リセットがトリガされ、個々の画素ノードからの非飽和デテクタノード電圧と組み合わされた時間から、積算時間全体の間、受信した入射光に対応する電圧の絶対値の合計を推定してもよい。
本発明は、また、請求項18の同期リセット画素装置及び請求項19の撮像装置にも関する。
本発明によれば、飽和を回避することによって、入射光に対する画素のロバストさを向上させることができる。
フォトダイオード3、リセットトランジスタ4、増幅手段として使用されるトランジスタ5、及び画素選択トランジスタ6を含む標準的な3トランジスタAPS(Active Pixel Sensor)を例示する。 感光領域1及び回路領域2に分割された一般的な画素領域を例示する。 入射光なしで、4画素のグループのノードでの一般的な電圧降下を例示する。 強い入射光ありで、図3と同一の画素のグループのノードでの電圧降下を例示する。 標準的なコンパレータの効果(A)、シュミットトリガの効果(B)及び入力信号(U)を例示する。 4個の3トランジスタAPS7、8、9、10、最低電圧デテクタ(Lowest Voltage Detector)ブロック11、コンパレータ(comparator)12及び3トランジスタAPSの各々に付加された追加トランジスタ13を含む同期リセット画素を例示するブロック図である。 図6で露光された、コンパレータを含む同期リセット画素のタイミングチャートを例示する。 図6と同一であるが、コンパレータに接続されたENCOMPピン14が追加されている、同期リセット画素のブロック図を例示する。 INT−TENの有効積算時間による、図8で提示した同期リセット画素を参照するタイミングチャートを例示する。 INTの積算時間による、図8に提示された同期リセット画素を参照するタイミングチャートである。 図6と同一であるが、コンパレータ及び最低電圧デテクタの双方に接続されたENCOMPピン14が追加されている同期リセット画素のブロック図を例示する。 INT−TENの有効積算時間による、図11に提示された同期リセット画素を参照するタイミングチャートを例示する。 図11と同一であるが、ENCOMPピン14のパルスがクロックに置き換えられ2回の飽和が発生する同期リセット画素のタイミングチャートを例示する。 図11と同一であるが、ENCOMPピン14のパルスが調整可能な基準電圧及び調整可能なクロック周期を有するクロックに置き換えられた同期リセット画素のタイミングチャートを例示する。 SRSTを禁止するためにSTOP_SRST信号が使用される同期リセット画素のタイミングチャートを例示する。 図11と同一であるが、ENCOMPピン14のパルスが一定周期のクロックと置き換えられ、ENSRST信号が調整可能なクロック周期を有する、同期リセット画素を例示する。 2つの緑画素、1つの青画素、1つの赤画素を有する標準的なBayerマトリックスを例示する。 図17と同一であるが、緑画素の1つが飽和デテクタ(Saturation Detector)として動作する同期リセット画素によって置き換えられたマトリックスを例示する。 9画素のグループ毎に1つの同期リセット画素を有する深度感知画素マトリックスを例示する。 5画素のグループ毎に1つの同期リセット画素を有する深度感知画素マトリックスを例示する。 4画素のグループにわたって共有される1つの同期リセット論理を有する深度感知画素マトリックスを例示する。領域は感光領域15、関連する画素回路領域16及び共有同期リセット論理領域17に分割される。
本発明の上記以外の効果及び新規性のある特徴は、添付の図面を参照する以下の詳細な説明からより明確となる。
本発明は、以下の記載及び添付の図面からより適切に理解される。
本発明は、HDR(High Dynamic Range)画素システムとして分類され得る同期リセット画素及び同期リセット画素に関連する方法に関する。画素は少なくとも1つのフォトダイオードを含んでいてもよく、フォトダイオードの各々はデテクタノードを有する。本発明によれば、ローカル画素グループをリセットすることができ、リセットにより露光の間に積算された電荷を画素のデテクタノードから放出することができる。リセットのトリガは、電荷に対応する電圧の1つが所定の閾電圧値に到達することである。これにより、積算時間の前、もしくは、積算時間の最後にデテクタノードが飽和レベルに到達することを回避する。原理は、所与の積算時間の間に、少なくとも一度所定の閾電圧値への到達を検出するコンパレータベース論理回路に依存する。論理は、比較タスクに関わるシリコン領域を最小とし、感知タスクを効率的に保護するようにフィルファクタを高い値に維持するために画素グループによって共有される。比較タスクは詳細に予め定められた発生のシリーズに関して何回か(例えば、Tint/2、3Tint/4、7Tint/8)実行され得るので、論理によれば、所与の積算時間の間に複数回のリセットが可能である。画素の少なくとも1つが、上記所定の閾電圧値によって与えられる「飽和を示す電圧」に到達すると、論理は、画素グループを同時にリセットするか否か判定する。信頼可能な位相差及び深度推定値を計算するために、複数の非飽和振幅計測値を収集すべきToF撮像環境において、本発明のシステム及び方法は、衝突信号位相及び衝突信号相対値などの信頼可能な情報を提供することができるので、特によく適している。本発明は追加的な「リセットカウント回路」及びリセットカウンタを用いて積算時間の間に収集された信号の振幅の合計を判定する方法を含み得るので、最近の衝突信号絶対値が推定され得る。
記載を簡潔にするために、本開示はToF測定値における3D画像センサでの深度を計算することに関して記載するが、後述するように、本発明は深度の計算に限定されるものではない。本発明は、画素の飽和が回避されるべき任意のタイプのセンサに有用である。以下の実施例では、コンパレータ(比較手段)12として、シュミットトリガを使用する例について説明するが、本発明はシュミットトリガの使用に限定されない。コンパレータ12は、例えば、連続時間コンパレータもしくはクロックコンパレータ、CMOSインバータもしくは単安定などの、最低電圧検出ブロック11の出力からパルス信号を生成することができる任意の種類の回路であってよい。
さらに、同期リセット比較機能に対処するために、最低電圧検出ブロックは、図1に例示する3つのトランジスタ(3T)のAPSの最低電圧をサーチするために使用されてもよい。この場合、図3及び図4に例示するように、デテクタの電圧は、VRESETから接地電圧に向けて降下する。明らかに、デテクタの電圧が、供給するために、VRESETから上昇する場合、最高電圧デテクタブロックを参照することができる。
ToFカメラシステムは、光源からオブジェクトへの飛行時間もしくはオブジェクトから戻る飛行時間を分析することによって、オブジェクトまでの距離に関する情報を提供することが知られている。これらのシステムにおいて、シーンは変調された光、通常は、パルスによって照射される。この信号は、次に、オブジェクトで反射して戻り、画像を形成するレンズによって収集される。カメラからオブジェクトまでの距離に応じて、変調光が射出されてからカメラが反射を受け取るまでの間に遅延が生じる。この遅延、もしくは位相は、時間及び連続的なパルスに伴って導出すことができ、この遅延は、シーンにおけるオブジェクトの距離の直接的測定値を決定するために使用される。したがって、センサから取得される信頼できる非飽和信号測定データをもつことは必須である。
図3は、入射光なしで、ToF撮像装置におけるデテクタノード(フォトダイオードのカソード)の波形対時間を例示する。積算もしくは露光時間TINTが開始する前に、初期電圧状態かつ適切電圧状態に全てのデテクタノードをリセットするために、RESET信号が高い状態に維持される。RESET信号が解除され、積算時間が開始する。積算もしくは露光時間TINTの最後に、デテクタの何れも飽和しておらず、また、深度情報が計算可能である。
一方、図4は図3と同様のセットアップであるが、強い入射光がある場合について例示している。デテクタノードDET2、DET1及びDETで、積算時間TINTが終了する前に電圧は急速に降下する。これらの3つのデテクタノードは飽和し、対応する画素の積算時間の最後に収集される絶対値は損なわれ、意味を有さない。損なわれることにより、入力光信号を表す現実の絶対測定値を表さないので、判定された電圧値は信頼できない。結果として、画素の相対的な振幅、関連する位相情報も損なわれ、深度情報を計算することはできない。
図1は、フォトダイオード3、リセットトランジスタ4、ソースフォロワリードアウトトランジスタ5及び選択トランジスタ6を含む、標準的なCMOS 3−T APS(CMOS 3-Ttansistors Active Pixel Sensor)を例示する。リセットトランジスタ4がオンされると、フォトダイオード3が電源VDDに直接接続され、集積された電荷が放出される。ソースフォロワリードアウトトランジスタ5は、積算された電荷を除去することなく、画素電圧を観測することができる増幅手段として動作する。選択トランジスタ6は読み出し回路による単一列の画素アレイの読出しを可能とする。高いフィルファクタを達成するために、フォトダイオード3の領域感光度は高くしなければならないが、トランジスタ4、5及び6を含む回路面積はできるだけ低減しなければならない。
理解を容易にするために、本発明の実施例で使用される特定の電子回路はシュミットトリガを導入すべきである。非反転構成において、シュミットトリガは正のフィードバックを有し、1を超えるループゲインを有する回路である。シュミットトリガはヒステリシスを有する比較回路と同等であり得る。
図5は、所与の入力信号Uでの標準的なコンパレータA及びシュミットトリガBの効果を比較する。非反転シュミットトリガを用いると、入力が所定の選択された閾値より高い場合、出力は高くなる。入力が異なる(低い)選択された閾値より低い場合、出力は低く、入力が2つのレベルの間である場合、出力は値を維持する。この二重の閾値動作は、ヒステリシスといわれ、シュミットトリガがメモリを処理し、双安定回路として動作し得るように実装する。比較すると、標準的なコンパレータは単一の閾値しか有さず、その出力は図5のAで示されるように、閾値との比較によって切り替えられる。
図6は、各々が少なくとも1つのデテクタノードを有する4画素を扱う同期リセット画素を有する本発明の第1実施例を示す。4個のCMOS 3−T APS7、8、9、10が存在し、最低電圧検出ブロック11は4個の入力を有し、コンパレータ12及び1個のトランジスタ13が3−T APSの各々に付加されている(したがって、合計4個のトランジスタが付加されている。)。3−T APSのフォトダイオードは同一である必要はない。最低電圧デテクタ11は4個のAPSのデテクタノードの検出値DET0、DET1、DET2及びDET3を入力する。ここで、コンパレータ12はDETxと基準電圧VREFを比較するコンパレータか、もしくは、VREFと等しい低検出閾値を有するシュミットトリガか、もしくは、単安定などの最低電圧検出ブロックの出力からパルス信号を生成することができる任意の種類の回路であってよい。トランジスタ13のリセット機能は、専用論理回路もしくは3−T APSのリセットトランジスタの再利用によって達成され得る。
図7は、図6に示される同期リセット画素のタイミングチャートを例示する。最低電圧デテクタ11及びコンパレータ12を追加したことで、積算時間TINTの後も画素は飽和しない。実際、画素電圧の1つがVREF電圧に到達するとすぐに、SRST信号が高くなり、全ての画素をリセットする。したがって、画素の飽和は回避される。
図8は、本発明の第2の実施例である、コンパレータ12に接続されたENCOMPピン14が追加された同期リセット画素のブロック図を例示する。ENCOMPピン13は短い積算時間(TINT−TEN)を定義するために追加された。実際、ENCOMPパルスの前に基準信号と出会ったデテクタは、積算周期をより短い時間で再開し、露光時間TINTの最後までこれらの画素は飽和しない。TENはプログラマブルであり、画素飽和を回避するように設定されるべきである。ENCOMP信号のハイレベルはかなり短くてよいが、画素を完全にリセットする程度に長いべきである。
図9は、図8に示される、最低電圧デテクタ11及びコンパレータ12、並びにENCOMPピン14を含む、同期リセット画素のタイミングチャートを例示する。コンパレータ12は、ENCOMP信号がハイに設定された場合、出力を切り替えることができるだけである。ENCOMP信号がローである場合、画素は追加の回路が存在しないかのように飽和することができる。
SRST_CNT信号が追加され、SRST信号にパルスが出現するとすぐに、ハイに設定される。ENCOMP信号及びSRST_CNT信号により、積算時間を容易に計算することができる。露光の最後に、FLAG信号がハイであれば積算時間は(TINT−TEN)であり、FLAG信号がローであれば積算時間はTINTである。図9及び図10は、双方の場合を例示する。
SRST_CNT信号は1ビットカウンタと看做されてもよい。
基本的な1ビットカウンタの代わりに、飽和検出回路をnビットカウンタに埋め込むことが可能であり、出力として情報を搬送することが可能である。このようなカウンタを使用すると、各々の相対値に加えて、デテクタ(画素)毎の絶対値が既知となる。
この実施例において、シュミットトリガの代わりにコンパレータもしくはインバータを使用することによって、リセットレベルが初期のリセットレベルと同一であり得るように、ENCOMPピンのハイレベル期間が選択されてもよい。同期リセットの間VRESETに到達しないようなシュミットトリガ閾値の制限が解消される。
第3の実施例を図11に示す。図11は、最低電圧デテクタ11及びコンパレータ12の双方に接続されたENCOMPピン14を追加した同期リセット画素のブロック図を例示する。
図12は図9と同じ入力状態を示す。最低電圧デテクタ11及びコンパレータ12に接続されたENCOMPピン14に電荷だけが存在する。ENCOMP信号がハイである場合だけ、DETxはDET0、DET1、DET2、DET3の中の最低電圧をコピーする。SRST及びSRST_CNT信号の出力は双方の構成で同一である。
第2及び第3の実施例によれば、ENCOMP信号がハイに設定されている場合、最低電圧検出及び比較が行われるだけなので電流を節約することが可能となる。実際、コンパレータ12はアナログ「電圧コンパレータ」として動作し、消費電流は入力電圧とリンクされる。ENCOMPピン14に加えた場合、コンパレータ12、及び場合によっては最低電圧デテクタ、はENCOMPピン14がない場合と比較してわずかな時間電流を消費するだけである。ENCOMPピンはほとんどの時間使用されていないためである。
第4の実施例を図13に示す。図13において、ENCOMP信号は単一のパルスの代わりにクロック信号に置き換えられている。クロックはパルストレインと看做されてもよく、これにより、比較処理の頻度が高くなる。この実施例は、画素デテクタノードの間の相対的な電圧差だけを必要とし、電圧振幅値を必要としない応用に適していている。このような応用は、例えば、上記された深度計算であってよい。
図13において、2つの飽和が生じ、第1のSRSTパルスが出現するとすぐにSRST_CNT信号が1になる。この例において、SRSTパルスが2つ存在するため1ビットカウンタでは不十分である。しかしながら、2ビットカウンタの統合は、適切な数のSRSTイベントを検出するために十分である。DETノードの間の相対的な電圧は適切であるが、振幅の絶対値は2ビットカウンタの支援なしでは適切ではない。ToFにおいて、所与の相対的な測定値が画素毎の深度値を推定するために十分適している。
図13で提案した同期リセット画素で取得される、第5実施例の最適化タイミングチャートを図14に例示する。積算時間の間、2つのパラメータ(ENCOMP信号周期及びVREF電圧)が変更されている。ENCOMP周期は、TからT/16まで変動する。基準周期TはTINTの半分であってよく、基準電圧VREFはVRESET/2からVRESET/32まで1/2の倍率で変動する。この変動は積算時間の最後に信号振幅を最適化することを目的とする。この変動は最適化され、画素のノードで電圧が線形に降下することに基づいている。生成されたENCOMP周期の最小はT/16より低く、基準電圧は理想的には0に近い。この記述は、基準電圧VREFについても有効である。ENCOMP周期及び基準電圧値はシンプルになるように選択され、明瞭さのために提示されたが、他のいくつかの構成(値の各々に定数オフセットを加える、ゲインを加える、など)を同様の機能に導くために採用してもよいことは明らかである。
第6実施例を図15に例示する。この実施例において、基準電圧は変動せず、VRESET/2に維持される。ENCOMP信号周期は変動する。SRST信号はハイである場合に、全てのデテクタノードをリセットする。しかしながら、信号STOP_SRST信号が追加され、STOP_SRST信号がハイである場合、SRST信号は禁じられる。ENCOMP信号がハイである場合、ノードDETxが基準電圧VREFよりも低い場合、STOP_SRST信号はローに設定され、ノードDETxが基準電圧VREFより高い場合、ハイに設定される。例えば、図15において、当初、STOP_SRSTはRESET信号のためにローに設定されている。次に、時間T1で、ENCOMP信号の最初のパルスが発生され、DETxはVREFより低いので、STOP_SRSTはローに維持され、SRSTはリセットのトリガとなる。時間T2においては、時間T1の条件と同様であり、SRST信号はパルスを発生する。しかしながら、時間T3において、DETxはVREFよりも高いため、STOP_SRST信号はSRSTパルスを禁じるハイに設定される。STOP_SRST信号がハイに転じると、積算時間TINTが終了するまで、ハイのままである。積算時間TINTの間ずっと入射光が一定であると仮定すればデテクタは飽和しない。
クロック周期及び電圧基準の他の構成によっても、上記と同様の結果を得ることができる。実用的には、基準電圧を判定するために余裕が付加される。例えば、当初のVREFはVREST/2±VOFFSETであってよい。図16に第7実施例を示す。図15の実施例と比較して、何れのノードも飽和しないという利点を有する。したがって、どのようなブルーミングエフェクトも回避することができる。ブルーミングエフェクトは、デテクタノードの少なくとも1つが飽和した場合、即ち、関連する画素のウェル容量がいっぱいになり、余剰のフォトンが近傍の画素のウェルに電荷を移動させた場合に、誘発され得る。この実施例において、変動しない基準電圧が使用され、基準電圧はVRESET/2に維持される。ENCOMP信号は一定周期のクロックとして使用される。周期がTからT/16まで1/2ずつ変動する信号であるENSRSTといわれる他の信号が存在し、基準周期TはTINTの半分であってよい。
ENCOMP信号がハイであり、STOP_SRST信号がローである場合、最低電圧デテクタはイネーブルであり、DETxはデテクタノードの中の最低電圧を再びコピーする。ENCOMP信号がハイであり、STOP_SRST信号がローである場合、DETx信号が基準電圧VREFより低ければ、SRST信号はハイに設定され、全てのデテクタノードはリセットされる。一方、ENCOMP信号がハイであり、STOP_SRST信号がローである場合、DETx信号が基準電圧VREFよりも高ければ、SRST信号はローに設定される。SRST信号がハイに設定されると、ENSRST信号にパルスが受信されるまで、ハイのままである。STOP_SRSTがハイであれば、最低電圧デテクタはイネーブルではなく、DETxはデテクタノードの中の最低電圧をコピーしない。STOP_SRSTは積算時間の初めにローに設定される。SRSTがローである場合に、ENSRSTにパルスが発生すると、ハイに設定される。ハイに設定されると、積算時間の最後までハイのままである。したがって、積算時間が終了するまで、デテクタノードは飽和しない。
例えば、図16において、T1では、DETxが基準信号VREFよりも低いので、SRSTはハイに設定される。したがって、DETノードはリセットされ、デテクタノードの何れかが飽和し、画素のウェルが満たされる可能性が回避され、ブルーミングエフェクトを回避することができる。SRSTは、時間T2で生じるENSRSTパルスを受信するまでハイのままである。時間T2で、他の積算フェーズが発生し、SRSTがハイであるため、STOP_SRSTはローのままである。次に、時間T3で、他の飽和が検出され、SRSTは再度ハイに設定される。SRSTは、時間T4で、ENSRSTパルスによって解除され、積算フェーズが再度開始され、STOP_SRSTはローのままである。時間T4及びT5の間で飽和が検出されなかったので、時間T5において、ENSRSTはSRSTを解除しなくてもよい。SRSTがローであるため、STOP_SRSTはハイに設定される。したがって、積算は、積算時間TINTの最後まで継続される。
クロック周期及び電圧基準の他の構成も上記と同様の結果を導くことができる。実用的には、基準電圧に余裕が付加されてもよい。例えば、初期VREFはVRESET/2+VOFFSETであってよい。
さらに好ましい実施例では、本システム及び方法はHDRの環境で実装されてもよい。HDRでは、ノードレベルで入射光の実際の絶対値を計測または推定することが必要とされる。本方法及び装置によれば、有効で、意味を有し、信頼できる、積算時間の最後に測定された光に対応する電圧振幅を取得することができる。積算時間の間に行われたリセットの回数を追跡するために論理にカウンタを関連付けることによって、HDR実装に適した電圧振幅の絶対値を計測または取得することが可能となる。
ノードにおいて電圧降下が線形であり、入射光パワーが時間に対して一定であることを考慮すると、高ダイナミックレンジ測定の絶対値は以下に対応する。
●ノードでの最終電圧振幅測定値の合計に基準電圧と同期リセット電圧との差に同期リセット回数を乗算した値に対応する電圧振幅値を加えた値。もしくは、
●カウントされた同期リセットの回数が既知である場合、最終積算時間(積算時間のよく知られたわずかな時間)に取得された最後の電圧振幅測定値の補外値
明瞭にするため、本開示は、ToF測定における3D画像センサの深度を計算する例について説明したが、これに限定されるものではない。
上記した同期リセット画素は、ToF撮像装置以外の従来の撮像装置にも適用可能である。例えば、図17及び図18は、提案した発明が、標準的なBayerマトリックス(図17)もしくはFoveonベース色感知アーキテクチャもしくは他の光取得感知システムなどの色画素マトリックスに適用可能であることを示す。例えば、標準的なBayerマトリックスベース色センサにおいて、図18に例示するように、通常の第2の緑画素は、他の色画素、青、緑及び赤の飽和を検出するために同期リセット画素と置き換えられてもよい。緑画素の強さを増大するために及び第2の緑画素の損失を補填するために、撮像処理技術のいくつかは、例えば、ライトパイプ、量子ドットフィルムもしくはマイクロレンズなどを適用されてもよい。
「深度」撮像装置において、提案した同期リセット画素システム及び方法は、2つのあり得る画素構成を描写する図19及び図20に例示するように使用されてもよい。画素の各々が、複数のデテクタノードと、デテクタノードで飽和が検出された場合、少なくとも個々の画素のノードでリセットするためにノードの電圧を比較する同期リセット回路と、を有するインピクセルアーキテクチャの実施例に拡張することができる。例えば、上記実施例の近傍の画素は、ブルーミングエフェクトからシステムを保護するためにリセットされてもよい。提案した同期リセット画素は、隣接する入射光を監視し、もしくはグループ全体の自身の入射を監視する。前者の場合、隣接する画素の1つが飽和すると、グループ全体が同時にリセットされる。後者の場合、中央の画素が飽和すると、グループ全体が同時にリセットされる。図19において、同期リセット画素(SAT DET)が9画素のグループに1つ配置され、図20において、同期リセット画素(SAT DET)が5画素のグループに1つ配置されている。
また、同期リセット論理は、ダミー画素に埋め込まれる必要はない。図2の回路領域2の部分であってもよい。同期リセット論理は、また、図21に例示されるように、回路領域内に統合されてもよい。図21は特定の構成を示すが、他の構成も可能であることは明らかである。

Claims (20)

  1. 積算時間TINTの間、画素のグループの画素飽和を回避する方法であって、
    前記画素の各々は、デテクタ(3)及びデテクタノード(20)を有し、
    前記画素の飽和に到達しない基準電圧を予め決定し、
    前記積算時間の間、画素の各々の前記デテクタノードの電圧と、予め定めた前記基準電圧と、を比較し、
    前記画素の1つだけの前記デテクタノード(20)の電圧が予め定めた前記基準電圧に到達した場合、前記グループの全ての画素の前記デテクタを同期リセットする、
    方法。
  2. 前記積算時間TINTの間、全ての画素の前記デテクタのリセットは、少なくとも1つの承認信号によって承認される、請求項1に記載の方法。
  3. 前記承認信号は、全ての画素の前記デテクタのリセットを一度だけ承認するイネーブル信号(ENCOMP)である、請求項2に記載の方法。
  4. 前記承認信号は、全ての画素の前記デテクタのリセットを承認する画素クロック信号である、請求項2に記載の方法。
  5. 前記画素クロック信号は、前記積算時間TINTの間、変動する周期を有する、請求項4に記載の方法。
  6. 前記画素クロック信号の可変周期は、デテクタノードの電圧が予め定められた前記基準電圧に到達したとき、画素の全ての前記デテクタのリセットをイネーブルにする連続的な発生を形成するために所定のファクタαによって連続的に減少する、
    請求項5に記載の方法。
  7. 前記所定のファクタαが2であり、
    画素クロック信号の前記可変周期が、所定の離散有限数になるまで、順次、TINT/2、TINT/4、TINT/8、TINT/16、TINT/32となる、
    請求項6に記載の方法。
  8. 閾電圧値は可変電圧である、請求項1〜請求項7の何れか1項に記載の方法。
  9. 前記閾電圧値のレベルは所定のファクタβによって連続的に減少する、請求項8に記載の方法。
  10. 所定のファクタβは2であり、可変の前記閾電圧値のレベルが、所定の離散有限数になるまで、順次、VRESET、VRESET/2、VRESET/4、VRESET/8、VRESET/16、VRESET/32となる、
    請求項8に記載の方法。
  11. 前記同期リセットは、飽和に到達しない場合、前記積算時間の最後まで、STOPリセット信号(STOP_SRST)によって禁じられる、請求項1〜請求項7の何れか1項に記載の方法。
  12. イネーブル信号(ENCOMP)は、イネーブルリセット(ENSRST)パルスが受信されるまで、画素の前記デテクタのリセットを維持する、請求項3〜請求項11の何れか1項に記載の方法。
  13. 信号リセットカウンタ(SRST_CNT)は、少なくとも1つの飽和が発生した場合、ハイに設定される、請求項1〜請求項11の何れか1項に記載の方法。
  14. 信号リセットカウンタ(SRST_CNT)は、飽和の発生回数をカウントするnビットカウンタである、請求項12に記載の方法。
  15. 画素の前記グループは少なくとも2つの画素を含む、請求項1〜請求項13の何れか1項に記載の方法。
  16. 1)前記積算時間の最後の前記画素のデテクタノードの電圧、及び、2)飽和の発生回数、に基づいて、高ダイナミックレンジ測定値の絶対値を推定する、請求項13または請求項14に記載の方法。
  17. 1)前記積算時間の最後の前記画素のデテクタノードの電圧、及び、2)前記積算時間の間、最後のリセットが発生した発生時間、に基づいて、高ダイナミックレンジ測定値の絶対値を推定する、請求項1〜請求項16の何れか1項に記載の方法。
  18. 画素の各々が、デテクタノード(20)、リセットトランジスタ(4)、ソースフォロワリードアウトトランジスタ(5)及び選択トランジスタ(6)に接続された、光を感知するデテクタ(3)を含む、画素のグループと、
    画素のデテクタノード(20)の各々で電圧の変化を感知し、飽和画素を出力する、少なくとも1つの電圧デテクタ(11)と、
    画素の飽和が到達しない所定の閾電圧値を有し、所定の閾電圧値と、画素のデテクタノード(20)の電圧と、を比較する、比較手段と、
    所与の積算時間TINTの間、画素の前記デテクタのリセットを承認する手段と、
    前記積算時間TINTの間、飽和の発生回数をカウントする手段と、
    を含む、
    請求項1〜請求項17の何れか1項の方法を実装する同期リセット画素装置。
  19. 請求項18に記載の同期リセット画素装置と、
    前記同期リセット画素装置に接続された画素のマトリックスと、
    を含む、撮像装置。
  20. 飛行時間測定値のための手段、をさらに含む、請求項19に記載の撮像装置。

JP2016524847A 2013-11-15 2014-10-10 画素飽和を回避する方法 Expired - Fee Related JP6170618B6 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP13193068.7 2013-11-15
EP13193068.7A EP2874388B1 (en) 2013-11-15 2013-11-15 Method for avoiding pixel saturation
PCT/EP2014/071799 WO2015071034A1 (en) 2013-11-15 2014-10-10 Method for avoiding pixel saturation

Publications (3)

Publication Number Publication Date
JP2016527787A true JP2016527787A (ja) 2016-09-08
JP6170618B2 JP6170618B2 (ja) 2017-07-26
JP6170618B6 JP6170618B6 (ja) 2017-09-13

Family

ID=

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001054022A (ja) * 1999-08-13 2001-02-23 Nippon Hoso Kyokai <Nhk> 固体撮像装置
JP2006523074A (ja) * 2003-04-11 2006-10-05 カネスタ インコーポレイテッド センサのダイナミックレンジを差分拡大する方法及びシステム
JP2008523695A (ja) * 2004-12-07 2008-07-03 ブライト・イメージング・リミテッド 輝度分散が大きい場面を撮像する方法および装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001054022A (ja) * 1999-08-13 2001-02-23 Nippon Hoso Kyokai <Nhk> 固体撮像装置
JP2006523074A (ja) * 2003-04-11 2006-10-05 カネスタ インコーポレイテッド センサのダイナミックレンジを差分拡大する方法及びシステム
JP2008523695A (ja) * 2004-12-07 2008-07-03 ブライト・イメージング・リミテッド 輝度分散が大きい場面を撮像する方法および装置

Also Published As

Publication number Publication date
CN105409204A (zh) 2016-03-16
CN105409204B (zh) 2019-07-12
US20160330391A1 (en) 2016-11-10
US10027910B2 (en) 2018-07-17
BE1022491B1 (fr) 2016-05-04
WO2015071034A1 (en) 2015-05-21
KR20160034887A (ko) 2016-03-30
EP2874388A1 (en) 2015-05-20
JP6170618B2 (ja) 2017-07-26
KR101760223B1 (ko) 2017-07-31
EP2874388B1 (en) 2019-05-15

Similar Documents

Publication Publication Date Title
US10027910B2 (en) Method for avoiding pixel saturation
US10838066B2 (en) Solid-state imaging device, distance measurement device, and distance measurement method
US10498991B2 (en) High dynamic range pixel and a method for operating it
JP5107442B2 (ja) 高ダイナミックレンジ画像センサ検知アレイのためのシステム及び方法
TWI625972B (zh) 具有類比計數器元件的數位單位胞元
US9894300B2 (en) Image sensing device for measuring temperature without temperature sensor and method for driving the same
KR102063038B1 (ko) 플럭스 레이트 유닛 셀 초점면 어레이
CN112005543A (zh) 用于异步基于时间的图像感测的系统和方法
JP6362511B2 (ja) 撮像装置及びその制御方法
US20140340528A1 (en) Imaging apparatus and method of controlling the same
WO2018180660A1 (ja) 固体撮像装置
CN107205147B (zh) 检测超过传感器饱和的量
JP6170618B6 (ja) 画素飽和を回避する方法
Kim et al. An image sensor with in-pixel selective-charge-subtraction circuits for selective light detection
US20150334317A1 (en) High dynamic range array of sensitive image sensor blocks using block processing
JP6320132B2 (ja) 撮像システム
JP2021025810A (ja) 距離画像センサ、および距離画像測定装置
JP2017216513A (ja) 撮像素子および撮像装置
JP2013538532A (ja) 露光差を測定するための方法および装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160629

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170221

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20170301

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170302

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170515

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170606

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170630

R150 Certificate of patent or registration of utility model

Ref document number: 6170618

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees