JP2021526327A - 拡張されたダイナミックレンジをもつデジタルピクセル - Google Patents

拡張されたダイナミックレンジをもつデジタルピクセル Download PDF

Info

Publication number
JP2021526327A
JP2021526327A JP2020563959A JP2020563959A JP2021526327A JP 2021526327 A JP2021526327 A JP 2021526327A JP 2020563959 A JP2020563959 A JP 2020563959A JP 2020563959 A JP2020563959 A JP 2020563959A JP 2021526327 A JP2021526327 A JP 2021526327A
Authority
JP
Japan
Prior art keywords
voltage
determination
charge
photodiode
digital value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020563959A
Other languages
English (en)
Other versions
JP7292313B2 (ja
Inventor
シンチャオ リュウ,
シンチャオ リュウ,
ソン チェン,
ソン チェン,
アンドリュー サミュエル ベルコビッチ,
アンドリュー サミュエル ベルコビッチ,
ウェイ ガオ,
ウェイ ガオ,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Facebook Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Facebook Technologies LLC filed Critical Facebook Technologies LLC
Publication of JP2021526327A publication Critical patent/JP2021526327A/ja
Application granted granted Critical
Publication of JP7292313B2 publication Critical patent/JP7292313B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/42Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44Electric circuits
    • G01J1/46Electric circuits using a capacitor
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/42Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44Electric circuits
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/581Control of the dynamic range involving two or more exposures acquired simultaneously
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/581Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H04N25/621Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels for the control of blooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/42Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44Electric circuits
    • G01J2001/4446Type of detector
    • G01J2001/446Photodiode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/59Control of the dynamic range by controlling the amount of charge storable in the pixel, e.g. modification of the charge conversion ratio of the floating node capacitance

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Power Engineering (AREA)
  • Optics & Photonics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)

Abstract

一例では、装置は、フォトダイオードと、電荷貯蔵ユニットと、処理回路であって、第1の電圧を生じさせるために、フォトダイオードから電荷貯蔵ユニットにオーバーフロー電荷を転送することと、第1の判定を生成するために、第1の電圧を第1のランピングしきい値電圧と比較することと、第1の判定に基づいて、第1のデジタル値を生成することと、第2の電圧を生じさせるために、フォトダイオードから電荷貯蔵ユニットに残留電荷を転送することと、フォトダイオードが飽和したかどうかを判定して第2の判定を生成するために、第2の電圧を静的しきい値電圧と比較することと、第3の判定を生成するために、第2の電圧を第2のランピングしきい値電圧と比較することと、第3の判定に基づいて、第2のデジタル値を生成することと、第2の判定に基づいて、フォトダイオードによって受け取られた光の強度を表すための、第1のデジタル値または第2のデジタル値のうちの1つを出力することとを行うように構成された、処理回路とを備える。【選択図】図11

Description

関連出願
本特許出願は、その全体がすべての目的のために参照により本明細書に組み込まれる、2018年6月11日に出願された、「DIGITAL PIXEL SENSOR WITH MULTIPLE QUANTIZATION MODES」と題する米国仮特許出願第62/683,550号、および2019年6月7日に出願された、「DIGITAL PIXEL WITH EXTENDED DYNAMIC RANGE」と題する米国特許出願第16/435,451号の優先権を主張する。
本開示は、一般に画像センサーに関し、より詳細には、画像生成のために光強度を決定するためのインターフェース回路要素を含むピクセルセル構造に関する。
一般的な画像センサーは、光子を電荷(たとえば、電子または正孔)に変換することによって入射光を検知するためのフォトダイオードを含む。画像センサーは、露光期間中にフォトダイオードによって生成された電荷を収集するためのキャパシタとして構成されたフローティングノードをさらに含む。収集された電荷は、キャパシタにおいて電圧を生じさせることができる。電圧は、バッファされ、アナログデジタル変換器(ADC)に与えられ得、ADCは、電圧を、入射光の強度を表すデジタル値に量子化することができる。しかしながら、量子化の正確さは、フローティングノードにおける暗電流などの様々な雑音ソースによって影響を及ぼされ得る。
本開示は、画像センサーに関する。より詳細には、限定はしないが、本開示は、ピクセルセルに関する。本開示はまた、異なる測定モードで入射光の強度を測定するために、ピクセルセルの回路要素を動作させることに関する。
本開示は、入射光の強度を測定するための装置を提供する。
一例では、装置が提供される。装置は、フォトダイオードと、電荷貯蔵ユニットと、処理回路とを備える。処理回路は、第1の電圧を生じさせるために、フォトダイオードから電荷貯蔵ユニットにオーバーフロー電荷を転送することと、第1の判定を生成するために、第1の電圧を第1のランピングしきい値電圧と比較することと、第1の判定に基づいて、第1のデジタル値を生成することと、第2の電圧を生じさせるために、フォトダイオードから電荷貯蔵ユニットに残留電荷を転送することと、フォトダイオードが飽和したかどうかを判定して第2の判定を生成するために、第2の電圧を静的しきい値電圧と比較することと、第3の判定を生成するために、第2の電圧を第2のランピングしきい値電圧と比較することと、第3の判定に基づいて、第2のデジタル値を生成することと、第2の判定に基づいて、フォトダイオードによって受け取られた光の強度を表すための、第1のデジタル値または第2のデジタル値のうちの1つを出力することとを行うように構成される。
いくつかの態様では、静的しきい値電圧は、フォトダイオードの飽和容量に等しい量の残留電荷を貯蔵したときに電荷貯蔵ユニットで生じた第3の電圧に基づく。
いくつかの態様では、静的しきい値電圧は、暗電流によって溜められた暗電荷を表す電圧オフセットにさらに基づく。
いくつかの態様では、第2のランピングしきい値電圧は、静的しきい値電圧から開始または終了する。
いくつかの態様では、装置が、カウンタと、メモリとをさらに備える。処理回路は、第1の判定に基づいて、カウンタからの第1のカウント値を第1のデジタル値としてメモリに記憶することと、第3の判定に基づいて、カウンタからの第2のカウント値を第2のデジタル値としてメモリに記憶することと、第2の判定に基づいて、第1のデジタル値または第2のデジタル値のうちの1つをメモリから出力することとを行うように構成される。
いくつかの態様では、処理回路は、第2の判定に基づいて、メモリ内で第2のカウント値で第1のカウント値を上書きするように構成される。
いくつかの態様では、装置は、レジスタをさらに備える。処理回路は、第2の判定を指示する第1のフラグ値をレジスタに記憶することと、レジスタからの第1のフラグ値に基づいて、第1のデジタル値または第2のデジタル値のうちの1つをメモリから出力することとを行うように構成される。
いくつかの態様では、処理回路は、第1のランピングしきい値電圧が第1のブレークポイント電圧に達したときに、第1の判定のステータスを決定することと、第1の判定のステータスを指示する第2のフラグ値をレジスタに記憶することと、レジスタからの第1のフラグ値および第2のフラグ値に基づいて、第1のデジタル値または第2のデジタル値のうちの1つを出力することとを行うように構成される。
いくつかの態様では、処理回路は、第1のランピングしきい値電圧が第1のブレークポイント電圧に達したときに、カウンタをリセットするように構成される。
いくつかの態様では、処理回路は、第2のランピングしきい値電圧が第2のブレークポイント電圧に達したときに、第3の判定のステータスを決定することと、第3の判定のステータスを指示する第2のフラグ値をレジスタに記憶することと、レジスタからの第1のフラグ値および第2のフラグ値に基づいて、第1のデジタル値または第2のデジタル値のうちの1つを出力することとを行うように構成される。
いくつかの態様では、処理回路は、第1のランピングしきい値電圧が第2のブレークポイント電圧に達したときに、カウンタをリセットするように構成される。
いくつかの態様では、静的しきい値電圧は、第1の静的しきい値電圧である。処理回路は、第4の判定を生成するために、第1の電圧を、電荷貯蔵ユニットの飽和容量を表す第2の静的しきい値電圧と比較することと、第4の判定を指示する第2のフラグ値をレジスタに記憶することと、第4の判定に基づいて、カウンタからの第3のカウント値を第3のデジタル値として記憶することと、第1のフラグ値および第2のフラグ値に基づいて、フォトダイオードによって受け取られた光の強度を表すための、第1のデジタル値、第2のデジタル値、または第3のデジタル値のうちの1つを出力することとを行うように構成される。
いくつかの態様では、処理回路は、所定の時間期間内に第1の電圧を第2の静的しきい値電圧と比較することと、時間期間の所定の部分が経過したときに、第4の判定の第1のステータスを決定することと、第4の判定の第1のステータスを指示する第1のフラグ値をレジスタに記憶することと、時間期間が経過したときに、第4の判定の第2のステータスを決定することと、第4の判定の第2のステータスを指示する第2のフラグ値をレジスタに記憶することと、第1のフラグ値および第2のフラグ値に基づいて、フォトダイオードによって受け取られた光の強度を表すための、第1のデジタル値、第2のデジタル値、または第3のデジタル値のうちの1つを出力することとを行うように構成される。
いくつかの態様では、処理回路は、時間期間の所定の部分が経過したときに、カウンタをリセットするように構成される。
いくつかの態様では、電荷貯蔵ユニットの電荷貯蔵容量は、処理回路によって構成可能である。処理回路は、第1の電圧を生じさせるために、第1の容量を有するように電荷貯蔵ユニットを構成することと、第2の電圧を生じさせるために、第1の容量より小さい第2の容量を有するように電荷貯蔵ユニットを構成することとを行うように構成される。
いくつかの態様では、電荷貯蔵ユニットは、フローティングドレインノードおよびキャパシタを備える。
一例では、方法が提供される。方法は、第1の電圧を生じさせるために、フォトダイオードから電荷貯蔵ユニットにオーバーフロー電荷を転送することと、第1の判定を生成するために、第1の電圧を第1のランピングしきい値電圧と比較することと、第1の判定に基づいて、第1のデジタル値を生成することと、第2の電圧を生じさせるために、フォトダイオードから電荷貯蔵ユニットに残留電荷を転送することと、フォトダイオードが飽和したかどうかを判定して第2の判定を生成するために、第2の電圧を静的しきい値電圧と比較することと、第3の判定を生成するために、第2の電圧を第2のランピングしきい値電圧と比較することと、第3の判定に基づいて、第2のデジタル値を生成することと、第2の判定に基づいて、フォトダイオードによって受け取られた光の強度を表すための、第1のデジタル値または第2のデジタル値のうちの1つを出力することとを含む。
いくつかの態様では、静的しきい値電圧は、フォトダイオードの飽和容量に等しい量の残留電荷を貯蔵したときに電荷貯蔵ユニットで生じた第3の電圧に基づき、暗電流によって溜められた暗電荷を表す電圧オフセットに基づく。
いくつかの態様では、第2のランピングしきい値電圧は、静的しきい値電圧から開始または終了する。
いくつかの態様では、方法は、第1の判定に基づいて、カウンタからの第1のカウント値を第1のデジタル値としてメモリに記憶することと、第3の判定に基づいて、カウンタからの第2のカウント値を第2のデジタル値としてメモリに記憶することと、第2の判定に基づいて、第1のデジタル値または第2のデジタル値のうちの1つをメモリから出力することとをさらに含む。
以下の図を参照しながら、例示的な例が説明される。
ニアアイディスプレイの一例の図である。 ニアアイディスプレイの一例の図である。 ニアアイディスプレイの断面の一例の図である。 単一のソースアセンブリをもつ導波路ディスプレイの一例の等角図である。 導波路ディスプレイの一例の断面を示す図である。 ニアアイディスプレイを含むシステムの一例のブロック図である。 ピクセルセルの例のブロック図である。 図6の例による、異なる範囲の光強度を決定するための動作を示す図である。 図6のピクセルセルの内部構成要素の例を示す図である。 光強度を決定するための例示的な方法を示す図である。 光強度を決定するための例示的な方法を示す図である。 量子化を実施するための技法を示す図である。 量子化を実施するための技法を示す図である。 ピクセルセルの一例のブロック図である。 光強度測定を実施するための制御信号の例示的なシーケンスを示す図である。 光強度測定を実施するための制御信号の別の例示的なシーケンス、および測定結果の例を示す図である。 光強度測定を実施するための制御信号の別の例示的なシーケンス、および測定結果の例を示す図である。 光強度測定を実施するための制御信号の別の例示的なシーケンスを示す図である。 光強度測定を実施するための制御信号の別の例示的なシーケンスを示す図である。 光強度測定を実施するための制御信号の別の例示的なシーケンスを示す図である。 光強度測定を実施するための制御信号の別の例示的なシーケンスを示す図である。 光強度測定を実施するための制御信号の別の例示的なシーケンスを示す図である。 光強度を測定するための例示的なプロセスのフローチャートである。 光強度を測定するための別の例示的なプロセスのフローチャートである。
図は、単に説明の目的で本開示の例を示す。本開示の原理またはうたわれている利益から逸脱することなく、示される構造および方法の代替例が採用され得ることを、当業者は以下の説明から容易に認識されよう。
添付の図において、同様の構成要素および/または特徴は、同じ参照ラベルを有し得る。さらに、同じタイプの様々な構成要素は、同様の構成要素間を区別するダッシュおよび第2のラベルを参照ラベルの後に続けることによって区別され得る。第1の参照ラベルのみが明細書において使用される場合、説明は、第2の参照ラベルには関係なく同じ第1の参照ラベルを有する同様の構成要素のいずれか1つに適用可能である。
以下の説明では、説明の目的で、いくつかの発明の例の完全な理解を提供するために、具体的な詳細が記載される。ただし、様々な例がこれらの具体的な詳細なしに実施され得ることは明らかであろう。図および説明は、限定するものではない。
一般的な画像センサーは、光子を電荷(たとえば、電子または正孔)に変換することによって入射光を検知するためのフォトダイオードを含む。画像センサーは、露光期間中にフォトダイオードによって生成された電荷を収集するためのキャパシタとして構成されたフローティングノードをさらに含む。収集された電荷は、キャパシタにおいて電圧を生じさせることができる。電圧は、バッファされ、アナログデジタル変換器(ADC)に与えられ得、ADCは、電圧を、入射光の強度を表すデジタル値に変換することができる。
ある期間内にフローティングノードにおいて貯蔵された電荷の量を反映する、ADCによって生成されたデジタル値は、入射光の強度に相関し得る。しかしながら、相関の程度は、異なる要因によって影響を及ぼされ得る。第1に、フローティングノードに貯蔵された電荷の量は、フローティングノードが飽和限界に達するまで、入射光の強度に直接関係し得る。飽和限界を超えると、フローティングノードは、フォトダイオードによって生成された追加の電荷を受け入れることができないことがあり、追加の電荷は、漏洩され、貯蔵されないことがある。その結果、フローティングノードにおいて貯蔵された電荷の量は、フォトダイオードによって実際に生成された電荷の量よりも少なくなり得る。飽和限界は、画像センサーの測定可能な光強度の上限を決定し得る。
また、様々な要因が、画像センサーの測定可能な光強度の下限を設定することがある。たとえば、フローティングノードにおいて収集された電荷は、入射光の強度に関係しない雑音電荷、ならびに暗電流によってもたらされる暗電荷を含み得る。暗電流は、結晶欠陥により、フォトダイオードのpn接合においておよびキャパシタに接続された他の半導体デバイスのpn接合において生成される、漏洩電流を含むことがある。暗電流は、キャパシタ中に流れ、入射光の強度に相関されない電荷を追加することがある。フォトダイオードにおいて生成される暗電流は、一般的に、他の半導体デバイスにおいて生成される暗電流よりも小さい。雑音電荷の別のソースは、他の回路要素との容量結合であり得る。たとえば、ADC回路要素が、フローティングノードに貯蔵された電荷の量を決定するための読取り動作を実施するとき、ADC回路要素は、容量結合を通してフローティングノードに雑音電荷を導入することがある。
雑音電荷のほかに、ADCは、電荷の量を決定する際の測定誤差をも導入することがある。測定誤差は、デジタル出力と入射光の強度との間の相関の程度を低下させることがある。測定誤差の1つのソースは量子化誤差である。量子化プロセスにおいて、電荷の量の連続セットを表すために、量レベルの離散セットが使用され、各量レベルは、電荷の所定の量を表すことができる。ADCは、電荷の入力量を量レベルと比較し、入力量に最も近い量レベルを決定し、決定された量レベルを(たとえば、量レベルを表すデジタルコードの形式で)出力することができる。量子化誤差は、量レベルによって表される電荷の量と、量レベルにマッピングされる電荷の入力量との間に不一致があるとき、発生することがある。量子化誤差は、(たとえば、2つの隣接する量レベル間の電荷量の差を低減することによって)より小さい量子化ステップサイズを伴って低減され得る。測定誤差の他のソースは、たとえば、電荷の量の測定における不確実性を増やす、(たとえば、ADC回路要素の)デバイス雑音と比較器オフセットとをも含み得る。雑音電荷、暗電荷、ならびにADC測定誤差は、画像センサーの測定可能な光強度の下限を定義することがあるが、飽和限界は、画像センサーの測定可能な光強度の上限を決定し得る。上限と下限との間の比がダイナミックレンジを定義し、ダイナミックレンジは、画像センサーのための動作光強度の範囲を設定し得る。
画像センサーは、多くの異なるアプリケーションにおいて見られ得る。一例として、画像センサーは、デジタル撮像を提供するためのデジタル撮像デバイス(たとえば、デジタルカメラ、スマートフォンなど)中に含まれる。別の例として、画像センサーは、ウェアラブル仮想現実(VR)システムならびに/あるいは拡張現実(AR)および/または複合現実(MR)システム中のニアアイディスプレイのディスプレイコンテンツを制御するかまたはそのディスプレイコンテンツに影響を与えることなど、デバイスの動作を制御するかまたはデバイスの動作に影響を与えるための入力デバイスとして構成され得る。たとえば、画像センサーは、ユーザが位置する物理的環境の物理的画像データを生成するために使用され得る。物理的画像データは、たとえば、物理的環境におけるユーザのロケーション、ユーザの向き、および/またはユーザの移動の経路を追跡するための同時位置特定およびマッピング(SLAM)アルゴリズムを動作させるロケーション追跡システムに提供され得る。画像センサーは、物理的環境におけるユーザと物体との間の距離を測定するためのステレオ深度情報を含む、物理的画像データを生成するためにも使用され得る。画像センサーはまた、近赤外(NIR:near−infrared)センサーとして構成され得る。照明器が、ユーザの眼球にNIR光のパターンを投影し得る。眼球の内部構造(たとえば、瞳孔)が、NIR光から反射パターンを生成し得る。画像センサーは、反射パターンの画像をキャプチャし、その画像を、ユーザの眼球の移動を追跡してユーザの注視点を決定するためのシステムに提供することができる。これらの物理的画像データに基づいて、VR/AR/MRシステムは、ユーザにインタラクティブ体験を提供するために、ニアアイディスプレイを介してユーザに表示するための仮想画像データを生成および更新し得る。たとえば、VR/AR/MRシステムは、(物体に対するユーザの関心をシグナリングし得る)ユーザの注視する方向、ユーザのロケーションなどに基づいて仮想画像データを更新し得る。
ウェアラブルVR/AR/MRシステムは、極めて広範囲の光強度を伴う環境において動作し得る。たとえば、ウェアラブルVR/AR/MRシステムは、屋内環境または屋外環境において、および/あるいは1日の異なる時間において動作することが可能であり得、ウェアラブルVR/AR/MRシステムの動作環境の光強度は大幅に変動し得る。その上、ウェアラブルVR/AR/MRシステムはまた、上述のNIR眼球追跡システムを含み得、これは、眼球に損傷を与えることを防ぐために、ユーザの眼球に極めて低い強度の光を投影することを必要とし得る。その結果、ウェアラブルVR/AR/MRシステムの画像センサーは、異なる動作環境に関連する極めて広範囲の光強度にわたって適切に動作すること(たとえば、入射光の強度と相関する出力を生成すること)が可能であるために、広いダイナミックレンジを有する必要があり得る。ウェアラブルVR/AR/MRシステムの画像センサーは、ユーザのロケーション、向き、注視点などの追跡を可能にするために十分高速で画像を生成する必要もあり得る。比較的限られたダイナミックレンジをもち、比較的低速で画像を生成する画像センサーは、そのようなウェアラブルVR/AR/MRシステムに好適でないことがある。
本開示は、拡張されたダイナミックレンジを提供することができるピクセルセルに関する。ピクセルセルは、フォトダイオードと、電荷貯蔵ユニットと、フォトダイオードと電荷貯蔵ユニットとの間の転送ゲートとして構成されたトランジスタと、処理回路とを含み得る。フォトダイオードは、入射光に応答して電荷を生成し、フォトダイオードが飽和するまで、電荷の少なくとも一部を残留電荷として貯蔵することができる。電荷貯蔵ユニットは、トランジスタのフローティングドレイン、金属キャパシタ、金属酸化物半導体(MOS)キャパシタ、またはそれらの任意の組合せであり得る。電荷貯蔵ユニットは、第1の電圧を生じさせるために、オーバーフロー電荷を貯蔵することができ、オーバーフロー電荷は、フォトダイオードが飽和し、追加の電荷を貯蔵することができないとき、フォトダイオードから転送される電荷である。電荷貯蔵ユニットはフローティングドレインノードを含み得る。
処理回路は、入射光の強度を、測定の複数のモードを実施することによって測定することができる。測定の第1のモードにおいて、処理回路は、第1の電圧を第1のランピングしきい値電圧と比較することによって量子化プロセスを実施して、第1の判定を生成することができる。第1の判定が、第1の電圧が第1のランピングしきい値電圧を越えることを指示するとき、第1のカウント値が、カウンタからキャプチャされ、メモリに記憶され得る。第1のカウント値は、第1のランピングしきい値電圧が第1の電圧を越えるのにかかった時間の測定値を表すことができ、これは、電荷貯蔵ユニットに貯蔵されたオーバーフロー電荷を量子化した結果をも表すことができる。オーバーフロー電荷の量は、入射光の強度に比例し得る。本開示の残部では、測定の第1のモードは「FD ADC」動作と呼ばれることがある。
処理回路は、測定の第2のモードについて第2の電荷を生じさせるために、フォトダイオードから電荷貯蔵デバイスに残留電荷を転送することができる。測定の第2のモードにおいて、処理回路は、第2の電圧を第2のランピングしきい値電圧と比較することによって別の量子化プロセスを実施して、第2の判定を生成することができる。第2の判定が、第1が第2のランピング基準電圧を越えることを指示するとき、第2のカウント値が、カウンタからキャプチャされ、メモリに記憶され得る。第2のカウント値は、第2のランピングしきい値電圧が第2の電圧を越えるのにかかった時間の測定値を表すことができ、これは、電荷貯蔵ユニットに貯蔵された残留電荷を量子化した結果をも表す。残留電荷の量は、入射光の強度に比例し得る。本開示の残部では、測定の第2のモードは「PD ADC」動作と呼ばれることがある。
いくつかの例では、処理回路は、測定の第3のモードをも実施することができる。測定の第3のモードにおいて、処理回路は、第1の電圧を、電荷貯蔵ユニットの飽和限界を表す静的しきい値電圧と比較して、第3の判定を生成することができる。第3の判定が、電荷貯蔵ユニットが飽和限界に達するかまたは飽和限界を超えることを指示するとき、第3のカウント値が、カウンタからキャプチャされ、メモリに記憶され得る。第3のカウント値は、電荷貯蔵ユニットが飽和されるのにかかった時間の測定値を表すことができ、持続時間は、入射光の強度に反比例し得る。本開示の残部では、測定の第3のモードは、飽和までの時間(TTS)測定動作と呼ばれることがある。いくつかの例では、測定の第3のモードは、測定の第1のモードの前に実施され得る。
測定の異なるモードは、異なる光強度範囲を対象にし得、処理回路は、入射光がどの光強度範囲に属するかに基づいて、入射光の強度を表すための、第1のカウント値、第2のカウント値、または第3のカウント値のうちの1つをメモリから出力することができる。測定の第1のモードは、フォトダイオードが全容量に達し、飽和することが予想される、中光強度範囲を対象とし得る。測定の第2のモードは、フォトダイオードが飽和することが予想されない、低光強度範囲を対象とし得る。測定の第3のモードは、電荷貯蔵ユニットが飽和する、高光強度範囲を対象とし得る。
上記で説明されたように、処理回路は、入射光の強度を表すための、第1のカウント値、第2のカウント値、または第3のカウント値のうちの1つをメモリから選択することができる。選択は、第1および第3の判定出力の1つまたは複数に基づき得る。たとえば、第3の判定出力が、電荷貯蔵ユニットが飽和したことを指示する場合、第3のカウント値は、第1および第2のカウント値より優先して、出力として選択され得る。第3の判定出力が、電荷貯蔵ユニットが飽和していないことを指示する場合、第3のカウント値は捨てられ得、処理回路は、第1および第2のカウント値から出力として選択し得る。(オーバーフロー電荷に基づく)第1の判定出力が、フォトダイオードが飽和したことを指示する場合、処理回路は、電荷貯蔵ユニットに貯蔵されたオーバーフロー電荷の量を測定する第1のカウント値を出力として選択し得る。しかし、第1の判定出力または第2の判定出力が、フォトダイオードが飽和していないことを指示する場合、処理回路は、フォトダイオードに貯蔵された残留電荷の量を測定する第2のカウント値を出力として選択し得る。いくつかの例では、ピクセルセルは、第1、第2、および第3の判定のうちの少なくともいくつかをフラグとして記憶するためのレジスタのセットを含み得る。処理回路は、フラグ値に基づいて、カウント値をメモリに記憶するべきか、測定の各モードにおけるカウント値を捨てるべきか、または、測定のすべてのモードが完了した後、カウント値のどれをメモリから出力するべきかを判定することができる。
上記で説明されたマルチモード測定動作は、ピクセルセルによる光強度測定のダイナミックレンジを拡張することができる。詳細には、TTS測定動作は、電荷貯蔵ユニットを飽和させる強度レベルを超える高光強度の測定を可能にし、これは、ダイナミックレンジの上限を拡張することができる。その上、PD ADC動作は、低光強度について、フォトダイオードに貯蔵された残留電荷を測定する。フォトダイオードは、一般的に、ごくわずかな暗電流を受け取るので、暗電流によって引き起こされる暗電荷の大きさは、入射光によって引き起こされる実信号に対して小さいままであり得、これは、検出可能な入射光強度を低減し、ダイナミックレンジの下限を押し下げることができる。
マルチモード測定動作は、ピクセルセルのダイナミックレンジを拡張することができるが、光強度測定の正確さは、依然として、様々な雑音ソースによって影響を及ぼされ得る。1つの雑音ソースは、暗電流であり得る。特に、上記で説明されたように、処理回路は、第1の判定が、フォトダイオードが飽和したことを指示するかどうかに基づいて、第1のカウント値または第2のカウント値のうちの1つを出力として選択し、ここで、第1の判定は、電荷貯蔵ユニットにおける第1の電圧を、第1の電圧ランプの一部としてのオーバーフロー電荷がないことを表すしきい値電圧と比較することに基づいて生成される。しかし、第1の判定は、フローティングドレインノードに暗電荷を印加し得る暗電流によって影響を及ぼされ得、フローティングドレインノードは、典型的には、特に、フォトダイオードがピン型フォトダイオードであるとき、フォトダイオードと比較して、かなり大きい暗電流を受け取る。フローティングドレインノードは、オーバーフロー電荷と同時に暗電荷を蓄積するので、暗電荷は比較的大きくなり得、正しくない第1の判定につながり得る。たとえば、フローティングドレインノードは、オーバーフロー電荷を貯蔵し得ないが、フローティングドレインノードに蓄積された暗電荷は、フローティングドレインノードがオーバーフロー電荷を貯蔵したことを指示する正しくない第1の判定を引き起こすのに十分大きくなり得る。正しくない第1の判定は、処理回路が、低強度範囲での入射光の正しい表現を提供する第2のカウント値を捨てることを引き起こすことができる。その結果、処理回路は、入射光強度を表すための、正しくないカウント値をメモリから出力し得る。
マルチモード測定動作に影響を及ぼす別の雑音ソースは、量子化誤差である。上記で説明されたように、カウンタからのカウント値は、ランピング電圧が、(FD ADCおよびPD ADCについての)電荷貯蔵デバイスにおける電圧に達するための時間の測定値、または、電荷貯蔵デバイスにおける電圧が、(TTSについての)飽和限界に達するための時間の測定値を表すことができる。両方の場合、時間の測定値の正確さは、カウンタがカウント値を更新する頻度、および、測定されることになる持続時間によって定義され得、これらの両方が、量子化誤差を定義し得る。PD ADC動作が暗電流の影響を受けにくかったとしても、量子化誤差は、最小の検出可能な光強度を定義し、ダイナミックレンジのより低い限界を設定することができる。
本開示は、暗電流および量子化誤差の影響を軽減するためのいくつかの技法を提案する。いくつかの例では、第2の電圧を生じさせるために、フォトダイオードから電荷貯蔵ユニットに残留電荷を転送した後、処理回路は、フォトダイオードが飽和したかどうかを判定するために、第2の電圧を、フォトダイオードを飽和させる残留電荷の量を表す静的しきい値と比較することができる。静的しきい値は、このような量の残留電荷が電荷貯蔵ユニットに貯蔵されたときに、電荷貯蔵ユニットで生じた電圧に基づき得る。残留電荷に基づいてフォトダイオードの飽和を検出することは、オーバーフロー電荷に基づくよりも、暗電流の影響を受けにくくし得る。これは、フォトダイオードが典型的にはずっと少ない暗電流を受け取る一方で、フローティングドレインノードへの残留電荷の転送のための時間も比較的短く、これらの両方が、フローティングドレインノード内に存在する暗電荷を低減することができるからである。
いくつかの例では、TTS、FD ADC、およびPD ADC測定のそれぞれは、1つまたは複数のブレークポイントに基づく2つ以上のサブステージに分けられ得る。処理回路は、これらのブレークポイントにおいて、(FD ADCについての)第1の判定のステータス、(PD ADCについての)第2の判定のステータス、および/または(TTSについての)第3の判定のステータスを検査し、これらの判定のステータスに基づいて、フォトダイオードまたは電荷貯蔵ユニットが飽和したかどうかを判定することができる。このような仕組みは、フォトダイオードの、および電荷貯蔵ユニットの飽和の検出に冗長性を導入することができ、これは、検出の正確さを改善することができる。その上、カウンタは、各サブステージの始まりにおいてリセットされ得、これは、カウンタの完全な出力範囲によって測定されることになる時間の範囲(および対応する入力電圧範囲)を収縮させる。カウンタの同じビット数で、カウンタは、時間の低減された範囲を測定するために、より高い頻度で更新することができ、これは、量子化誤差を低減することができる。これらすべては、マルチモード測定動作の正確さをさらに改善することができる。
本開示の例は、人工現実システムを含むか、または人工現実システムに関連して実装され得る。人工現実は、ユーザへの提示の前に何らかの様式で調整された形式の現実であり、これは、たとえば、仮想現実(VR)、拡張現実(AR)、複合現実(MR)、ハイブリッド現実、あるいはそれらの何らかの組合せおよび/または派生物を含み得る。人工現実コンテンツは、完全に生成されたコンテンツ、またはキャプチャされた(たとえば、現実世界の)コンテンツと組み合わせられた生成されたコンテンツを含み得る。人工現実コンテンツは、ビデオ、オーディオ、触覚フィードバック、またはそれらの何らかの組合せを含み得、それらのいずれも、単一のチャネルまたは複数のチャネルにおいて提示され得る(観察者に3次元効果をもたらすステレオビデオなど)。加えて、いくつかの例では、人工現実は、たとえば、人工現実におけるコンテンツを作り出すために使用される、および/または人工現実において別様に使用される(たとえば、人工現実におけるアクティビティを実施する)アプリケーション、製品、アクセサリ、サービス、またはそれらの何らかの組合せにも関連付けられ得る。人工現実コンテンツを提供する人工現実システムは、ホストコンピュータシステムに接続されたヘッドマウントディスプレイ(HMD)、独立型HMD、モバイルデバイスまたはコンピューティングシステム、あるいは、1人または複数の観察者に人工現実コンテンツを提供することが可能な任意の他のハードウェアプラットフォームを含む、様々なプラットフォーム上に実装され得る。
図1Aは、ニアアイディスプレイ100の一例の図である。ニアアイディスプレイ100は、ユーザにメディアを提示する。ニアアイディスプレイ100によって提示されるメディアの例は、1つまたは複数の画像、ビデオ、および/またはオーディオを含む。いくつかの例では、オーディオは、外部デバイス(たとえば、スピーカーおよび/またはヘッドフォン)を介して提示され、この外部デバイスは、ニアアイディスプレイ100、コンソール、またはその両方からオーディオ情報を受け取り、そのオーディオ情報に基づいてオーディオデータを提示する。ニアアイディスプレイ100は、概して、仮想現実(VR)ディスプレイとして動作するように構成される。いくつかの例では、ニアアイディスプレイ100は、拡張現実(AR)ディスプレイおよび/または複合現実(MR)ディスプレイとして動作するように変更される。
ニアアイディスプレイ100は、フレーム105とディスプレイ110とを含む。フレーム105は、1つまたは複数の光学要素に結合される。ディスプレイ110は、ユーザがニアアイディスプレイ100によって提示されたコンテンツを見るように構成される。いくつかの例では、ディスプレイ110は、1つまたは複数の画像からの光をユーザの眼に向けるための導波路ディスプレイアセンブリを備える。
ニアアイディスプレイ100は、画像センサー120a、120b、120c、および120dをさらに含む。画像センサー120a、120b、120c、および120dの各々は、異なる方向に沿った異なる視野を表す画像データを生成するように構成されたピクセルアレイを含み得る。たとえば、センサー120aおよび120bは、Z軸に沿った方向Aに向かう2つの視野を表す画像データを提供するように構成され得、センサー120cは、X軸に沿った方向Bに向かう視野を表す画像データを提供するように構成され得、センサー120dは、X軸に沿った方向Cに向かう視野を表す画像データを提供するように構成され得る。
いくつかの例では、センサー120a〜120dは、ニアアイディスプレイ100を装着したユーザにインタラクティブVR/AR/MR体験を提供するために、ニアアイディスプレイ100のディスプレイコンテンツを制御するかまたはニアアイディスプレイ100のディスプレイコンテンツに影響を与えるための入力デバイスとして構成され得る。たとえば、センサー120a〜120dは、ユーザが位置する物理的環境の物理的画像データを生成することができる。物理的画像データは、物理的環境におけるユーザのロケーションおよび/または移動の経路を追跡するためのロケーション追跡システムに提供され得る。システムは、次いで、インタラクティブ体験を提供するために、たとえば、ユーザのロケーションおよび向きに基づいて、ディスプレイ110に提供された画像データを更新することができる。いくつかの例では、ロケーション追跡システムは、ユーザが物理的環境内を移動するにつれて、物理的環境におけるおよびユーザの視野内の物体のセットを追跡するために、SLAMアルゴリズムを動作させ得る。ロケーション追跡システムは、物体のセットに基づいて物理的環境のマップを構築および更新し、マップ内のユーザのロケーションを追跡することができる。複数の視野に対応する画像データを提供することによって、センサー120a〜120dは、ロケーション追跡システムに物理的環境のより全体的なビューを提供することができ、これは、より多くの物体がマップの構築および更新に含まれることにつながり得る。そのような仕組みにより、物理的環境内のユーザのロケーションを追跡することの正確さおよびロバストネスが改善され得る。
いくつかの例では、ニアアイディスプレイ100は、物理的環境に光を投影するための1つまたは複数のアクティブ照明器130をさらに含み得る。投影された光は、異なる周波数スペクトル(たとえば、可視光、赤外光、紫外光など)に関連付けられ得、様々な目的を果たすことができる。たとえば、照明器130は、たとえば、ユーザのロケーション追跡を可能にするために、センサー120a〜120dが暗い環境内の異なる物体の画像をキャプチャするのを支援するために、暗い環境において(または、低強度の赤外光、紫外光などを伴う環境において)光を投影し得る。照明器130は、ロケーション追跡システムがマップ構築/更新のために物体を識別するのを支援するために、環境内の物体上にいくつかのマーカーを投影し得る。
いくつかの例では、照明器130は、立体撮像をも可能にし得る。たとえば、センサー120aまたは120bのうちの1つまたは複数は、可視光検知のための第1のピクセルアレイと赤外(IR)光検知のための第2のピクセルアレイの両方を含むことができる。第1のピクセルアレイは、カラーフィルタ(たとえば、バイエルフィルタ)で覆われ得、第1のピクセルアレイの各ピクセルが、特定の色(たとえば、赤色、緑色または青色のうちの1つ)に関連付けられた光の強度を測定するように構成される。また、(IR光検知のための)第2のピクセルアレイは、IR光の通過のみを可能にするフィルタで覆われ得、第2のピクセルアレイの各ピクセルが、IR光の強度を測定するように構成される。ピクセルアレイは、物体のRGB画像およびIR画像を生成することができ、IR画像の各ピクセルが、RGB画像の各ピクセルにマッピングされる。照明器130は、物体上にIRマーカーのセットを投影し得、その画像は、IRピクセルアレイによってキャプチャされ得る。画像に示されている物体のIRマーカーの分布に基づいて、システムは、IRピクセルアレイからの物体の異なる部分の距離を推定し、その距離に基づいて物体の立体画像を生成することができる。物体の立体画像に基づいて、システムは、たとえば、ユーザに対する物体の相対位置を決定することができ、インタラクティブ体験を提供するために、相対位置情報に基づいて、ディスプレイ100に提供された画像データを更新することができる。
上記で説明されたように、ニアアイディスプレイ100は、極めて広範囲の光強度に関連する環境において動作され得る。たとえば、ニアアイディスプレイ100は、屋内環境または屋外環境において、および/あるいは1日の異なる時間において動作され得る。ニアアイディスプレイ100はまた、アクティブ照明器130がオンにされていてもいなくても動作し得る。その結果、画像センサー120a〜120dは、ニアアイディスプレイ100のための異なる動作環境に関連する極めて広範囲の光強度にわたって適切に動作すること(たとえば、入射光の強度と相関する出力を生成すること)が可能であるために、広いダイナミックレンジを有する必要があり得る。
図1Bは、ニアアイディスプレイ100の別の例の図である。図1Bは、ニアアイディスプレイ100を装着したユーザの(1つまたは複数の)眼球135に面するニアアイディスプレイ100の側面を示す。図1Bに示されているように、ニアアイディスプレイ100は、複数の照明器140a、140b、140c、140d、140e、および140fをさらに含み得る。ニアアイディスプレイ100は、複数の画像センサー150aおよび150bをさらに含む。照明器140a、140b、および140cは、(図1Aの方向Aと反対である)方向Dに向かってある周波数範囲(たとえば、NIR)の光を放出し得る。放出された光は、あるパターンに関連付けられ得、ユーザの左眼球によって反射され得る。センサー150aは、反射光を受け取り、反射パターンの画像を生成するためのピクセルアレイを含み得る。同様に、照明器140d、140e、および140fは、パターンを搬送するNIR光を放出し得る。NIR光は、ユーザの右眼球によって反射され得、センサー150bによって受け取られ得る。センサー150bも、反射パターンの画像を生成するためのピクセルアレイを含み得る。センサー150aおよび150bからの反射パターンの画像に基づいて、システムは、ユーザの注視点を決定し、ユーザにインタラクティブ体験を提供するために、決定された注視点に基づいて、ディスプレイ100に提供された画像データを更新することができる。
上記で説明されたように、ユーザの眼球に損傷を与えることを回避するために、照明器140a、140b、140c、140d、140e、および140fは、一般的に、極めて低強度の光を出力するように構成される。画像センサー150aおよび150bが図1Aの画像センサー120a〜120dと同じセンサーデバイスを備える場合、画像センサー120a〜120dは、入射光の強度が極めて低いときに入射光の強度と相関する出力を生成することが可能である必要があり得、これは、画像センサーのダイナミックレンジ要件をさらに増加させ得る。
その上、画像センサー120a〜120dは、眼球の移動を追跡するために高速で出力を生成することが可能である必要があり得る。たとえば、ユーザの眼球は、ある眼球位置から別の眼球位置への素早いジャンプがあり得る極めて急速な移動(たとえば、サッカード運動)を実施することができる。ユーザの眼球の急速な移動を追跡するために、画像センサー120a〜120dは、高速で眼球の画像を生成する必要がある。たとえば、画像センサーが画像フレームを生成するレート(フレームレート)は、少なくとも、眼球の移動の速度に一致する必要がある。高いフレームレートは、画像フレームを生成することに関与するピクセルセルのすべてについての短い総露光時間、ならびに、画像生成のためにセンサー出力をデジタル値に変換するための高い速度を必要とする。その上、上記で説明されたように、画像センサーは、低光強度を伴う環境において動作することが可能である必要もある。
図2は、図1に示されているニアアイディスプレイ100の断面200の一例である。ディスプレイ110が、少なくとも1つの導波路ディスプレイアセンブリ210を含む。射出瞳230は、ユーザがニアアイディスプレイ100を装着したときにユーザの単一の眼球220がアイボックス領域中に配置されるロケーションである。説明の目的で、図2は、眼球220と単一の導波路ディスプレイアセンブリ210に関連する断面200を示すが、第2の導波路ディスプレイがユーザの第2の眼のために使用される。
導波路ディスプレイアセンブリ210は、画像光を、射出瞳230に位置するアイボックスに、および眼球220に向けるように構成される。導波路ディスプレイアセンブリ210は、1つまたは複数の屈折率をもつ1つまたは複数の材料(たとえば、プラスチック、ガラスなど)から構成され得る。いくつかの例では、ニアアイディスプレイ100は、導波路ディスプレイアセンブリ210と眼球220との間に1つまたは複数の光学要素を含む。
いくつかの例では、導波路ディスプレイアセンブリ210は、制限はしないが、積層導波路ディスプレイ、可変焦点導波路ディスプレイなどを含む、1つまたは複数の導波路ディスプレイのスタックを含む。積層導波路ディスプレイは、それぞれの単色ソースが異なる色のものである導波路ディスプレイを積層することによって作り出された多色ディスプレイ(たとえば、赤緑青(RGB)ディスプレイ)である。積層導波路ディスプレイは、複数の平面上に投影され得る多色ディスプレイ(たとえば、多平面カラーディスプレイ)でもある。いくつかの構成では、積層導波路ディスプレイは、複数の平面上に投影され得る単色ディスプレイ(たとえば、多平面単色ディスプレイ)である。可変焦点導波路ディスプレイは、導波路ディスプレイから放出された画像光の焦点位置を調整することができるディスプレイである。代替例では、導波路ディスプレイアセンブリ210は、積層導波路ディスプレイと可変焦点導波路ディスプレイとを含み得る。
図3は、導波路ディスプレイ300の一例の等角図を示す。いくつかの例では、導波路ディスプレイ300は、ニアアイディスプレイ100の構成要素(たとえば、導波路ディスプレイアセンブリ210)である。いくつかの例では、導波路ディスプレイ300は、画像光を特定のロケーションに向ける何らかの他のニアアイディスプレイまたは他のシステムの一部である。
導波路ディスプレイ300は、ソースアセンブリ310と、出力導波路320と、コントローラ330とを含む。説明の目的で、図3は、単一の眼球220に関連付けられた導波路ディスプレイ300を示すが、いくつかの例では、導波路ディスプレイ300とは別個の、または部分的に別個の別の導波路ディスプレイが、ユーザの別の眼に画像光を提供する。
ソースアセンブリ310は、画像光355を生成する。ソースアセンブリ310は、画像光355を生成し、出力導波路320の第1の側面370−1上に位置する結合要素350に出力する。出力導波路320は、拡大された画像光340をユーザの眼球220に出力する光導波路である。出力導波路320は、第1の側面370−1上に位置する1つまたは複数の結合要素350において画像光355を受け取り、受け取られた入力画像光355を方向付け要素360に導く。いくつかの例では、結合要素350は、ソースアセンブリ310からの画像光355を出力導波路320に結合する。結合要素350は、たとえば、回折格子、ホログラフィック格子、1つまたは複数のカスケード型反射器、1つまたは複数のプリズム表面要素、および/またはホログラフィック反射器のアレイであり得る。
方向付け要素360は、受け取られた入力画像光355が分離要素365を介して出力導波路320から分離されるように、受け取られた入力画像光355を分離要素365に向け直す。方向付け要素360は、出力導波路320の第1の側面370−1の一部であるか、または出力導波路320の第1の側面370−1に取り付けられる。分離要素365は、方向付け要素360が分離要素365に対向するように、出力導波路320の第2の側面370−2の一部であるか、または出力導波路320の第2の側面370−2に取り付けられる。方向付け要素360および/または分離要素365は、たとえば、回折格子、ホログラフィック格子、1つまたは複数のカスケード型反射器、1つまたは複数のプリズム表面要素、および/またはホログラフィック反射器のアレイであり得る。
第2の側面370−2は、x次元およびy次元に沿った平面を表す。出力導波路320は、画像光355の内部全反射を促進する1つまたは複数の材料から構成され得る。出力導波路320は、たとえば、シリコン、プラスチック、ガラス、および/またはポリマーから構成され得る。出力導波路320は、比較的小さいフォームファクタを有する。たとえば、出力導波路320は、x次元に沿って幅約50mm、y次元に沿って長さ約30mm、およびz次元に沿って厚さ約0.5〜1mmであり得る。
コントローラ330は、ソースアセンブリ310のスキャン動作を制御する。コントローラ330は、ソースアセンブリ310のためのスキャン命令を決定する。いくつかの例では、出力導波路320は、拡大された画像光340を大きい視野(FOV)でユーザの眼球220に出力する。たとえば、拡大された画像光340は、60度のおよび/またはそれよりも大きい、ならびに/あるいは150度のおよび/またはそれよりも小さい(xおよびyにおける)対角FOVでユーザの眼球220に提供される。出力導波路320は、20mm以上および/または50mm以下の長さ、ならびに/あるいは10mm以上および/または50mm以下の幅をもつアイボックスを提供するように構成される。
その上、コントローラ330は、画像センサー370によって提供される画像データに基づいて、ソースアセンブリ310によって生成される画像光355をも制御する。画像センサー370は、第1の側面370−1上に位置し得、たとえば、(たとえば、ロケーション決定のための)ユーザの前にある物理的環境の画像データを生成するために図1Aの画像センサー120a〜120dを含み得る。画像センサー370はまた、第2の側面370−2上に位置し得、ユーザの(たとえば、注視点決定のための)眼球220の画像データを生成するために図1Bの画像センサー150aおよび150bを含み得る。画像センサー370は、導波路ディスプレイ300内に位置しないリモートコンソールとインターフェースし得る。画像センサー370は、画像データをリモートコンソールに提供し得、リモートコンソールは、たとえば、ユーザのロケーション、ユーザの注視点などを決定し、ユーザに表示されるべき画像のコンテンツを決定し得る。リモートコンソールは、決定されたコンテンツに関係する命令をコントローラ330に送信することができる。命令に基づいて、コントローラ330は、ソースアセンブリ310による画像光355の生成および出力を制御することができる。
図4は、導波路ディスプレイ300の断面400の一例を示す。断面400は、ソースアセンブリ310と、出力導波路320と、画像センサー370とを含む。図4の例では、画像センサー370は、ユーザの前にある物理的環境の画像を生成するために、第1の側面370−1上に位置するピクセルセル402のセットを含み得る。いくつかの例では、ピクセルセル402のセットの露光を制御するために、ピクセルセル402のセットと物理的環境との間に挿入された機械的シャッター404があり得る。いくつかの例では、機械的シャッター404は、以下で説明されるように、電子シャッターゲートと置き換えられ得る。ピクセルセル402の各々は、画像の1つのピクセルに対応し得る。図4には示されていないが、ピクセルセルによって検知されるべき光の周波数範囲を制御するために、ピクセルセル402の各々もフィルタで覆われ得ることを理解されたい。
リモートコンソールから命令を受け取った後に、機械的シャッター404は、露光期間において開き、ピクセルセル402のセットを露光することができる。露光期間中に、画像センサー370は、ピクセルセル402のセットに入射した光のサンプルを取得し、ピクセルセル402のセットによって検出された入射光サンプルの強度分布に基づいて画像データを生成することができる。画像センサー370は、次いで、画像データを、ディスプレイコンテンツを決定するリモートコンソールに提供し、ディスプレイコンテンツ情報をコントローラ330に提供することができる。コントローラ330は、次いで、ディスプレイコンテンツ情報に基づいて画像光355を決定することができる。
ソースアセンブリ310は、コントローラ330からの命令に従って画像光355を生成する。ソースアセンブリ310は、ソース410と光学システム415とを含む。ソース410は、コヒーレント光または部分的にコヒーレントな光を生成する光源である。ソース410は、たとえば、レーザーダイオード、垂直キャビティ面発光レーザー、および/または発光ダイオードであり得る。
光学システム415は、ソース410からの光を調節する1つまたは複数の光学的構成要素を含む。ソース410からの光を調節することは、たとえば、コントローラ330からの命令に従って拡大し、コリメートし、および/または向きを調整することを含み得る。1つまたは複数の光学的構成要素は、1つまたは複数のレンズ、液体レンズ、ミラー、開口、および/または格子を含み得る。いくつかの例では、光学システム415は、光ビームを液体レンズ外の領域にシフトするためにしきい値のスキャン角度を伴う光ビームのスキャンを可能にする複数の電極をもつ液体レンズを含む。光学システム415(同じくソースアセンブリ310)から放出される光は、画像光355と呼ばれる。
出力導波路320は、画像光355を受け取る。結合要素350は、ソースアセンブリ310からの画像光355を出力導波路320に結合する。結合要素350が回折格子である例では、内部全反射が出力導波路320中で発生し、画像光355が、分離要素365に向かって、(たとえば、内部全反射によって)出力導波路320中を内部的に伝搬するように、回折格子のピッチが選定される。
方向付け要素360は、出力導波路320から分離するために、画像光355を分離要素365のほうへ向け直す。方向付け要素360が回折格子である例では、回折格子のピッチは、入射画像光355が、分離要素365の表面に対して(1つまたは複数の)傾斜角において出力導波路320を出ることを引き起こすように選定される。
いくつかの例では、方向付け要素360および/または分離要素365は、構造的に同様である。出力導波路320を出た拡大された画像光340は、1つまたは複数の次元に沿って拡大される(たとえば、x次元に沿って延長され得る)。いくつかの例では、導波路ディスプレイ300は、複数のソースアセンブリ310と複数の出力導波路320とを含む。ソースアセンブリ310の各々は、原色(たとえば、赤、緑、または青)に対応する、波長の特定の帯域の単色画像光を放出する。出力導波路320の各々は、多色である拡大された画像光340を出力するために、離間距離を伴って一緒に積層され得る。
図5は、ニアアイディスプレイ100を含むシステム500の一例のブロック図である。システム500は、各々制御回路要素510に結合された、ニアアイディスプレイ100と、撮像デバイス535と、入出力インターフェース540と、画像センサー120a〜120dおよび150a〜150bとを備える。システム500は、ヘッドマウントデバイス、ウェアラブルデバイスなどとして構成され得る。
ニアアイディスプレイ100は、ユーザにメディアを提示するディスプレイである。ニアアイディスプレイ100によって提示されるメディアの例は、1つまたは複数の画像、ビデオ、および/またはオーディオを含む。いくつかの例では、オーディオは、外部デバイス(たとえば、スピーカーおよび/またはヘッドフォン)を介して提示され、この外部デバイスは、ニアアイディスプレイ100および/または制御回路要素510からオーディオ情報を受け取り、そのオーディオ情報に基づいてオーディオデータをユーザに提示する。いくつかの例では、ニアアイディスプレイ100はまた、ARアイウェアグラスとして働き得る。いくつかの例では、ニアアイディスプレイ100は、コンピュータ生成された要素(たとえば、画像、ビデオ、音など)を用いて、物理的現実世界の環境のビューを増強する。
ニアアイディスプレイ100は、導波路ディスプレイアセンブリ210、1つまたは複数の位置センサー525、および/または慣性測定ユニット(IMU)530を含む。導波路ディスプレイアセンブリ210は、ソースアセンブリ310と、出力導波路320と、コントローラ330とを含む。
IMU530は、位置センサー525のうちの1つまたは複数から受け取られた測定信号に基づいて、ニアアイディスプレイ100の初期位置に対するニアアイディスプレイ100の推定位置を指示する高速較正データを生成する電子デバイスである。
撮像デバイス535は、様々なアプリケーションのための画像データを生成し得る。たとえば、撮像デバイス535は、制御回路要素510から受け取られた較正パラメータに従って低速較正データを提供するために画像データを生成し得る。撮像デバイス535は、たとえば、ユーザのロケーション追跡を実施するために、ユーザが位置する物理的環境の画像データを生成するために図1Aの画像センサー120a〜120dを含み得る。撮像デバイス535は、たとえば、ユーザの関心物体を識別するために、ユーザの注視点を決定するための画像データを生成するために、図1Bの画像センサー150a〜150bをさらに含み得る。
入出力インターフェース540は、ユーザが制御回路要素510にアクション要求を送ることを可能にするデバイスである。アクション要求は、特定のアクションを実施するための要求である。たとえば、アクション要求は、アプリケーションを開始または終了するためのものであるか、あるいはアプリケーション内で特定のアクションを実施するためのものであり得る。
制御回路要素510は、撮像デバイス535、ニアアイディスプレイ100、および入出力インターフェース540のうちの1つまたは複数から受け取られた情報に従って、ユーザへの提示のためのメディアをニアアイディスプレイ100に提供する。いくつかの例では、制御回路要素510は、ヘッドマウントデバイスとして構成されたシステム500内に収容され得る。いくつかの例では、制御回路要素510は、システム500の他の構成要素と通信可能に結合された独立型コンソールデバイスであり得る。図5に示されている例では、制御回路要素510は、アプリケーションストア545と、追跡モジュール550と、エンジン555とを含む。
アプリケーションストア545は、制御回路要素510が実行するための1つまたは複数のアプリケーションを記憶する。アプリケーションは、プロセッサによって実行されたとき、ユーザへの提示のためのコンテンツを生成する命令のグループである。アプリケーションの例は、ゲームアプリケーション、会議アプリケーション、ビデオ再生アプリケーション、または他の好適なアプリケーションを含む。
追跡モジュール550は、1つまたは複数の較正パラメータを使用してシステム500を較正し、ニアアイディスプレイ100の位置の決定における誤差を低減するために、1つまたは複数の較正パラメータを調整し得る。
追跡モジュール550は、撮像デバイス535からの低速較正情報を使用して、ニアアイディスプレイ100の移動を追跡する。追跡モジュール550はまた、高速較正情報からの位置情報を使用して、ニアアイディスプレイ100の基準点の位置を決定する。
エンジン555は、システム500内でアプリケーションを実行し、追跡モジュール550から、ニアアイディスプレイ100の位置情報、加速度情報、速度情報、および/または予測された将来の位置を受け取る。いくつかの例では、エンジン555によって受け取られた情報は、ユーザに提示されるコンテンツのタイプを決定する導波路ディスプレイアセンブリ210への信号(たとえば、ディスプレイ命令)をもたらすために使用され得る。たとえば、インタラクティブ体験を提供するために、エンジン555は、(たとえば、追跡モジュール550によって提供される)ユーザのロケーション、または(たとえば、撮像デバイス535によって提供される画像データに基づく)ユーザの注視点、(たとえば、撮像デバイス535によって提供される画像データに基づく)物体とユーザとの間の距離に基づいて、ユーザに提示されるべきコンテンツを決定し得る。
図6は、ピクセルセル600の一例を示す。ピクセルセル600は、ピクセルアレイの一部であり得、画像のピクセルに対応するデジタル強度データを生成することができる。たとえば、ピクセルセル600は、図4のピクセルセル402の一部であり得る。図6に示されるように、ピクセルセル600は、フォトダイオード602、ならびに、シャッタースイッチ604と、転送ゲート606と、リセットスイッチ607と、電荷貯蔵ユニット608aおよびバッファ608bを備える電荷検知ユニット608と、ピクセルADC610とを含む処理回路を含み得る。
いくつかの例では、フォトダイオード602は、たとえば、P−Nダイオード、P−I−Nダイオード、ピン止めダイオードなどを含み得る。フォトダイオード602は、光を受け取ると電荷を生成することができ、生成される電荷の量は、光の強度に比例し得る。フォトダイオード602はまた、フォトダイオードのウェル容量に達したときに発生する、フォトダイオードの飽和まで、生成された電荷の一部を貯蔵することができる。その上、シャッタースイッチ604、転送ゲート606、およびリセットスイッチ607の各々は、トランジスタを含むことができる。トランジスタは、たとえば、金属酸化物半導体電界効果トランジスタ(MOSFET)、バイポーラ接合トランジスタ(BJT)などを含み得る。シャッタースイッチ604は、ピクセルセル600の露光期間を制御するための電子シャッターゲートとして(図4の機械的シャッター404の代わりに、または機械的シャッター404と組み合わせて)働くことができる。露光期間中に、シャッタースイッチ604は、露光イネーブル信号611によって無効化され(オフにされ)得、これは、フォトダイオード602が生成された電荷を貯蔵することを可能にし、フォトダイオード602が飽和したとき、オーバーフロー電荷が電荷貯蔵ユニット608aに流れることを可能にする。露光期間の終了時に、シャッタースイッチ604は有効化されて、フォトダイオード602によって生成された電荷をフォトダイオード電流シンク617に誘導することができる。その上、リセットスイッチ607が、リセット信号618によって同じく無効化され(オフにされ)得、これは、電荷貯蔵ユニット608aが電荷を蓄積することを可能にする。電荷貯蔵ユニット608aは、転送ゲート606のフローティング端子におけるデバイスキャパシタ、金属キャパシタ、MOSキャパシタ、またはそれらの任意の組合せであり得る。電荷貯蔵ユニット608aは、入射光強度を表すデジタル出力を提供するためにピクセルADC610によって測定され得る電荷の量をアナログ電圧に変換するために使用され得る。測定のモードが完了した後に、リセットスイッチ607は有効化されて、電荷貯蔵ユニット608aにおいて貯蔵された電荷を空にして電荷シンク620に移して、電荷貯蔵ユニット608aを次の測定のために利用可能にすることができる。
次に図7を参照すると、図7は、異なる光強度範囲についての時間に対する蓄積された電荷の量を示す。特定の時点において蓄積された電荷の総量は、露光期間中にフォトダイオード602に入射する光の強度を反映することができる。上記量は、露光期間が終了したときに測定され得る。入射光の強度についての低光強度範囲706、中光強度範囲708、および高光強度範囲710を定義する電荷のしきい値の量について、しきい値702およびしきい値704が定義され得る。たとえば、総蓄積電荷がしきい値702未満である場合(たとえば、Q1)、入射光強度は低光強度範囲706内にある。総蓄積電荷がしきい値704としきい値702との間にある場合(たとえば、Q2)、入射光強度は中光強度範囲708内にある。総蓄積電荷がしきい値704を超える場合、入射光強度は高光強度範囲710内にある。低光強度範囲および中光強度範囲についての、蓄積された電荷の量は、フォトダイオードが低光強度範囲706全体内で飽和せず、測定キャパシタが中光強度範囲708全体内で飽和しない場合、入射光の強度と相関することができる。
低光強度範囲706および中光強度範囲708、ならびにしきい値702および704の定義は、フォトダイオード602および電荷貯蔵ユニット608aの貯蔵容量に基づき得る。たとえば、低光強度範囲706は、露光期間の終了時の、フォトダイオード602に貯蔵された電荷の総量が、フォトダイオードの貯蔵容量を下回るかまたはそれに等しくなるように定義され得、しきい値702は、フォトダイオード602の貯蔵容量に基づき得る。以下で説明されるように、しきい値702は、フォトダイオード602の潜在的容量変動を考慮するために、フォトダイオードのスケーリングされた貯蔵容量に基づいて設定され得る。そのような仕組みは、フォトダイオード602に貯蔵された電荷の量が強度決定のために測定されたとき、フォトダイオードが飽和せず、測定された量が入射光強度に関係することを保証することができる。その上、中光強度範囲708は、露光期間の終了時の、電荷貯蔵ユニット608aに貯蔵された電荷の総量が、測定キャパシタの貯蔵容量を下回るかまたはそれに等しくなるように定義され得、しきい値704は、電荷貯蔵ユニット608aの貯蔵容量に基づき得る。一般的に、しきい値704も、電荷貯蔵ユニット608aに貯蔵された電荷の量が強度決定のために測定されたとき、測定キャパシタが飽和せず、測定された量が同じく入射光強度に関係することを保証するために、電荷貯蔵ユニット608aのスケーリングされた貯蔵容量に基づくように設定される。以下で説明されるように、しきい値702および704は、フォトダイオード602および電荷貯蔵ユニット608aが飽和したかどうかを検出するために使用され得、これは、出力されるべき入射光の強度範囲および測定結果を決定することができる。
さらに、入射光強度が高光強度範囲710内にある場合、電荷貯蔵ユニット608aにおいて蓄積された総オーバーフロー電荷は、露光期間が終了する前にしきい値704を超え得る。追加の電荷が蓄積されるにつれて、電荷貯蔵ユニット608aは、露光期間の終了の前に全容量に達し得、電荷漏洩が発生し得る。電荷貯蔵ユニット608aが全容量に達したことにより引き起こされる測定誤差を回避するために、電荷貯蔵ユニット608aにおいて蓄積された総オーバーフロー電荷がしきい値704に達するのにかかる持続時間を測定するために、飽和までの時間測定が実施され得る。電荷貯蔵ユニット608aにおける電荷蓄積のレートは、しきい値704と飽和までの時間との間の比に基づいて決定され得、(キャパシタが無限の容量を有する場合に、)露光期間の終了時に電荷貯蔵ユニット608aにおいて蓄積され得る電荷の仮定量(Q3)は、電荷蓄積のレートに従って外挿法によって決定され得る。電荷の仮定量(Q3)は、高光強度範囲710内の入射光強度の合理的に正確な表現を提供することができる。
再び図6を参照すると、転送ゲート606は、残留電荷キャパシタ603(図にはこれを示していない)、および、上記で説明されたような異なる光強度範囲についての、電荷貯蔵ユニット608aにおける電荷蓄積を制御するための測定制御信号612によって制御され得る。高光強度範囲710と中光強度範囲708とを測定するために、転送ゲート606は、部分的にオンにされた状態において動作するように制御され得る。たとえば、転送ゲート606のゲート電圧は、フォトダイオード602の電荷貯蔵容量に対応する、フォトダイオードにおいて生じた電圧に基づいて設定され得る。そのような仕組みにより、(高光強度範囲710について)飽和までの時間、および(中光強度範囲708について)電荷貯蔵ユニット608aに貯蔵された電荷の量を測定するために、オーバーフロー電荷(たとえば、フォトダイオードが飽和した後にフォトダイオードによって生成された電荷)のみが、転送ゲート606を通って移って電荷貯蔵ユニット608aに達する。その上、低光強度範囲706を測定するために、転送ゲート606は、フォトダイオード602に貯蔵された電荷の量を測定するために、フォトダイオード602に貯蔵された電荷を電荷貯蔵ユニット608aに転送するように、完全にオンにされた状態において制御され得る。
電荷貯蔵ユニット608aにおける電荷蓄積によって生成されたアナログ電圧は、バッファ608bによってバッファされて、アナログ出力ノード614におけるアナログ電圧の複製(ただし、より大きい駆動の強さをもつ)を生成し得る。アナログ出力ノード614におけるアナログ電圧は、ピクセルADC610によって(たとえば、論理1および0を備える)デジタルデータのセットに変換され得る。電荷貯蔵ユニット608aにおいて生じたアナログ電圧がサンプリングされ得、デジタル出力が、(たとえば、中光強度範囲708および高光強度範囲710について)露光期間の終了の前に、または(低光強度範囲706について)露光期間の後に生成され得る。デジタルデータは、露光期間中の光強度を表すために、たとえば、図5の制御回路要素510に、ピクセル出力バス616のセットによって送信され得る。
いくつかの例では、電荷貯蔵ユニット608aのキャパシタンスは、低光強度範囲についての光強度決定の正確さを改善するように構成可能であり得る。たとえば、フォトダイオード602において貯蔵された残留電荷を測定するために電荷貯蔵ユニット608aが使用されるとき、電荷貯蔵ユニット608aのキャパシタンスは低減され得る。電荷貯蔵ユニット608aのキャパシタンスの低減は、ある量の貯蔵された電荷についてより高い電圧を生じさせることができるように、電荷貯蔵ユニット608aにおける電荷−電圧変換比を増加させることができる。より高い電荷−電圧変換比は、低光強度決定の正確さに対するピクセルADC610によって導入される測定誤差(たとえば、量子化誤差、比較器オフセットなど)の効果を低減することができる。測定誤差は、ピクセルADC610によって検出および/または弁別され得る最小電圧差に対する限界を設定することができる。電荷−電圧変換比を増加させることによって、最小電圧差に対応する電荷の量は低減され得、これは、ピクセルセル600による測定可能な光強度の下限を低減し、ダイナミックレンジを拡張する。一方、中光強度では、電荷貯蔵ユニット608aのキャパシタンスは、電荷貯蔵ユニット608aが、たとえば、しきい値704によって定義される量までの電荷の量を貯蔵するのに十分な容量を有することを保証するために、増加され得る。
図8は、ピクセルADC610の内部構成要素の一例を示す。図8に示されているように、ピクセルADC610は、しきい値生成器802と、比較器804と、デジタル出力生成器806とを含む。デジタル出力生成器806は、カウンタ808とメモリ810とをさらに含み得る。カウンタ808は、自走クロック信号812に基づいてカウント値のセットを生成することができ、メモリ810は、カウンタ808によって生成されたカウント値のうちの少なくともいくつか(たとえば、最新のカウント値)を記憶することができる。いくつかの例では、メモリ810は、カウンタ808の一部であり得る。メモリ810は、たとえば、以下で説明されるように、ローカルピクセル値に基づいてカウンタ値を記憶するためのラッチ回路であり得る。しきい値生成器802は、デジタル値のセットを受け付け、デジタル値のセットを表す基準電圧(VREF)815を出力することができる、デジタルアナログ変換器(DAC)813を含む。以下でより詳細に説明されるように、しきい値生成器802は、静的デジタル値を受け付けて、固定しきい値を生成するか、またはカウンタ808の出力814を受け付けて、ランピングしきい値を生成し得る。
図8は、DAC813(およびしきい値生成器802)がピクセルADC610の一部であることを示しているが、DAC813(およびしきい値生成器802)は異なるピクセルセルからの複数のデジタル出力生成器806と結合され得ることを理解されたい。その上、カウンタ808など、デジタル出力生成器806の少なくとも一部は、デジタル値を生成するために複数のピクセルセルの間で共有され得る。
比較器804は、アナログ出力ノード614において生じたアナログ電圧をしきい値生成器802によって提供されたしきい値と比較し、比較結果に基づいて判定816を生成することができる。たとえば、比較器804は、アナログ出力ノード614におけるアナログ電圧がしきい値生成器802によって生成されたしきい値に等しいかまたはそのしきい値を超える場合、判定816について論理1を生成することができる。比較器804はまた、アナログ電圧がしきい値を下回る場合、判定816について論理0を生成することができる。判定816は、アナログ出力ノード614におけるランピングアナログ電圧の上述の飽和の時間測定、ならびに入射光強度決定のためのアナログ出力ノード614におけるアナログ電圧の量子化処理を実施するために、カウンタ808のカウンティング動作および/またはメモリ810に記憶されたカウント値を制御することができる。
図9Aは、ピクセルADC610による飽和までの時間測定の一例を示す。飽和までの時間測定を実施するために、しきい値生成器802は、固定VREF815を生成するようにDAC813を制御することができる。固定VREF815は、電荷貯蔵ユニット608aの飽和についての電荷量しきい値(たとえば、図7のしきい値704)に対応する電圧に設定され得る。カウンタ808は、露光期間が開始した直後に(たとえば、シャッタースイッチ604が無効化された直後に)カウントすることを開始することができる。アナログ出力ノード614におけるアナログ電圧がランプダウンする(または実装形態に応じてランプアップする)とき、クロック信号812は、カウンタ808におけるカウント値を更新するようにトグルし続ける。アナログ電圧は、ある時点において固定しきい値に達し得、これは、比較器804による判定816が反転することを引き起こす。判定816の反転はカウンタ808のカウンティングを停止し得、カウンタ808におけるカウント値は飽和までの時間を表し得る。以下でより詳細に説明されるように、持続時間に基づいて電荷貯蔵ユニット608aにおける電荷蓄積のレートも決定され得、電荷蓄積のレートに基づいて入射光強度が決定され得る。
図9Bは、ピクセルADC610によってアナログ電圧を量子化することの一例を示す。測定が開始した後に、DAC813は、(図9Bの例において)ランプアップするかまたは実装形態に応じてランプダウンすることができるランピングVREF815を生成するように、カウンタ出力814によってプログラムされ得る。ランピングVREF815の電圧範囲は、しきい値704(電荷貯蔵ユニット608aの飽和についての電荷量しきい値)としきい値702(フォトダイオード602の飽和についての電荷量しきい値)との間にあり得、これは、中光強度範囲を定義することができる。図9Bの例では、量子化プロセスは、VREF815がクロック信号812の各クロックサイクルについて同じ量だけ増加(または減少)する、一様量子化ステップで実施され得る。VREF815の増加(または減少)の量は量子化ステップに対応する。VREF815がアナログ出力ノード614におけるアナログ電圧の1つの量子化ステップ内に達したとき、比較器804による判定816が、負から正に反転する。判定816の反転は、カウンタ808のカウンティングを停止し得、カウント値は、1つの量子化ステップ内でアナログ電圧に一致するように蓄積された量子化ステップの総数に対応することができる。カウント値は、VREF815がアナログ電圧に達するのにかかった時間の測定値に対応し、電荷貯蔵ユニット608aにおいて貯蔵された電荷の量のデジタル表現、ならびに入射光強度のデジタル表現であり得る。上記で説明されたように、アナログ電圧の量子化は、(たとえば、中光強度範囲708について)露光期間中に、および(たとえば、低光強度範囲706について)露光期間の後に行われ得る。
上記で説明されたように、ADC610は、(たとえば、量子化ステップの総数によって表される)ADC610によって出力された量レベルによって表される電荷の量と、ADC610による量レベルにマッピングされる電荷の実際の入力量との間に不一致があるとき、量子化誤差を導入することがある。量子化誤差は、より小さい量子化ステップサイズを使用することによって低減され得る。図9Bの例では、量子化ステップサイズは、たとえば、(しきい値702としきい値704との間の)量子化動作の入力範囲902を低減すること、カウンタ808によって測定されるべき時間の対応する範囲を低減すること、クロック信号812のクロック周波数を増加させること、または、それらの任意の組合せに基づいて、クロックサイクルごとにVREF815の増加(または減少)の量だけ低減され得る。
量子化誤差は、より小さい量子化ステップサイズを使用することによって低減され得るが、エリアおよび実施速度は、量子化ステップがどの程度低減され得るかを限定し得る。たとえば、クロック信号812のクロック周波数が増加され、入力範囲902が同じままである場合、電荷量(および光強度)の特定の範囲を表すために必要とされる量子化ステップの総数は、増加し得る。増加された数の量子化ステップを表すためにより多数のデータビット(たとえば、255個のステップを表すために8ビット、127個のステップを表すために7ビットなど)が必要とされ得る。より多数のデータビットは、追加のバスがピクセル出力バス616に追加されることを必要とし得、これは、ピクセルセル600が、ヘッドマウントデバイスまたはごく限られたスペースをもつ他のウェアラブルデバイス上で使用される場合、実現可能でないことがある。その上、より多数の量子化ステップサイズの場合、ADC610は、(1つの量子化ステップと)一致する量レベルを見つける前により多数の量子化ステップを循環する必要があり得、これは、処理電力消費量および時間の増加、ならびに画像データを生成するレートの低減につながる。レートの低減は、高いフレームレートを必要とするいくつかのアプリケーション(たとえば、眼球の移動を追跡するアプリケーション)にとって許容できないことがある。
量子化誤差を低減するための1つのやり方は、量子化ステップが入力範囲にわたって一様でない非一様量子化方式を採用することによるものである。図10Aは、非一様量子化プロセスおよび一様量子化プロセスについてのADCコード(量子化プロセスの出力)と入力電荷量レベルとの間のマッピングの一例を示す。点線は、非一様量子化プロセスについてのマッピングを示し、実線は、一様量子化プロセスについてのマッピングを示す。一様量子化プロセスでは、(Δによって示される)量子化ステップサイズは、入力電荷量の範囲全体について同等である。対照的に、非一様量子化プロセスでは、量子化ステップサイズは、入力電荷量に応じて異なる。たとえば、(Δによって示される)低入力電荷量についての量子化ステップサイズは、(Δによって示される)大きい入力電荷量についての量子化ステップサイズよりも小さい。その上、同じ低入力電荷量について、非一様量子化プロセスについての量子化ステップサイズ(Δ)は、一様量子化プロセスについての量子化ステップサイズ(Δ)よりも小さくされ得る。
非一様量子化方式を採用することの1つの利点は、低入力電荷量を量子化するための量子化ステップが低減され得、これが、低入力電荷量を量子化する際の量子化誤差を低減し、ADC610によって弁別され得る最小入力電荷量が低減され得ることである。したがって、低減された量子化誤差は、画像センサーの測定可能な光強度の下限を押し下げることができ、ダイナミックレンジが増加され得る。その上、量子化誤差は高入力電荷量について増加されるが、量子化誤差は、高入力電荷量と比較して小さいままであり得る。したがって、電荷の測定に導入される全体的な量子化誤差は低減され得る。一方、入力電荷量の範囲全体をカバーする量子化ステップの総数は、同じ(さらには低減された)ままであり得、量子化ステップの数を増加させることに関連する上述の潜在的問題(たとえば、エリアの増加、処理速度の低減など)は、回避され得る。
図10Bは、非一様量子化プロセスを使用してピクセルADC610によってアナログ電圧を量子化することの一例を示す。(一様量子化プロセスを採用する)図9Bと比較して、VREF815は、最初により緩やかな傾きで、および後でより急な傾きで、各クロックサイクルに関して非線形様式で増加する。傾きの差は、不均一な量子化ステップサイズに起因する。(より低い入力量範囲に対応する)より低いカウンタカウント値では、量子化ステップはより小さくされ、したがって、VREF815は、より遅いレートで増加する。(より高い入力量範囲に対応する)より高いカウンタカウント値では、量子化ステップはより大きくされ、したがって、VREF815は、より高いレートで増加する。VREF815における不均一な量子化ステップは、異なる方式を使用して導入され得る。たとえば、上記で説明されたように、DAC813は、(カウンタ808からの)異なるカウンタカウント値について電圧を出力するように構成される。DAC813は、(量子化ステップサイズを定義する)2つの隣接するカウンタカウント値間の出力電圧の差が、異なるカウンタカウント値について異なるように構成され得る。別の例として、カウンタ808はまた、同じカウントステップだけ増加または減少する代わりに、カウンタカウント値の跳びを生成して、不均一な量子化ステップを生成するように構成され得る。いくつかの例では、図10Bの非一様量子化プロセスは、低光強度範囲706および中光強度範囲708についての光強度決定のために採用され得る。
次に図11を参照すると、図11は、ピクセルセル1100の一例を示し、ピクセルセル1100は、図6のピクセルセル600の一例であり得る。図11の例では、PDがフォトダイオード602に対応することができ、トランジスタM0がシャッタースイッチ604に対応することができ、トランジスタM1が転送ゲート606に対応することができ、トランジスタM2がリセットスイッチ607に対応することができる。その上、COFキャパシタとCEXTキャパシタとの組合せが電荷貯蔵ユニット608aに対応することができる。COFキャパシタは、フローティングドレインノードの寄生キャパシタであり得る。電荷貯蔵ユニット608aのキャパシタンスは、信号LGによって構成可能である。LGが有効化されたとき、電荷貯蔵ユニット608aは、COFキャパシタとCEXTキャパシタとの組み合わせられた容量を提供する。LGが無効化されたとき、CEXTキャパシタは、並列の組合せから切断され得、電荷貯蔵ユニット608aは、COFキャパシタのみ(および他の寄生キャパシタンス)を備える。上記で説明されたように、電荷貯蔵ユニット608aのキャパシタンスは、低光強度決定のための電荷−電圧変換比を増加させるために低減され得、中光強度決定のための必須の容量を提供するために増加され得る。
ピクセルセル1100は、バッファ608bの一例と、ピクセルADC610の一例とをさらに含む。たとえば、トランジスタM3およびM4は、COFキャパシタにおいて(またはCOFキャパシタおよびCEXTキャパシタにおいて)貯蔵された電荷の量を表す、OFノードにおいて生じたアナログ電圧をバッファするための、図6のバッファ608bであり得るソースフォロワを形成する。さらに、CCキャパシタ、比較器1102、トランジスタM5、NORゲート1116が、メモリ810とともに、OFノードにおけるアナログ電圧を表すデジタル出力を生成するためのピクセルADC610の一部であり得る。上記で説明されたように、量子化は、OFノードにおいて生じたアナログ電圧とVREFと間の、比較器1102によって生成された比較結果(VOUT)に基づき得る。ここで、CCキャパシタは、バッファ608bの出力を追跡する(比較器1102の1つの入力における)VIN電圧を生成するように構成され、VIN電圧を比較器1102に提供して、VREFと比較する。VREFは、(高光強度範囲についての)飽和の時間測定のための静的電圧または(低光強度範囲および中光強度範囲についての)アナログ電圧の量子化のためのランピング電圧であり得る。ADCコードは自走カウンタ(たとえば、カウンタ808)によって生成され得、比較器1102によって生成された比較結果は、メモリ810に記憶され、入射光強度のデジタル表現として出力されるべき、ADCコードを決定することができる。いくつかの例では、低光強度決定および中光強度決定のためのVREFの生成は、図10Aおよび図10Bで説明されたように、非一様量子化方式に基づき得る。
ピクセルセル1100は、上記で開示された技法に加えて、入射光強度決定の正確さをさらに改善することができる技法を含む。たとえば、CCキャパシタとトランジスタM5との組合せは、比較器1102の正確さが改善され得るように、比較器1102によって導入される測定誤差(たとえば、比較器オフセット)、ならびに比較器1102に導入される他の誤差信号を補償するために使用され得る。雑音信号は、たとえば、リセットスイッチ607によって導入されるリセット雑音電荷、ソースフォロワしきい値不一致によるバッファ608bの出力における雑音信号などを含み得る。比較器オフセットならびに誤差信号を反映する量の電荷が、トランジスタM2とトランジスタM5の両方が有効化されたとき、リセット段階中にCCキャパシタにおいて貯蔵され得る。貯蔵された電荷により、リセット段階中にCCキャパシタにわたる電圧差も生じ得る。測定段階中に、CCキャパシタにわたる電圧差は残っており、CCキャパシタは、VINを生成するために、電圧差を減算(または加算)することによってバッファ608bの出力電圧を追跡することができる。その結果、VIN電圧は、測定誤差および誤差信号について補償され得、これは、VINとVREFとの間の比較と、その後の量子化との正確さを改善する。
加えて、ピクセルセル1100は、コントローラ1110をさらに含む。コントローラ1110は、図7の3つの光強度範囲(たとえば、低光強度範囲706、中光強度範囲708、および高光強度範囲710)に対応する3段階測定動作を実施するようにピクセルセル1100を動作させるために、シャッター、TX、RST1、RST2など、制御信号のシーケンスを生成することができる。各段階において、ピクセルセル1100は、対応する光強度範囲を対象とする測定モードにおいて動作され、比較器1102の判定出力(VOUT)に基づいて、入射光強度が、対応する光強度範囲内に入るかどうかを決定することができる。ピクセルセル1100は、段階のうちのいくつかの判定出力をFLAG_1信号およびFLAG_2信号として記憶するためのレジスタのセットをさらに含む。FLAG_1信号およびFLAG_2信号に基づいて、コントローラ1110は、入射光強度を表すために、3つの段階のうちの1つからADCコードを選択することができる。選択されたADCコードはメモリ810に記憶され得、メモリ810は、後続の測定段階がメモリ810中の選択されたADCコード出力を上書きするのを防ぐために、NORゲート1116によってFLAG_1信号とFLAG_2信号との組合せに基づいてロックされ得る。3段階測定プロセスの終了時に、コントローラ1110は、メモリ810に記憶されたADCコードを取り出し、そのADCコードを、入射光強度を表すデジタル出力として提供することができる。
次に図12を参照すると、図12は、時間に対する3段階測定動作についてのピクセルセル1100の制御信号のシーケンスを示す。図12を参照すると、T0’とT0との間の時間は第1のリセット段階に対応する。T0とT1との間の時間期間は、露光期間、および飽和までの時間測定モードに対応し得る。T1とT2との間の時間期間は、フローティングドレインに貯蔵されたオーバーフロー電荷の量を測定するための測定モードに対応する。オーバーフロー電荷の測定のための測定モードは、図12では「FD ADC」と標示されており、中光強度範囲708を測定するために使用され得る。さらに、T2とT3との間の時間期間は第2のリセット段階を含み、その後に、フローティングドレインへのフォトダイオード602に貯蔵された電荷の転送が続く。その上、T3とT4との間の時間期間は、フォトダイオードに貯蔵され、フローティングドレインに転送された電荷の量を測定するための測定モードに対応する。フォトダイオードに貯蔵された電荷を測定するための測定モードは、図12では「PD ADC」と標示されており、低光強度範囲706を測定するために使用され得る。ピクセルセル1100は、時間T4において入射光強度を表すデジタル出力を提供し、次いで、次の3段階測定動作を開始することができる。
図12に示されているように、T0の前に、RST1信号およびRST2信号と、LG信号と、シャッター信号とはアサートされるが、TX信号は電圧VLOWにおいてバイアスされる。VLOW(図示せず)は、(もしあれば)オーバーフロー電荷のみがフォトダイオードPDからトランジスタM1を介してCEXTキャパシタおよびCOFキャパシタに流れることを可能にするために、フォトダイオードPDの電荷容量に対応することができる。そのような仕組みにより、フォトダイオードPD、ならびにCEXTキャパシタおよびCOFキャパシタの両方が、リセットされ得る。その上、フォトダイオードPDによって生成された電荷はトランジスタM0によって迂回されるので、電荷はキャパシタに追加されない。フォトダイオードPD、ならびにOFノードにわたる電圧は、フォトダイオードPDとCEXTキャパシタとCOFキャパシタとが電荷を貯蔵しない状態を表すことができる、VRESETに等しい電圧に設定され得る。さらに、比較器1102もリセット段階にあり、CCキャパシタは、M2によって導入されたリセット雑音、比較器オフセット、バッファ608bのしきい値不一致などを反映する、電荷を貯蔵することができる。さらに、VREFも、VRESETに等しい値に設定され得る。いくつかの例では、VRESETは、ピクセルセル1100への電源電圧(たとえば、VDD)に等しくなり得る。
時間T0において、カウンタ808は、初期値(たとえば、0)からカウントすることを開始することができる。T0とT1との間の時間期間中に、シャッター信号はアサート解除されるが、LG信号はアサートされたままであり、TX信号はVLOWのままである。T0とT1との間の時間期間は露光期間であり得る。VREFは、CEXTキャパシタとCOFキャパシタの両方の容量がいっぱいであるときのOFノードの電圧に対応することができる、VFDSATに等しい値に設定され得る。VFDSATとVRESETとの間の差は、たとえば、図7のしきい値704に対応することができる。T0とT1との間の時間期間中に、飽和までの時間(TTS)測定が実施され得、この測定において、オーバーフロー電荷が、フォトダイオードPDからトランジスタM1を介してCOFキャパシタおよびCEXTキャパシタに流れて、OFノードにおいてランピング電圧を生じさせる。OFノードにおけるアナログ電圧(VIN)のバッファされ、誤差補償されたバージョンは、カウンタ808が自走している間、VFDSATと比較され得る。COFキャパシタおよびCEXTキャパシタにおいて貯蔵された総電荷が(OFノード電圧に基づく)しきい値704を超える場合、比較器1102の出力は反転することができ、これは、入射光が高強度範囲中にあり、TTS測定結果が、入射光の強度を表すために使用され得ることを指示する。したがって、反転の時間においてカウンタ808によって生成されたカウント値は、メモリ810に記憶され得る。比較器1102の出力の検査1202が時間T1において行われ得、比較器1102の反転はまた、コントローラ1110がレジスタ1112中のFLAG_1信号をアサートすることを引き起こす。非0FLAG_1信号値は、NORゲート1116の出力が、NORゲートへの他の入力にかかわらず低いままであることを引き起こすことができ、メモリをロックし、後続の測定段階がカウント値を上書きするのを防ぐことができる。一方、比較器1102がT1とT2との間の時間期間中に決して反転しない場合、これは、入射光強度が高光強度範囲よりも低いことを指示し、FLAG_1信号は0にとどまる。コントローラ1110は、時間期間T0〜T1の間にレジスタ1114に記憶されたFLAG_2値を更新せず、FLAG_2値は0のままであり得る。
時間T1において、カウンタ808は、その初期値(たとえば、0)からカウントすることを再開することができる。T1とT2との間の時間期間中に、FD ADC動作が実施され得、OFノードにおけるアナログ電圧は、CEXTキャパシタおよびCOFキャパシタに貯蔵されたオーバーフロー電荷の量を測定するために、ADC610によって量子化され得る。いくつかの例では、時間期間T1〜T2中に、フォトダイオードPDは、CEXTキャパシタおよびCOFキャパシタに貯蔵された総オーバーフロー電荷と、OFノードにおけるアナログ電圧とが一定のままであるように、(たとえば、機械的シャッター404によって)入射光から遮蔽され得る。(図12で「第1のランピングVREF」と標示された)第1のランピングしきい値電圧が、OFノードにおけるアナログ電圧(VIN)のバッファされ、誤差補償されたバージョンと比較されるように、比較器1102に供給され得る。いくつかの例では、第1のランピングVREFは、自走カウンタからのカウント値に基づいてDACによって生成され得る。ランピングVREFが(1つの量子化ステップ内で)VINに一致する場合、比較器1102の出力は反転することができ、(FLAG_1信号の0値によって指示されるように)測定の第1の段階によってメモリがロックされない場合、反転の時間においてカウンタ808によって生成されたカウント値は、メモリ810に記憶され得る。メモリがロックされる場合、カウント値はメモリ810に記憶されない。
いくつかの例では、図12に示されているように、第1のランピングVREFの電圧範囲は、VFDSATとVRESETとの間にあり得る。VFDSATは、(CEXTキャパシタおよびCOFキャパシタが飽和状態に近いときの)CEXTキャパシタおよびCOFキャパシタに貯蔵される総オーバーフロー電荷の上限を定義することができ、VRESETは、(オーバーフロー電荷がなく、したがって、OFノードの電圧がVRESETのままであるときの)キャパシタに貯蔵される総オーバーフロー電荷の下限を定義することができる。FD ADC段階における比較器1102の反転は、OFノード電圧がVRESETよりも低いことを指示することができ、これは、キャパシタに貯蔵された総オーバーフロー電荷が下限を超えることを意味し得る。したがって、FD ADC段階における比較器1102の反転は、フォトダイオードPDが飽和し、したがって、キャパシタに貯蔵されたオーバーフロー電荷があり、オーバーフロー電荷の量子化結果が入射光の強度を表すことができることを、指示することができる。比較器1102の出力の検査1204が、FD ADC段階の後に時間T2において行われ得、コントローラ1110は、比較器1102の反転に基づいてレジスタ1114中のFLAG_2信号をアサートして、メモリ810に記憶されたカウント値をロックすることができ、これは、後続の段階がメモリ810に別のカウント値を記憶するのを防ぐ。
T2とT3との間の時間期間の始まりにおいて、RST1信号とRST2信号の両方が第2のリセット段階のために再びアサートされ得る。第2のリセット段階の目的は、CEXTキャパシタとCOFキャパシタとをリセットすること、および(低光強度範囲についての)測定の第3の段階においてPDCAPキャパシタから転送された電荷を貯蔵するためにCOFキャパシタを準備することである。また、LG信号は、COFキャパシタからCEXTキャパシタを切断し、測定キャパシタのキャパシタンスを低減するために、アサート解除され得る。キャパシタンスの低減は、上記で説明されたように、電荷−電圧変換比を増加させて、低光強度決定を改善することになる。比較器1102もリセット状態に入れられ、ここで、CEXTキャパシタおよびCOFキャパシタをリセットすることによって生成された雑音電荷を貯蔵するためにCCキャパシタが使用され得る。時間T3に向かって、リセットが完了した後に、RST1信号とRST2信号とはアサート解除されるが、バイアスTXは電圧VHIGHまで増加して、トランジスタM1を完全にオンにすることができる。フォトダイオードPDに貯蔵された電荷は、次いで、M1を介してCOFキャパシタに移動することができる。
時間T3において、カウンタ808は、その初期値(たとえば、0)からカウントすることを再開することができる。T3とT4との間の時間期間中に、PD ADC動作が、低光強度範囲について実施され得る。その期間中に、シャッター信号はアサートされるが、TX信号は、アサート解除される(たとえば、0への設定)かまたは電圧VLOWに設定されて、COFキャパシタにおいて貯蔵された電荷がM1を介して漏洩するのを防ぐ。(図12で「第2のランピングVREF」と標示された)第2のランピングしきい値電圧が、OFノードにおけるアナログ電圧(VIN)のバッファされ、誤差補償されたバージョンと比較されるように、比較器1102に供給され得る。第2のランピングVREFは、フォトダイオードPDを飽和させる残留電荷の量をCOFキャパシタが貯蔵するときのCOFキャパシタにおける電圧を表すVPDSATと、VRESETとの間の電圧範囲を有することができる。第2のランピングVREFが(1つの量子化ステップ内で)VINに一致する場合、比較器1102の出力は反転し得、(FLAG_1信号の0値によって指示されるように)測定の第1の段階によってまたは(FLAG_2信号の0値によって指示されるように)測定の第2の段階によってメモリがロックされない場合、反転の時間においてカウンタ808によって生成されたカウント値は、メモリ810に記憶され得る。
図12は、入射光強度を測定するための3段階測定動作を示すが、それらの段階のうちの1つまたは複数が、たとえば、動作環境についての予想される入射光強度範囲に基づいて、スキップされることを理解されたい。たとえば、ピクセルセルが、低い周辺光を伴う環境において(たとえば、夜間において)動作する場合、高光強度を対象とする測定の第1の段階はスキップされ得る。その上、ピクセルセルが、中程度のまたは強い周辺光を伴う環境において(たとえば、昼間において)動作する場合、低光強度を対象とする測定の第3の段階はスキップされ得る。
上記で説明されたように、フォトダイオードPDが飽和したかどうかの検出は、電荷貯蔵ユニットに貯蔵されたオーバーフロー電荷があるかどうかを判定するために、FD ADCにおいてOF電圧をVRESETと比較することに基づき得る。しかしながら、オーバーフロー電荷を測定することに基づくフォトダイオードPDの飽和の検出は、暗電流の傾向があり得る。特に、COFキャパシタは、M1トランジスタのフローティングドレインノードによって形成され、フローティングドレインノードは、大量の暗電流を受け取り得、暗電流は、フローティングドレインノードに蓄積して暗電荷になり得る。暗電荷は、フォトダイオード飽和の偽検出につながり得る。例証的な例として、室温では、総暗電荷は、ピクセルあたり、および1秒あたり、およそ50e−であり得る。約10ミリ秒の(たとえば、T0とT1の間の)露光期間により、フレームあたり1個未満の暗電子がある。しかし、フローティングドレインノード上の暗電流は、2または3桁であり得る。フローティングドレインノードは、露光期間中にオーバーフロー電荷を積分する間に、このような大きい暗電流を受け取るので、大量の暗電荷が、結果として蓄積され得る。暗電荷は、フローティングドレインノードがオーバーフロー電荷を貯蔵しなかったとしても、OF電圧をVRESETより下に落とすことを引き起こし得、これは、フォトダイオード飽和の偽検出につながり得る。その結果、FLAG_2信号が不正確にアサートされ得、これは、実際には、低強度範囲での入射光の正しい表現をPD ADC出力が提供するときでも、PD ADC出力が捨てられることにつながる。
図13Aは、フォトダイオードPD飽和の検出に対する暗電流の影響を軽減することができるピクセルセル1100についての制御信号の例示的なシーケンスを示す。図13Aに示されるように、第1のランピングVREFの電圧範囲は、OF電圧と比較するために使用され、VFDSATとVRESET〜VDARK−FDとの間にある。VDARK−FD電圧は、電荷の所定の量に対応する電圧保護帯域(voltage guard band)であり得る。特に、比較器1102の出力がFD ADC中に反転して、フォトダイオードPDが飽和したことを指示するために、オーバーフロー電荷および暗電荷を含み得る、COFおよびCEXTキャパシタに貯蔵された電荷は、電荷の所定の量を超える必要がある。電圧保護帯域は、暗電荷だけが、比較器1102の出力が反転することを引き起こし得る可能性が低くなるように構成され得、これは、暗電流によるフォトダイオード飽和の偽検出の可能性を低減することができる。比較器1102の出力のステータスの検査1304は、FLAG_2をアサートして、メモリに記憶されたカウント値をロックするべきかどうかを判定するために、FD ADC測定が完了した後、時間T2において行われ得る。
図13Aにおける仕組みは、暗電流によるフォトダイオード飽和の偽検出の可能性を低減することができるが、電圧保護帯域VDARK−FDは、第1のランピングVREFの電圧範囲を低減させ、これも、量子化動作のための入力電圧範囲を低減する。電圧保護帯域内に入るOF電圧、および対応する量のオーバーフロー電荷は量子化されず、量子化ギャップが、図13Bに示されるように生じ得る。電圧保護帯域、および結果として生じる量子化ギャップは、比較器オフセットの変動、暗電流の変動、等のランダムな分布など、ピクセル間の変動の様々なソースを考慮するには、かなり大きくなり得る。電圧保護帯域が、最大比較器オフセットおよび最大暗電流を考慮するように構成される場合、電圧保護帯域は、入力電圧範囲の1/8を占め得るほどに大きくなり得るので、大きい量子化ギャップが生じ得る。大きい量子化ギャップは、特に、FD ADC測定動作とPD ADC測定動作の強度範囲の間を越える光強度範囲について、量子化雑音の著しい増加、および信号対雑音比の大きな低下につながり得る。
図14Aは、量子化ギャップの発生を低減させつつ、フォトダイオードPD飽和の検出に対する暗電流の影響を軽減することができるピクセルセル1100についての制御信号の例示的なシーケンスを示す。特に、図14Aに示されるように、フォトダイオードPD飽和の検出は、電荷貯蔵ユニット608aのキャパシタンスを低減するために、CEXTがCOFキャパシタから切断された後、および、その後のPD ADC測定動作のために残留電荷がCOFキャパシタに転送された後、時間T3において実施され得る。特に、時間T3において、比較器1102は、上記で説明されたように、フォトダイオードPDを飽和させる量の残留電荷を貯蔵したときのCOFキャパシタにおける電圧を表すVPDSATと、OF電圧を比較する。COFキャパシタに貯蔵された残留電荷が、フォトダイオードPDの飽和容量より小さい場合、COFキャパシタにおける電圧は、VPDSATより大きくなり得、比較器1102の出力は、低いままになり得る。その一方で、フォトダイオードPDが飽和した場合、COFキャパシタに貯蔵された残留電荷は、フォトダイオードPDの飽和容量に等しい。COFキャパシタにおける電圧は、VPDSATを下回るかまたはそれに等しくなり得、比較器1102の出力は反転し得る。比較器1102の出力の検査1404は、時間T3において行われ得る。時間T3において比較器1102の出力が正である場合、コントローラ1110は、FLAG_2ビットをアサートすることができ、そうでなければ、FLAG_2ビットは、メモリ810をロックするために、または、(FLAG_1ビットも低い場合)PD ADC出力において、メモリ810がラッチすることを可能にするために、デアサートされ得る。
図14Aの仕組みは、フォトダイオードPDが、典型的には、フローティングドレインノードよりずっと少ない暗電流を受け取り、したがって、(たとえば、T0とT1の間の)露光期間中にフォトダイオードPDによって蓄積され、フォトダイオードPDから転送された電荷に存在する暗電荷が、典型的には、無視できるほどのものであり、偽のフォトダイオード飽和検出を引き起こす可能性が低いので、暗電流に対する、フォトダイオードPD飽和検出のロバストネスを改善することができる。たとえば、上記で説明されたように、室温では、総暗電荷は、ピクセルあたり、および1秒あたり、約50e−であり得、約10ミリ秒の露光期間では、フレームあたり1つ未満の暗電子がある。その上、残留電荷をフローティングドレインノードに転送するための時間(T2とT3の間の時間期間の半分)は、露光期間と比較すると比較的短く、これは、フォトダイオード飽和検出の前にフローティングドレインノードによって蓄積された暗電荷を低減することもできる。その結果、PD ADCの始まりにおいてフローティングドレインノード内(およびCOFキャパシタ内)に存在する暗電荷は、FD ADC中より著しく少なくなり得、フォトダイオードPDが飽和していないときに、比較器1102の出力が反転することを引き起こす可能性が低くなる。
いくつかの例では、図14Bに示されるように、電圧保護帯域VDARK−PDは、フォトダイオードPD飽和検出のために、OF電圧が、VPDSAT+VDARK−PDの静的しきい値電圧と比較されるように、V PDSATに追加され得る。第2のランピングVREFは、VPDSAT+VDARK−PDから開始してVRESETになり得る。このような仕組みは、たとえば、COFキャパシタに貯蔵された残留電荷の量が、フォトダイオードPDの飽和容量よりわずかに少ないとき、フォトダイオード飽和の偽検出を防ぐことができるが、暗電荷の存在により、COFキャパシタにおける総電荷は飽和容量を超え、比較器1102の出力は反転する。しかし、電圧保護帯域VDARK−PDは、(たとえば、フォトダイオードにおける低い暗電流、フローティングドレインノードにおけるさらなる暗電荷の短時間の蓄積、等により)暗電荷のずっと低い予想量のために、図13Aの電圧保護帯域VDARK−FDよりずっと小さくなり得る。その結果、VDARK−PD電圧保護帯域の導入によるPD ADC動作についての入力電圧範囲の低減は、図13Aおよび図13Bにおけるよりもずっと重要でなくなり得、結果として生じる量子化ギャップは(もしあれば)、同様に低減され得る。
いくつかの例では、TTS、FD ADC、およびPD ADC測定のそれぞれは、1つまたは複数のブレークポイントに基づく2つ以上のサブステージに分けられ得る。コントローラ1110は、これらのブレークポイントにおいて比較器1102の出力を検査し、これらのブレークポイントにおける比較器1102の出力のステータスに基づいて、(FD ADC出力およびPD ADC出力から選択するための)フォトダイオードPD飽和の検出、ならびに、(TTS出力またはFD ADC/PD ADC出力から選択するための)電荷貯蔵ユニット飽和の検出を、実施することができる。このような仕組みは、冗長性を導入し、検出の正確さを改善することができる。その上、カウンタは、各サブステージの始まりにおいてリセットされ得、これは、量子化されることになる入力電圧範囲および/または時間の範囲を収縮させる。カウンタの同じビット数で、カウンタは、時間の低減された範囲を測定するために、より高い頻度で更新することができ、これは、量子化誤差を低減することができる。
図15は、複数のサブステージに分けられたFD ADC動作を有するピクセルセル1100についての制御信号のシーケンスの例を示す。図15に示されるように、電圧ブレークポイントVFD−BREAKは、時間T1Aにおける第1のランピングVREFの電圧に対応し、FD ADC動作を、FD ADC1およびFD ADC2サブステージに分けるように設定され得る。いくつかの例では、VFD−BREAKは、露光期間中にフローティングドレインノード(COFキャパシタ)に蓄積された所定の量の暗電荷に基づいて、電圧保護帯域として構成され得る。
時間T1において、検査1202は、電荷貯蔵ユニット608aが飽和したことを指示する、TTS中に比較器1102の出力が反転するかどうか(および正になるかどうか)を判定するために、コントローラ1110によって実施され得る。TTS中に比較器1102の出力が反転したとき、カウンタ808からのカウント値は、メモリ810に記憶され得る。コントローラ1110は、電荷貯蔵ユニット608aが飽和した場合、FLAG_1ビットをアサートして、メモリ810をロックし、記憶されたカウント値がその後のFD ADCおよびPD ADC動作で上書きされるのを防ぐことができる。次に、カウンタ808がリセットされ、TTS動作後に初期値からカウントを開始することができる。
FD ADC1サブステージは、時間T1とT1Aの間で発生することができ、このサブステージにおいて、比較器1102は、VDSATからVFD−BREAKにランプする第1のランピングVREFと、OF電圧を比較することができる。第1のランピングVREFがOF電圧を越える場合、比較器1102の出力は反転することができ、カウンタ808からのカウント値は、FLAG_1ビットがTTS動作からアサートされず、メモリ810がロックされない場合、メモリ810にラッチされ得る。第1のランピングVREFがOF電圧を越えない場合、比較器1102の出力は低いままであり得、メモリ810に記憶されたカウント値は(もしあっても)、更新されない。
時間T1Aにおいて、コントローラ1110は、比較器1102の出力が正であるかどうかを判定するために、比較器1102の出力の検査1502を実施することができる。FD ADC1サブステージ内の比較器1102の出力の反転は、OF電圧がVFD−BREAKを下回ることを指示することができ、これは、フローティングドレインノードに貯蔵された電荷が暗電荷の所定の量を超えたこと、および、フォトダイオードPDが飽和される可能性が高いことを指示することができる。このような指示に基づいて、コントローラ1110は、FLAG_2ビットをアサートすることができる。しかし、以下で説明されるように、コントローラ1110は、メモリ810をロックする前に、比較器1102の出力について、もう1つの検査を実施する。カウンタ808は、次に、FD ADC1動作が完了した後、リセットされ、初期値からカウントを開始することができる。
FD ADC2サブステージは、時間T1AとT2の間で発生することができ、このサブステージにおいて、比較器1102は、VFD−BREAKからVRESETへのランピングを続ける第1のランピングVREFと、OF電圧を比較することができる。第1のランピングVREFがOF電圧を越える場合、比較器1102の出力は反転することができ、カウンタ808からのカウント値は、FLAG_1ビットもFLAG_2ビットもアサートされない場合、メモリ810にラッチされ得る。第1のランピングVREFがOF電圧を越えない場合、比較器1102の出力は低いままになり得、メモリ810に記憶されたカウント値は(もしあっても)、更新されない。FD ADC2サブステージは、時間T2に完了することができる。
時間T2とT3の間に、図12に対して上記で説明されたように、COFキャパシタとCEXTキャパシタの両方がリセットされ得、CEXTキャパシタは、COFキャパシタから切断され得る。残留電荷は、フォトダイオードPDからCOFキャパシタに転送され得る。OF電圧は、残留電荷の量が、フォトダイオードPDの飽和容量を超えたかどうかを判定するために、(図13Aに示されるような)静的しきい値VPDSAT、または(図14Bに示されるような)VPDSAT+VARK−PDと比較され得る。比較器1102の出力の反転は、OF電圧が静的しきい値を下回ることを指示し、フォトダイオードPDが飽和されたことを指示することができる。コントローラ1110は、時間T3において、比較器1102の出力の検査1404を実施することができる。時間T3において、比較器1102の出力が正である場合、および、時間T1において、FLAG_1ビットが検査1202からアサートされない場合、コントローラ1110は、FLAG_1ビットをアサートすることができる。FLAG_1ビットとFLAG_2ビット両方のアサートは、フォトダイオードPDが飽和したことを指示することができ、メモリ810に記憶された値はロックされることになり、その後のPD ADC出力によって上書きされることにはならない。その一方で、FLAG_1ビットとFLAG_2ビット両方がデアサートされたままの場合、その後のPD ADC出力は、入射光の強度の測定値を表すために、メモリ810に記憶され得る。
以下の表1は、図15の仕組みについて、FLAG_1とFLAG_2の値の間のマッピングの例、および、どの測定動作が、カウント値をメモリ810に記憶するかを提供する。
Figure 2021526327
図15の仕組みでは、フォトダイオードが飽和したかどうかの判定は、オーバーフロー電荷の測定(時間T1Aにおける検査1502)と残留電荷の測定(検査1404)の両方に基づき得、これは、冗長性を追加し、フォトダイオード飽和検出のロバストネスを改善することができる。その上、時間T1Aにおいてカウンタ808がリセットされるので、カウンタ808のカウント値によって表されることになる入力電圧範囲は収縮され、これは、カウンタ808が、(たとえば、より速いクロックで動作することによって)より高い頻度でカウント値を更新して、量子化ステップを低減させること、および、FD ADC動作の量子化分解能を改善することを可能にし、一方で、カウンタ808(および関連付けられたハードウェア回路)のビット幅は、改善された量子化分解能をサポートするために拡大される必要はない。
さらに、PD ADC測定動作とTTS測定動作の両方も、複数のサブステージに分けられ得、カウンタ808は、量子化分解能を改善するために、各サブステージの始まりにおいてリセットされる。図16に示されるように、電圧ブレークポイントVPD−BREAKは、時間T3Aにおける第2のランピングVREFの電圧に対応し、PD ADC動作を、PD ADC1およびPD ADC2サブステージに分けるように設定され得る。PD ADC1についての第1の入力電圧範囲は、(図13Aに示されるような)VPDSATまたは(図14Bに示されるような)VPDSAT+VARK−PDから、VPD−BREAKまでであり得、PD ADC2についての第2の入力電圧範囲は、VPD−BREAKからVRESETまでであり得る。
時間T3において、カウンタ808はリセットされ、初期値からカウントを開始することができる。PD ADC1サブステージは、時間T3とT3Aの間で発生することができ、このサブステージにおいて、比較器1102は、VPDSATまたはVPDSAT+VDARK−PDから、VPD−BREAKにランプする第2のランピングVREFと、OF電圧を比較することができる。第2のランピングVREFがOF電圧を越える場合、比較器1102の出力は反転することができ、FLAG_1ビットもFLAG_2ビットもアサートされない場合、カウンタ808からのカウント値はメモリ810にラッチされ得る。第1のランピングVREFがOF電圧を越えない場合、比較器1102の出力は低いままであり得、メモリ810に記憶されたカウント値は(もしあっても)、更新されない。
時間T3Aにおいて、コントローラ1110は、PD ADC1出力がメモリ810に記憶されたかどうかを判定するために、比較器1102の出力の検査1602を実施することができる。比較器1102の出力が正である場合、コントローラ1110は、(この時点でどちらもアサートされていなかった場合)FLAG_1ビットとFLAG_2ビット両方をアサートして、メモリ810が、PD ADC2の出力で上書きされるのを防ぐことができる。カウンタ808は、次に、PD ADC1動作が完了した後、リセットされ、初期値からカウントを開始することができる。
PD ADC2サブステージは、時間T3AとT4の間で発生することができ、このサブステージにおいて、比較器1102は、VPD−BREAKからVRESETにランピングを続ける第2のランピングVREFと、OF電圧を比較することができる。第2のランピングVREFがOF電圧を越える場合、比較器1102の出力は反転することができ、カウンタ808からのカウント値は、FLAG_1ビットもFLAG_2ビットもアサートされない場合、メモリ810にラッチされ得る。
以下の表2は、図16の仕組みについて、FLAG_1とFLAG_2の値の間のマッピングの例、および、どの測定動作が、カウント値をメモリ810に記憶するかを提供する。
Figure 2021526327
図16の仕組みでは、VPD−BREAKは、量子化分解能を最大化するために、残留電荷の予想される量などの様々な尺度に基づいて構成され得る。たとえば、アプリケーションおよび/または動作条件に基づいて、残留電荷の平均量が、(VPDSATによって表される)フォトダイオードPDの飽和容量に近くなることが判定され得る。このような場合、VPD−BREAKは、第1の入力電圧範囲を低減させるため、および、第1の入力電圧範囲の量子化分解能を改善するために、VRESETよりもVPDSATに近く設定され得る。いくつかの例では、VPD−BREAKは、VPDSATとVRESETの中間点にも設定され得る。
図17は、複数のサブステージに分けられたFD ADC動作を有するピクセルセル1100についての制御信号のシーケンスの例を示す。図17に示されるように、時間ブレークポイントTTTS−BREAKは、TTS動作を、TTS1およびTTS2サブステージに分けるために、時間T0とT1の間に設定され得る。カウンタ808はリセットされ、時間T0において初期値からカウントを開始することができ、比較器1102は、OF電圧を静的しきい値VFDSATと比較することができる。OF電圧がVFDSATを下回る場合、これは、電荷貯蔵ユニット608aが飽和したことを指示し、比較器1102の出力は(負から正に)反転し、カウンタ808からのカウント値は、メモリ810にラッチされ得る。OF電圧がVFDSATを下回らない場合、比較器1102の出力は低いままであり得、値はメモリ810に記憶されない。
時間TPD−BREAKにおいて、コントローラ1110は、比較器1102の出力の検査1702を実施することができる。時間TTTS−BREAKにおいて、比較器1102の出力が正である場合、コントローラ1110は、FLAG_1ビットをアサートして、その後のTTS2、FD ADC、およびPD ADC動作を防ぐことができる。比較器1102の出力が負のままである(反転しない)場合、FLAG_1ビットは、TTTS−BREAKにおいてアサートされない。カウンタ808は、同様にリセットされ、時間TPD−BREAKにおいて初期値からカウントを開始することができる。時間TTTS−BREAKとT1の間に、比較器1102は、OF電圧を静的しきい値VFDSATと比較することができる。OF電圧がVFDSATを下回る場合、これは、電荷貯蔵ユニット608aが飽和したことを指示し、比較器1102の出力は(負から正に)反転し、カウンタ808からのカウント値は、メモリ810にラッチされ得る。OF電圧がVFDSATを下回らない場合、比較器1102の出力は低いままであり得、値はメモリ810に記憶されない。
時間T1において、コントローラ1110は、比較器1102の出力の検査1202を実施することができる。時間T1において、比較器1102の出力が正である場合、コントローラ1110は、FLAG_1ビット(時間TTTS−BREAKにおいて、FLAG_1ビットがアサートされない場合)、およびFLAG_2ビットをアサートすることができる。比較器1102の出力が負のままである場合、FLAG_1ビットおよびFLAG_2ビットはデアサートされたままになり、これは、その後のFD ADCまたはPD ADC動作のうちの1つが、カウント値をメモリ810に記憶することを可能にする。
以下の表3は、図17の仕組みについて、FLAG_1とFLAG_2の値の間のマッピングの例、および、どの測定動作が、カウント値をメモリ810に記憶するかを提供する。
Figure 2021526327
図17の仕組みでは、TTTS−BREは、量子化分解能を最大化するために、予想される入射光強度などの様々な尺度に基づいて構成され得る。たとえば、アプリケーションおよび/または動作条件に基づいて、平均入射光強度が、飽和までの時間がT0に近くなり、TTS1の時間帯内になるようになることが決定され得る。このような場合、TTTS−BREは、TTS1の量子化分解能を改善するために、T1よりもT0に近くなるように設定され得る。いくつかの例では、TTTS−BREは、T0とT1の中間点にも設定され得る。
図15〜図17のそれぞれは、TTS、FD ADC、またはPD ADC動作が分けられていることを示すが、これらが、同じマルチモード測定動作における複数のサブステージにすべて分けられ得ることを理解されたい。
図18は、光強度の測定の例示的な方法1800のフローチャートを示す。方法は、たとえば、M0、M1、M2、およびM6スイッチ、電荷貯蔵ユニット608a、比較器1102、コントローラ1110、等を備えるピクセルセル1100の処理回路によって実施され得る。
ステップ1802では、オーバーフロー電荷は、第1の電圧を生じさせるために、フォトダイオードPDから電荷貯蔵ユニット608aに転送され得る。転送は、フォトダイオードPDが、入射光に応答して電荷を生成する露光期間中に発生することができる。フォトダイオードPDは、電荷の一部を残留電荷として記憶し、フォトダイオードPDが飽和した場合、残りの電荷をオーバーフロー電荷としてM0スイッチを介して電荷貯蔵ユニット608aに転送することができる。
ステップ1804では、比較器1102は、第1の判定を生成するために、第1の電圧を第1のランピングしきい値電圧と比較することができる。第1の判定は、第1の電圧が第1のランピングしきい値電圧を越えるかどうかを指示することができる。
ステップ1806では、第1の判定に基づいて、第1のデジタル値が、オーバーフロー電荷の量を表すために生成され得る。いくつかの例では、自走カウンタは、第1のランピングしきい値電圧の開始点において、カウント値のカウントおよび生成を開始することができ、第1の判定が生成された時にカウンタによって生成された第1のカウント値は、メモリに記憶され得る。第1のカウント値は、第1のデジタル値であり得る。
ステップ1808では、残留電荷が、第2の電圧を生じさせるために、フォトダイオードから電荷貯蔵ユニットに転送され得る。電荷貯蔵ユニットは、転送の前にオーバーフロー電荷を除去するためにリセットされ得る。電荷貯蔵ユニットのキャパシタンスは、電荷−電圧変換レートを向上させるために、(たとえば、CEXTをCOFから切断することによって)低減され得る。
ステップ1810では、比較器1102は、フォトダイオードが飽和したかどうかを判定して第2の判定を生成するために、第2の電圧を静的しきい値電圧と比較することができる。静的しきい値電圧は、COFキャパシタが、VPDSATなど、フォトダイオードPDを飽和させた量の残留電荷を貯蔵したときのCOFキャパシタにおける電圧を表すことができる。いくつかの例では、静的しきい値電圧は、(露光期間中に)フォトダイオードPDにおいて、および、(残留電荷の転送中に)フローティングドレインノードにおいて、暗電流によって溜められた暗電荷の総量を表し得る暗電流電圧VDARK−PDによってオフセットされ得る。いくつかの例では、第2の判定が、フォトダイオードPDが飽和したことを指示する場合、コントローラ1110は、信号(たとえば、FLAG_2ビット)をアサートして、メモリ810をロックすることができる。
ステップ1812では、比較器1102は、第3の判定を生成するために、第2の電圧を第2のランピングしきい値電圧と比較することができる。第3の判定は、第2の電圧が第2のランピングしきい値電圧を越えるかどうかを指示することができる。
ステップ1814では、比較器1102は、第3の判定に基づいて、第2のデジタル値を生成することができる。たとえば、第3の判定が生成された時のカウンタ808からの第2のカウント値は、第2のデジタル値であり得る。
ステップ1816では、コントローラ1110は、第2の判定に基づいて、光の強度を表すための、第1のデジタル値または第2のデジタル値のうちの1つを出力することができる。いくつかの例では、メモリは、ステップ1810において第2の判定に基づいてロックされ、これは、メモリが第2のデジタル値を記憶するのを防ぎ、第1のデジタル値は、メモリから出力される。いくつかの例では、第1のデジタル値と第2のデジタル値両方がメモリに記憶され、コントローラ1110は、第2の判定に基づいて出力するために、第1のデジタル値または第2のデジタル値のうちの1つをメモリから選択し得る。
図19は、光強度の測定の例示的な方法1900のフローチャートを示す。方法は、たとえば、M0、M1、M2、およびM6スイッチ、電荷貯蔵ユニット608a、比較器1102、コントローラ1110、等を備えるピクセルセル1100の処理回路によって実施され得る。
ステップ1902では、電荷が、第1の電圧を生じさせるために、フォトダイオードPDから電荷貯蔵ユニット608aに転送され得る。電荷は、TTSもしくはFD ADC測定についてのオーバーフロー電荷、または、PD ADC測定についての残留電荷であり得る。
ステップ1904では、第1の時間において、コントローラ1110は、初期値からカウントを開始するようにカウンタ(たとえば、カウンタ808)を制御することができる。ステップ1904は、カウンタをリセットすることによって実施され得、その後、リセットを解放する。ステップ1904は、(たとえば、TTSについての)ステップ1902の電荷転送の始まりにおいて、(たとえば、FD ADCについての)電荷転送の中間で、または、(たとえば、PD ADCについての)電荷転送が完了した後に、実施され得る。
ステップ1906では、比較器1102は、第1の判定を生成するために、第1の時間と第2の時間の間で、電圧を第1のしきい値と比較することができる。第2の時間は、(FD ADCおよびPD ADCについての)電圧ブレークポイント、または、(TTSについての)時間ブレークポイントに対応し得る。第1のしきい値は、(TTSについての)静的しきい値電圧、または、電圧ブレークポイントで終了する(FD ADCおよびPD ADCについての)ランピングしきい値電圧であり得る。カウンタからの第1のカウント値は、第1の判定が生成されたときにメモリに記憶され得る。
ステップ1908では、コントローラ1110は、第1の時間と第2の時間の間で、第1の判定が生成されたかどうかを判定することができる。(ステップ1910において)第1の判定が生成された場合、コントローラ1110は、ステップ1912に進み、メモリをロックして、メモリに記憶された第1のカウント値が上書きされるのを防ぐことができる。
(ステップ1910において)第1の判定が生成されなかった場合、または(ステップ1912において)メモリがロックされた後、コントローラ1110は、ステップ1914に進むことができる。ステップ1914では、第3の時間において、コントローラ1110は、初期値からカウントを開始するようにカウンタを制御することができる。ステップ1904と同様に、ステップ1914は、カウンタをリセットすることによって実施され得、その後、リセットを解放する。ステップ1914は、(たとえば、TTSについての)ステップ1902の電荷転送の始まりにおいて、(たとえば、FD ADCについての)電荷転送の中間に、または、(たとえば、PD ADCについての)電荷転送が完了した後に実施され得る。
ステップ1916では、比較器1102は、電圧が第2のしきい値を越えたことを指示する第2の判定を生成するために、第3の時間と第4の時間の間で、電圧を第2のしきい値と比較することができる。第2のしきい値は、(TTSについての)ステップ1906におけるものと同じ静的しきい値電圧、または、電圧ブレークポイントから開始する(FD ADCおよびPD ADCについての)ランピングしきい値電圧の一部であり得る。
(ステップ1918において)第2の判定が生成された場合、および、(ステップ1920において)メモリがロックされていない場合、第2の判定が生成されたときにカウンタによって生成された第2のカウント値は、ステップ1922において、メモリに記憶され得る。ただし、(ステップ1918において)第2の判定が生成されていない場合でも、または、(ステップ1920において)メモリがロックされている場合でも、メモリに記憶された第1のカウント値は維持され得る。メモリに記憶されたカウント値(第1のカウント値または第2のカウント値)は、ステップ1924において、光強度を表すために、出力され得る。
本開示の例の上記の説明は、説明の目的で提示されており、網羅的であること、または開示される正確な形態に本開示を限定することは意図されない。当業者は、上記の開示に照らして多くの修正および変形が可能であることを諒解することができる。
本明細書のいくつかの部分は、情報に関する動作のアルゴリズムおよび記号表現に関して本開示の例について説明する。これらのアルゴリズム説明および表現は、データ処理技術分野の当業者が、他の当業者に自身の仕事の本質を効果的に伝えるために通常使用される。これらの動作は、機能的に、計算量的に、または論理的に説明されるが、コンピュータプログラムまたは等価な電気回路、マイクロコードなどによって実装されることが理解される。さらに、一般性の喪失なしに、動作のこれらの仕組みをモジュールと呼ぶことが時々好都合であることも証明された。説明される動作およびそれらの関連するモジュールは、ソフトウェア、ファームウェア、および/またはハードウェアにおいて具現され得る。
説明されるステップ、動作、またはプロセスは、1つまたは複数のハードウェアまたはソフトウェアモジュールで、単独でまたは他のデバイスとの組合せで実施または実装され得る。いくつかの例では、ソフトウェアモジュールは、コンピュータプログラムコードを含んでいるコンピュータ可読媒体を備えるコンピュータプログラム製品で実装され、コンピュータプログラムコードは、説明されるステップ、動作、またはプロセスのいずれかまたはすべてを実施するためにコンピュータプロセッサによって実行され得る。
本開示の例はまた、説明される動作を実施するための装置に関し得る。本装置は、必要とされる目的のために特別に構築され得、および/あるいは、本装置は、コンピュータに記憶されたコンピュータプログラムによって選択的にアクティブ化または再構成される汎用コンピューティングデバイスを備え得る。そのようなコンピュータプログラムは、非一時的有形コンピュータ可読記憶媒体、または、コンピュータシステムバスに結合され得る、電子命令を記憶するのに好適な任意のタイプのメディアに記憶され得る。さらに、本明細書で言及される任意のコンピューティングシステムは、単一のプロセッサを含み得るか、または、増加された計算能力のために複数のプロセッサ設計を採用するアーキテクチャであり得る。
本開示の例はまた、本明細書で説明されるコンピューティングプロセスによって製造される製品に関し得る。そのような製品は、コンピューティングプロセスから生じる情報を備え得、その情報は、非一時的有形コンピュータ可読記憶媒体に記憶され、本明細書で説明されるコンピュータプログラム製品または他のデータ組合せの任意の例を含み得る。
本明細書で使用される言い回しは、主に読みやすさおよび教授の目的で選択されており、その言い回しは、本発明の主題を画定または制限するために選択されていないことがある。したがって、本開示の範囲はこの詳細な説明によって限定されるのではなく、むしろ、本明細書に基づく出願に関して生じる請求項によって限定されることが意図される。したがって、例の開示は、以下の特許請求の範囲に記載される本開示の範囲を例示するものであり、限定するものではない。

Claims (20)

  1. フォトダイオードと、
    電荷貯蔵ユニットと、
    処理回路であって、
    第1の電圧を生じさせるために、前記フォトダイオードから前記電荷貯蔵ユニットにオーバーフロー電荷を転送することと、
    第1の判定を生成するために、前記第1の電圧を第1のランピングしきい値電圧と比較することと、
    前記第1の判定に基づいて、第1のデジタル値を生成することと、
    第2の電圧を生じさせるために、前記フォトダイオードから前記電荷貯蔵ユニットに残留電荷を転送することと、
    前記フォトダイオードが飽和したかどうかを判定して第2の判定を生成するために、前記第2の電圧を静的しきい値電圧と比較することと、
    第3の判定を生成するために、前記第2の電圧を第2のランピングしきい値電圧と比較することと、
    前記第3の判定に基づいて、第2のデジタル値を生成することと、
    前記第2の判定に基づいて、前記フォトダイオードによって受け取られた光の強度を表すための、前記第1のデジタル値または前記第2のデジタル値のうちの1つを出力することと
    を行うように構成された、処理回路と
    を備える装置。
  2. 前記静的しきい値電圧が、前記フォトダイオードの飽和容量に等しい量の前記残留電荷を貯蔵したときに前記電荷貯蔵ユニットで生じた第3の電圧に基づく、請求項1に記載の装置。
  3. 前記静的しきい値電圧が、暗電流によって溜められた暗電荷を表す電圧オフセットにさらに基づく、請求項2に記載の装置。
  4. 前記第2のランピングしきい値電圧が、前記静的しきい値電圧から開始または終了する、請求項3に記載の装置。
  5. カウンタと、
    メモリと
    をさらに備え、
    前記処理回路が、
    前記第1の判定に基づいて、前記カウンタからの第1のカウント値を前記第1のデジタル値として前記メモリに記憶することと、
    前記第3の判定に基づいて、前記カウンタからの第2のカウント値を前記第2のデジタル値として前記メモリに記憶することと、
    前記第2の判定に基づいて、前記第1のデジタル値または前記第2のデジタル値のうちの1つを前記メモリから出力することと
    を行うように構成される、
    請求項1に記載の装置。
  6. 前記処理回路が、前記第2の判定に基づいて、前記メモリ内で前記第2のカウント値で前記第1のカウント値を上書きするように構成される、請求項5に記載の装置。
  7. レジスタをさらに備え、
    前記処理回路が、
    前記第2の判定を指示する第1のフラグ値を前記レジスタに記憶することと、
    前記レジスタからの前記第1のフラグ値に基づいて、前記第1のデジタル値または前記第2のデジタル値のうちの1つを前記メモリから出力することと
    を行うように構成される、請求項5に記載の装置。
  8. 前記処理回路が、
    前記第1のランピングしきい値電圧が第1のブレークポイント電圧に達したときに、前記第1の判定のステータスを決定することと、
    前記第1の判定の前記ステータスを指示する第2のフラグ値を前記レジスタに記憶することと、
    前記レジスタからの前記第1のフラグ値および前記第2のフラグ値に基づいて、前記第1のデジタル値または前記第2のデジタル値のうちの1つを出力することと
    を行うように構成される、
    請求項7に記載の装置。
  9. 前記処理回路が、前記第1のランピングしきい値電圧が前記第1のブレークポイント電圧に達したときに、前記カウンタをリセットするように構成される、請求項8に記載の装置。
  10. 前記処理回路が、
    前記第2のランピングしきい値電圧が第2のブレークポイント電圧に達したときに、前記第3の判定のステータスを決定することと、
    前記第3の判定の前記ステータスを指示する第2のフラグ値を前記レジスタに記憶することと、
    前記レジスタからの前記第1のフラグ値および前記第2のフラグ値に基づいて、前記第1のデジタル値または前記第2のデジタル値のうちの1つを出力することと
    を行うように構成される、
    請求項7に記載の装置。
  11. 前記処理回路が、前記第1のランピングしきい値電圧が前記第2のブレークポイント電圧に達したときに、前記カウンタをリセットするように構成される、請求項10に記載の装置。
  12. 前記静的しきい値電圧が、第1の静的しきい値電圧であり、
    前記処理回路が、
    第4の判定を生成するために、前記第1の電圧を、前記電荷貯蔵ユニットの飽和容量を表す第2の静的しきい値電圧と比較することと、
    前記第4の判定を指示する第2のフラグ値を前記レジスタに記憶することと、
    前記第4の判定に基づいて、前記カウンタからの第3のカウント値を第3のデジタル値として記憶することと、
    前記第1のフラグ値および前記第2のフラグ値に基づいて、前記フォトダイオードによって受け取られた光の前記強度を表すための、前記第1のデジタル値、前記第2のデジタル値、または前記第3のデジタル値のうちの1つを出力することと
    を行うように構成される、
    請求項7に記載の装置。
  13. 前記処理回路が、
    所定の時間期間内に前記第1の電圧を前記第2の静的しきい値電圧と比較することと、
    前記時間期間の所定の部分が経過したときに、前記第4の判定の第1のステータスを決定することと、
    前記第4の判定の前記第1のステータスを指示する前記第1のフラグ値を前記レジスタに記憶することと、
    前記時間期間が経過したときに、前記第4の判定の第2のステータスを決定することと、
    前記第4の判定の前記第2のステータスを指示する前記第2のフラグ値を前記レジスタに記憶することと、
    前記第1のフラグ値および前記第2のフラグ値に基づいて、前記フォトダイオードによって受け取られた光の前記強度を表すための、前記第1のデジタル値、前記第2のデジタル値、または前記第3のデジタル値のうちの1つを出力することと
    を行うように構成される、請求項12に記載の装置。
  14. 前記処理回路が、前記時間期間の前記所定の部分が経過したときに、前記カウンタをリセットするように構成される、請求項13に記載の装置。
  15. 前記電荷貯蔵ユニットの電荷貯蔵容量が、前記処理回路によって構成可能であり、
    前記処理回路が、
    前記第1の電圧を生じさせるために、第1の容量を有するように前記電荷貯蔵ユニットを構成することと、
    前記第2の電圧を生じさせるために、前記第1の容量より小さい第2の容量を有するように前記電荷貯蔵ユニットを構成することと
    を行うように構成される、
    請求項1に記載の装置。
  16. 前記電荷貯蔵ユニットが、フローティングドレインノードおよびキャパシタを備える、請求項15に記載の装置。
  17. 第1の電圧を生じさせるために、フォトダイオードから電荷貯蔵ユニットにオーバーフロー電荷を転送することと、
    第1の判定を生成するために、前記第1の電圧を第1のランピングしきい値電圧と比較することと、
    前記第1の判定に基づいて、第1のデジタル値を生成することと、
    第2の電圧を生じさせるために、前記フォトダイオードから前記電荷貯蔵ユニットに残留電荷を転送することと、
    前記フォトダイオードが飽和したかどうかを判定して第2の判定を生成するために、前記第2の電圧を静的しきい値電圧と比較することと、
    第3の判定を生成するために、前記第2の電圧を第2のランピングしきい値電圧と比較することと、
    前記第3の判定に基づいて、第2のデジタル値を生成することと、
    前記第2の判定に基づいて、前記フォトダイオードによって受け取られた光の強度を表すための、前記第1のデジタル値または前記第2のデジタル値のうちの1つを出力することと
    を含む、方法。
  18. 前記静的しきい値電圧が、前記フォトダイオードの飽和容量に等しい量の前記残留電荷を貯蔵したときに前記電荷貯蔵ユニットで生じた第3の電圧に基づき、暗電流によって溜められた暗電荷を表す電圧オフセットに基づく、請求項17に記載の方法。
  19. 前記第2のランピングしきい値電圧が、前記静的しきい値電圧から開始または終了する、請求項17に記載の方法。
  20. 前記第1の判定に基づいて、カウンタからの第1のカウント値を前記第1のデジタル値としてメモリに記憶することと、
    前記第3の判定に基づいて、前記カウンタからの第2のカウント値を前記第2のデジタル値として前記メモリに記憶することと、
    前記第2の判定に基づいて、前記第1のデジタル値または前記第2のデジタル値のうちの1つを前記メモリから出力することと
    をさらに含む、請求項17に記載の方法。
JP2020563959A 2018-06-11 2019-06-11 拡張されたダイナミックレンジをもつデジタルピクセル Active JP7292313B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862683550P 2018-06-11 2018-06-11
US62/683,550 2018-06-11
US16/435,451 US11906353B2 (en) 2018-06-11 2019-06-07 Digital pixel with extended dynamic range
US16/435,451 2019-06-07
PCT/US2019/036484 WO2019241205A1 (en) 2018-06-11 2019-06-11 Digital pixel with extended dynamic range

Publications (2)

Publication Number Publication Date
JP2021526327A true JP2021526327A (ja) 2021-09-30
JP7292313B2 JP7292313B2 (ja) 2023-06-16

Family

ID=68764798

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020563959A Active JP7292313B2 (ja) 2018-06-11 2019-06-11 拡張されたダイナミックレンジをもつデジタルピクセル

Country Status (7)

Country Link
US (1) US11906353B2 (ja)
EP (1) EP3804299A1 (ja)
JP (1) JP7292313B2 (ja)
KR (1) KR20210018495A (ja)
CN (1) CN112470460B (ja)
TW (1) TWI810312B (ja)
WO (1) WO2019241205A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10686996B2 (en) 2017-06-26 2020-06-16 Facebook Technologies, Llc Digital pixel with extended dynamic range
US10598546B2 (en) 2017-08-17 2020-03-24 Facebook Technologies, Llc Detecting high intensity light in photo sensor
US11906353B2 (en) * 2018-06-11 2024-02-20 Meta Platforms Technologies, Llc Digital pixel with extended dynamic range
JP7341659B2 (ja) * 2018-12-25 2023-09-11 ブリルニクス シンガポール プライベート リミテッド 固体撮像装置、固体撮像装置の駆動方法、および電子機器
US11943561B2 (en) 2019-06-13 2024-03-26 Meta Platforms Technologies, Llc Non-linear quantization at pixel sensor
US11936998B1 (en) 2019-10-17 2024-03-19 Meta Platforms Technologies, Llc Digital pixel sensor having extended dynamic range
US11902685B1 (en) 2020-04-28 2024-02-13 Meta Platforms Technologies, Llc Pixel sensor having hierarchical memory
US11956560B2 (en) 2020-10-09 2024-04-09 Meta Platforms Technologies, Llc Digital pixel sensor having reduced quantization operation
JP2022071317A (ja) * 2020-10-28 2022-05-16 ブリルニクス シンガポール プライベート リミテッド 固体撮像装置、固体撮像装置の駆動方法、および電子機器
US12022218B2 (en) 2020-12-29 2024-06-25 Meta Platforms Technologies, Llc Digital image sensor using a single-input comparator based quantizer
JP7516460B2 (ja) 2021-09-08 2024-07-16 キヤノン株式会社 光電変換装置、光電変換システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001008101A (ja) * 1999-05-13 2001-01-12 Eastman Kodak Co アクティブピクセルセンサ
JP2013225774A (ja) * 2012-04-20 2013-10-31 Brookman Technology Inc 固体撮像装置
WO2014144391A1 (en) * 2013-03-15 2014-09-18 Rambus Inc. Threshold-monitoring, conditional-reset image sensor
JP2015530855A (ja) * 2012-10-05 2015-10-15 ラムバス・インコーポレーテッド 条件付きリセットのマルチビット読み出しイメージセンサ

Family Cites Families (363)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4596977A (en) 1984-12-03 1986-06-24 Honeywell Inc. Dual slope analog to digital converter with out-of-range reset
US5053771A (en) 1990-07-16 1991-10-01 Eastman Kodak Company Adaptive dual range analog to digital converter
US6181822B1 (en) 1993-05-12 2001-01-30 The Duck Corporation Data compression apparatus and method
JP2953297B2 (ja) 1994-03-30 1999-09-27 日本電気株式会社 受光素子およびその駆動方法
JP2737680B2 (ja) 1995-01-18 1998-04-08 日本電気株式会社 サンプルホールド回路
US5963369A (en) 1996-06-03 1999-10-05 Steinthal; Gregory Digital solid-state binoculars
US5844512A (en) 1997-07-28 1998-12-01 Hewlett-Packard Company Autoranging apparatus and method for improved dynamic ranging in analog to digital converters
US6529241B1 (en) 1998-02-27 2003-03-04 Intel Corporation Photodetecting device supporting saturation detection and electronic shutter
US6522395B1 (en) 1999-04-30 2003-02-18 Canesta, Inc. Noise reduction techniques suitable for three-dimensional information acquirable with CMOS-compatible image sensor ICS
US6486504B1 (en) 1999-10-26 2002-11-26 Eastman Kodak Company CMOS image sensor with extended dynamic range
US6545624B2 (en) 2000-02-11 2003-04-08 Hyundai Electronics Industries Co., Ltd. Image sensor with analog-to-digital converter that generates a variable slope ramp signal
US6384905B1 (en) 2000-07-07 2002-05-07 The United States Of America As Represented By The Secretary Of The Navy Optic flow sensor with fused elementary motion detector outputs
JP3984808B2 (ja) 2000-09-07 2007-10-03 キヤノン株式会社 信号処理装置及びそれを用いた撮像装置並びに放射線撮像システム
KR100399954B1 (ko) 2000-12-14 2003-09-29 주식회사 하이닉스반도체 아날로그 상호 연관된 이중 샘플링 기능을 수행하는씨모스 이미지 센서용 비교 장치
US7079178B2 (en) 2001-02-20 2006-07-18 Jaroslav Hynecek High dynamic range active pixel CMOS image sensor and data processing system incorporating adaptive pixel reset
US7903159B2 (en) 2001-03-26 2011-03-08 Panavision Imaging Llc Image sensor ADC and CDS per column
US6642503B2 (en) 2001-06-13 2003-11-04 Texas Instruments Incorporated Time domain sensing technique and system architecture for image sensor
JP4949573B2 (ja) 2001-07-13 2012-06-13 浜松ホトニクス株式会社 光検出装置
US20030049925A1 (en) 2001-09-10 2003-03-13 Layman Paul Arthur High-density inter-die interconnect structure
CA2474560C (en) 2002-02-01 2012-03-20 Picometrix, Inc. Planar avalanche photodiode
US6963369B1 (en) 2002-04-01 2005-11-08 Pixim, Inc. Method for capturing and storing image information for multiple sampling operations in a digital pixel sensor
JP4175828B2 (ja) 2002-04-18 2008-11-05 抱 石井 撮像カメラ装置及びイメージャの画像データ読取り方法
US7362365B1 (en) 2002-06-26 2008-04-22 Pixim, Inc. Digital image capture having an ultra-high dynamic range
JP3792628B2 (ja) 2002-09-02 2006-07-05 富士通株式会社 固体撮像装置及び画像読み出し方法
CN1234234C (zh) 2002-09-30 2005-12-28 松下电器产业株式会社 固体摄像器件及使用该固体摄像器件的设备
ES2327835T3 (es) 2003-01-10 2009-11-04 Paul Scherrer Institut Dispositivo de imagenes de recuento de fotones.
US7280143B2 (en) 2003-04-14 2007-10-09 Micron Technology, Inc. CMOS image sensor with active reset and 4-transistor pixels
US7456879B2 (en) 2003-08-29 2008-11-25 Aptina Imaging Corporation Digital correlated double sampling using dual analog path
US6885331B2 (en) 2003-09-15 2005-04-26 Micron Technology, Inc. Ramp generation with capacitors
EP1530363B1 (en) 2003-11-04 2010-08-11 STMicroelectronics (Research & Development) Limited Improvements in or relating to image sensors
FR2862448B1 (fr) 2003-11-14 2006-12-29 St Microelectronics Sa Generateur de rampe de tension avec un asservissement de pente
KR100574959B1 (ko) 2003-11-24 2006-04-28 삼성전자주식회사 자동 노출 조절 기능을 갖는 시모스 이미지 센서
US6864817B1 (en) 2003-12-30 2005-03-08 Freescale Semiconductor, Inc. Signaling dependent adaptive analog-to-digital converter (ADC) system and method of using same
US7129883B2 (en) 2004-02-23 2006-10-31 Sony Corporation Method and apparatus for AD conversion, semiconductor device for detecting distribution of physical quantity, and electronic apparatus
US7518143B2 (en) 2004-02-27 2009-04-14 National University Corporation Tohoku University Solid-state imaging device, line sensor and optical sensor and method of operating solid-state imaging device
JP4317115B2 (ja) 2004-04-12 2009-08-19 国立大学法人東北大学 固体撮像装置、光センサおよび固体撮像装置の動作方法
KR101099884B1 (ko) 2004-04-23 2011-12-28 히또시 기야 동화상데이터의 부호화방법, 복호화방법, 이들을 실행하는단말장치, 및 쌍방향 대화형 시스템
GB0412296D0 (en) 2004-06-02 2004-07-07 Council Cent Lab Res Councils Imaging device
US7508431B2 (en) 2004-06-17 2009-03-24 Hoya Corporation Solid state imaging device
GB0416496D0 (en) 2004-07-23 2004-08-25 Council Of The Central Lab Of Imaging device
JP2008508459A (ja) 2004-07-28 2008-03-21 ベール ゲーエムベーハー ウント コー カーゲー 冷却システム
JP4349232B2 (ja) 2004-07-30 2009-10-21 ソニー株式会社 半導体モジュール及びmos型固体撮像装置
MX2007002073A (es) 2004-08-23 2007-04-24 Sony Corp Dispositivo de captacion de imagen, metodo de procesamiento de resultado de captacion de imagen y circuito integrado.
CN101010944B (zh) 2004-09-02 2010-06-16 索尼株式会社 摄像装置及摄像结果的输出方法
US7659772B2 (en) 2005-01-06 2010-02-09 Nec Corporation Semiconductor integrated circuit device
US7518645B2 (en) 2005-01-06 2009-04-14 Goodrich Corp. CMOS active pixel sensor with improved dynamic range and method of operation
JP2006197393A (ja) 2005-01-14 2006-07-27 Canon Inc 固体撮像装置、カメラ、及び固体撮像装置の駆動方法
JP4459064B2 (ja) 2005-01-14 2010-04-28 キヤノン株式会社 固体撮像装置、その制御方法及びカメラ
JP4589131B2 (ja) 2005-01-24 2010-12-01 株式会社フォトロン 画像センサおよびその画像読み出し方法
WO2006124592A2 (en) 2005-05-12 2006-11-23 California Institute Of Technology Linear dynamic range enhancement in a cmos imager
TW201101476A (en) 2005-06-02 2011-01-01 Sony Corp Semiconductor image sensor module and method of manufacturing the same
US20070013983A1 (en) 2005-07-04 2007-01-18 Dai Nippon Printing Co., Ltd. Holographic viewing device, and holographic viewing card incorporating it
ATE430345T1 (de) 2005-08-08 2009-05-15 Mep Imaging Technologies Ltd Adaptive belichtungssteuerung
JP2007074447A (ja) 2005-09-07 2007-03-22 Fujitsu Ltd Cmosセンサ
KR100775058B1 (ko) 2005-09-29 2007-11-08 삼성전자주식회사 픽셀 및 이를 이용한 이미지 센서, 그리고 상기 이미지센서를 포함하는 이미지 처리 시스템
EP1770987A1 (en) 2005-09-30 2007-04-04 STMicroelectronics (Research & Development) Limited Improvements in or relating to image sensor artifact elimination
US7608823B2 (en) 2005-10-03 2009-10-27 Teledyne Scientific & Imaging, Llc Multimode focal plane array with electrically isolated commons for independent sub-array biasing
US7659925B2 (en) 2005-10-04 2010-02-09 Alexander Krymski High speed CMOS image sensor circuits with memory readout
US7546026B2 (en) 2005-10-25 2009-06-09 Zoran Corporation Camera exposure optimization techniques that take camera and scene motion into account
US7652313B2 (en) 2005-11-10 2010-01-26 International Business Machines Corporation Deep trench contact and isolation of buried photodetectors
JPWO2007097287A1 (ja) 2006-02-20 2009-07-16 パナソニック株式会社 撮像装置及びレンズ鏡筒
US7609079B2 (en) 2006-03-02 2009-10-27 Dialog Semiconductor Gmbh Probeless DC testing of CMOS I/O circuits
JP4819561B2 (ja) 2006-04-24 2011-11-24 浜松ホトニクス株式会社 固体撮像装置
US7326903B2 (en) 2006-06-29 2008-02-05 Noble Peak Vision Corp. Mixed analog and digital pixel for high dynamic range readout
EP1881609A1 (en) 2006-07-21 2008-01-23 STMicroelectronics (Research & Development) Limited Analogue to digital convertor having a non-linear ramp voltage
JP4855192B2 (ja) 2006-09-14 2012-01-18 富士フイルム株式会社 イメージセンサ及びデジタルカメラ
US7361989B1 (en) 2006-09-26 2008-04-22 International Business Machines Corporation Stacked imager package
JP2008228232A (ja) 2007-03-15 2008-09-25 Canon Inc 撮像装置、撮像方法、プログラム、及び記憶媒体
US8107751B2 (en) 2007-03-16 2012-01-31 Sharp Laboratories Of America, Inc. DPCM with adaptive range and PCM escape mode
US7839703B2 (en) 2007-06-15 2010-11-23 Micron Technology, Inc. Subtraction circuits and digital-to-analog converters for semiconductor devices
US7825966B2 (en) 2007-06-29 2010-11-02 Omnivision Technologies, Inc. High dynamic range sensor with blooming drain
JP5067850B2 (ja) 2007-08-02 2012-11-07 キヤノン株式会社 システム、頭部装着型表示装置、その制御方法
US7956914B2 (en) 2007-08-07 2011-06-07 Micron Technology, Inc. Imager methods, apparatuses, and systems providing a skip mode with a wide dynamic range operation
US7940311B2 (en) 2007-10-03 2011-05-10 Nokia Corporation Multi-exposure pattern for enhancing dynamic range of images
US8426793B1 (en) 2007-10-04 2013-04-23 Geoffrey L. Barrows Vision sensor
EP2063630A1 (en) 2007-11-26 2009-05-27 Thomson Licensing Video capture device with variable shutter integration time
US8369458B2 (en) 2007-12-20 2013-02-05 Ralink Technology Corporation Wireless receiving system with an adaptively configurable analog to digital converter
KR20090087644A (ko) 2008-02-13 2009-08-18 삼성전자주식회사 따른 픽셀 회로 어레이
EP2297783A1 (en) 2008-03-04 2011-03-23 MESA Imaging AG Drift field demodulation pixel with pinned photo diode
EP2104234B1 (en) 2008-03-21 2011-08-31 STMicroelectronics Limited Analog-to-digital conversion in image sensors
US8098955B2 (en) 2008-03-25 2012-01-17 Point Grey Research Inc. Efficient selection and application of regions of interest in digital imaging
JP5269456B2 (ja) 2008-03-26 2013-08-21 株式会社東芝 イメージセンサおよびその駆動方法
US8089035B2 (en) * 2008-04-16 2012-01-03 Tower Semiconductor Ltd. CMOS image sensor with high sensitivity wide dynamic range pixel for high resolution applications
JP4661912B2 (ja) 2008-07-18 2011-03-30 ソニー株式会社 固体撮像素子およびカメラシステム
US20130218728A1 (en) 2008-08-10 2013-08-22 Rick Dan Hashop Virtual on-line pre-shopping system and method
US7795650B2 (en) 2008-12-09 2010-09-14 Teledyne Scientific & Imaging Llc Method and apparatus for backside illuminated image sensors using capacitively coupled readout integrated circuits
US8625012B2 (en) 2009-02-05 2014-01-07 The Hong Kong University Of Science And Technology Apparatus and method for improving dynamic range and linearity of CMOS image sensor
KR101575851B1 (ko) * 2009-03-13 2015-12-10 삼성전자주식회사 불 휘발성 메모리 장치 및 그것의 프로그램 방법
EP2234387B8 (en) 2009-03-24 2012-05-23 Sony Corporation Solid-state imaging device, driving method of solid-state imaging device, and electronic apparatus
JP5306269B2 (ja) 2009-06-25 2013-10-02 キヤノン株式会社 光干渉断層法を用いる撮像装置及び撮像方法
US8569807B2 (en) 2009-09-01 2013-10-29 Taiwan Semiconductor Manufacturing Company, Ltd. Backside illuminated image sensor having capacitor on pixel region
CN102334293B (zh) 2009-09-11 2014-12-10 松下电器产业株式会社 模拟/数字变换器、图像传感器系统、照相机装置
KR101727270B1 (ko) 2009-11-06 2017-04-17 삼성전자주식회사 이미지 센서
US8384800B2 (en) 2009-11-23 2013-02-26 Samsung Electronics Co., Ltd. Methods of acquiring images
KR101111946B1 (ko) 2009-12-17 2012-02-14 엠텍비젼 주식회사 촬상 장치, 이미지 시그널 프로세서 칩 및 칩 간의 메모리 공유 방법
EP2517451B1 (en) 2009-12-24 2015-04-22 Imagerlabs Inc. Adjustable cmos sensor array
JPWO2011096207A1 (ja) 2010-02-05 2013-06-10 コニカミノルタアドバンストレイヤー株式会社 固体撮像装置
US20120200499A1 (en) 2010-02-28 2012-08-09 Osterhout Group, Inc. Ar glasses with event, sensor, and user action based control of applications resident on external devices with feedback
US20150309316A1 (en) 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
JP2011216966A (ja) 2010-03-31 2011-10-27 Sony Corp 固体撮像素子および固体撮像素子の駆動方法、並びに電子機器
US20120016817A1 (en) 2010-07-19 2012-01-19 Smith S Alex Predicting Life Changes of Members of a Social Networking System
US8606051B2 (en) 2010-08-16 2013-12-10 SK Hynix Inc. Frame-wise calibration of column-parallel ADCs for image sensor array applications
JP5500007B2 (ja) 2010-09-03 2014-05-21 ソニー株式会社 固体撮像素子およびカメラシステム
JP5810493B2 (ja) 2010-09-03 2015-11-11 ソニー株式会社 半導体集積回路、電子機器、固体撮像装置、撮像装置
KR20120029840A (ko) 2010-09-17 2012-03-27 삼성전자주식회사 이미지 센서의 구동 방법
WO2012043867A1 (en) 2010-09-30 2012-04-05 Canon Kabushiki Kaisha Solid-state imaging apparatus
US8773577B2 (en) 2010-10-27 2014-07-08 Qualcomm Incorporated Region of interest extraction
US8698843B2 (en) 2010-11-02 2014-04-15 Google Inc. Range of focus in an augmented reality application
US20120113119A1 (en) 2010-11-05 2012-05-10 Nova Research, Inc. Super resolution infrared imaging system
JP5664141B2 (ja) 2010-11-08 2015-02-04 ソニー株式会社 固体撮像素子およびカメラシステム
US8576276B2 (en) 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
KR101710481B1 (ko) 2010-11-29 2017-02-28 삼성전자주식회사 Cds 회로, 이의 동작 방법, 및 이를 포함하는 장치들
TWI462265B (zh) 2010-11-30 2014-11-21 Ind Tech Res Inst 影像擷取裝置
KR101754131B1 (ko) 2010-12-01 2017-07-06 삼성전자주식회사 샘플링 회로와 광감지 장치
US8294077B2 (en) 2010-12-17 2012-10-23 Omnivision Technologies, Inc. Image sensor having supplemental capacitive coupling node
US8847136B2 (en) 2011-01-02 2014-09-30 Pixim, Inc. Conversion gain modulation using charge sharing pixel
US8717467B2 (en) 2011-01-25 2014-05-06 Aptina Imaging Corporation Imaging systems with array cameras for depth sensing
TWI424746B (zh) 2011-02-14 2014-01-21 Ind Tech Res Inst 影像感測器及其感測方法
US8587501B2 (en) 2011-02-17 2013-11-19 Global Oled Technology Llc Electroluminescent display device with optically communicating chiplets
US8674282B2 (en) 2011-03-25 2014-03-18 Aptina Imaging Corporation Pumped pinned photodiode pixel array
KR101251744B1 (ko) 2011-04-13 2013-04-05 엘지이노텍 주식회사 Wdr 픽셀 어레이, 이를 포함하는 wdr 이미징 장치 및 그 구동방법
KR101241704B1 (ko) 2011-04-14 2013-03-19 엘지이노텍 주식회사 픽셀, 픽셀 어레이, 이를 포함하는 이미지센서 및 그 구동방법
US8637800B2 (en) 2011-04-19 2014-01-28 Altasens, Inc. Image sensor with hybrid heterostructure
US8575531B2 (en) 2011-04-26 2013-11-05 Aptina Imaging Corporation Image sensor array for back side illumination with global shutter using a junction gate photodiode
JP5808162B2 (ja) 2011-06-23 2015-11-10 キヤノン株式会社 撮像素子、撮像装置及び撮像素子の駆動方法
US20190331914A1 (en) 2011-07-20 2019-10-31 Google Llc Experience Sharing with Region-Of-Interest Selection
JP5868065B2 (ja) 2011-08-05 2016-02-24 キヤノン株式会社 撮像装置
JP5901186B2 (ja) 2011-09-05 2016-04-06 キヤノン株式会社 固体撮像装置及びその駆動方法
JP2013055581A (ja) 2011-09-06 2013-03-21 Toshiba Corp 電源安定化回路
US20130056809A1 (en) 2011-09-07 2013-03-07 Duli Mao Image Sensor with Reduced Noiseby Blocking Nitridation Over Selected Areas
JP5858695B2 (ja) 2011-09-08 2016-02-10 キヤノン株式会社 固体撮像装置及び固体撮像装置の駆動方法
US8223024B1 (en) 2011-09-21 2012-07-17 Google Inc. Locking mechanism based on unnatural movement of head-mounted display
US8890047B2 (en) 2011-09-21 2014-11-18 Aptina Imaging Corporation Stacked-chip imaging systems
US8461660B2 (en) 2011-09-30 2013-06-11 Omnivision Technologies, Inc. CMOS image sensor with reset shield line
GB201117319D0 (en) 2011-10-06 2011-11-16 Isis Innovation Active pixel image sensor
JP2013084785A (ja) 2011-10-11 2013-05-09 Sony Corp 固体撮像装置、撮像装置
US8804021B2 (en) 2011-11-03 2014-08-12 Omnivision Technologies, Inc. Method, apparatus and system for providing improved full well capacity in an image sensor pixel
US10598929B2 (en) 2011-11-09 2020-03-24 Google Llc Measurement method and system
JP5963421B2 (ja) 2011-11-17 2016-08-03 オリンパス株式会社 固体撮像装置および撮像装置
KR20130062188A (ko) 2011-12-02 2013-06-12 삼성전자주식회사 이미지 센서 및 이를 포함하는 이미지 처리 장치
KR101801339B1 (ko) 2011-12-07 2017-11-27 한국전자통신연구원 고속 광대역 주파수 비교 장치
US8754798B2 (en) 2011-12-21 2014-06-17 Realtek Semiconductor Corp. High-speed successive-approximation-register analog-to-digital converter and method thereof
KR20140107241A (ko) 2011-12-27 2014-09-04 소니 주식회사 촬상 소자, 촬상 장치, 전자 기기 및 촬상 방법
US20130180841A1 (en) 2012-01-17 2013-07-18 Esat Yilmaz Sensor Stack with Opposing Electrodes
US8735795B2 (en) 2012-01-20 2014-05-27 Omnivision Technologies, Inc. Image sensor with integrated ambient light detection
US9531990B1 (en) 2012-01-21 2016-12-27 Google Inc. Compound prediction using multiple sources or prediction modes
KR101931406B1 (ko) 2012-01-24 2018-12-20 더 아리조나 보드 오브 리전츠 온 비핼프 오브 더 유니버시티 오브 아리조나 컴팩트한 시선추적 기능의 헤드 탑재형 디스플레이
CN103258829A (zh) 2012-02-16 2013-08-21 索尼公司 固态成像装置、图像传感器及其制造方法以及电子设备
JP6004664B2 (ja) 2012-02-17 2016-10-12 キヤノン株式会社 光電変換装置、光電変換装置の駆動方法
US8742311B2 (en) 2012-02-27 2014-06-03 Omnivision Technologies, Inc. Enhanced pixel cell architecture for an image sensor having a direct output from a buried channel source follower transistor to a bit line
JP6164846B2 (ja) 2012-03-01 2017-07-19 キヤノン株式会社 撮像装置、撮像システム、撮像装置の駆動方法
JP5965674B2 (ja) 2012-03-05 2016-08-10 オリンパス株式会社 固体撮像装置および撮像装置
US8569700B2 (en) 2012-03-06 2013-10-29 Omnivision Technologies, Inc. Image sensor for two-dimensional and three-dimensional image capture
TW201340708A (zh) 2012-03-19 2013-10-01 Sony Corp 固體攝像裝置及電子機器
EP2833619B1 (en) 2012-03-30 2023-06-07 Nikon Corporation Image pickup element and image pickup device
US8957358B2 (en) 2012-04-27 2015-02-17 Taiwan Semiconductor Manufacturing Company, Ltd. CMOS image sensor chips with stacked scheme and methods for forming the same
US9270906B2 (en) 2012-05-02 2016-02-23 Semiconductor Components Industries, Llc Exposure time selection using stacked-chip image sensors
US8779346B2 (en) 2012-05-14 2014-07-15 BAE Systems Imaging Solutions Inc. Digital pixel sensor with reduced noise
JP5885608B2 (ja) 2012-07-23 2016-03-15 株式会社東芝 固体撮像装置
JP6071315B2 (ja) 2012-08-08 2017-02-01 オリンパス株式会社 固体撮像装置および撮像装置
US9531961B2 (en) 2015-05-01 2016-12-27 Duelight Llc Systems and methods for generating a digital image using separate color and intensity data
KR101965632B1 (ko) 2012-09-07 2019-04-05 삼성전자 주식회사 아날로그-디지털 변환 회로, 이를 포함하는 이미지 센서, 및 그 동작 방법
DE102013217278B4 (de) 2012-09-12 2017-03-30 Semiconductor Energy Laboratory Co., Ltd. Photodetektorschaltung, Bildgebungsvorrichtung und Verfahren zum Ansteuern einer Photodetektorschaltung
US9185273B2 (en) * 2012-09-19 2015-11-10 Semiconductor Components Industries, Llc Imaging pixels with improved dynamic range
US9343497B2 (en) 2012-09-20 2016-05-17 Semiconductor Components Industries, Llc Imagers with stacked integrated circuit dies
US9094612B2 (en) 2012-09-25 2015-07-28 Semiconductor Components Industries, Llc Back side illuminated global shutter image sensors with back side charge storage
US9478579B2 (en) 2012-10-16 2016-10-25 Omnivision Technologies, Inc. Stacked chip image sensor with light-sensitive circuit elements on the bottom chip
JP2014107596A (ja) 2012-11-22 2014-06-09 Nikon Corp 撮像素子および撮像ユニット
ES2476115B1 (es) 2012-12-11 2015-04-20 Consejo Superior De Investigaciones Científicas (Csic) Metodo y dispositivo para la deteccion de la variacion temporal de la intensidad luminosa en una matriz de fotosensores
US9153616B2 (en) 2012-12-26 2015-10-06 Olympus Corporation Solid-state imaging device and imaging device with circuit elements distributed on multiple substrates, method of controlling solid-state imaging device, and imaging device with circuit elements distributed on multiple substrates
US9979904B2 (en) 2013-01-25 2018-05-22 Innovaciones Microelectrónicas S.L. (Anafocus) Advanced region of interest function for image sensors
US8773562B1 (en) 2013-01-31 2014-07-08 Apple Inc. Vertically stacked image sensor
KR20140104169A (ko) 2013-02-20 2014-08-28 삼성전자주식회사 이미지 센서 및 이를 포함하는 컴퓨팅 시스템
JP6164869B2 (ja) 2013-02-26 2017-07-19 キヤノン株式会社 撮像装置、撮像システム、撮像装置の駆動方法
GB2513579A (en) 2013-04-29 2014-11-05 Tobii Technology Ab Power efficient image sensing apparatus, method of operating the same and eye/gaze tracking system
JP2014236183A (ja) 2013-06-05 2014-12-15 株式会社東芝 イメージセンサ装置及びその製造方法
JP6303297B2 (ja) 2013-06-14 2018-04-04 富士通株式会社 端末装置、視線検出プログラムおよび視線検出方法
JP6188451B2 (ja) 2013-06-27 2017-08-30 オリンパス株式会社 アナログデジタル変換器および固体撮像装置
TWI659652B (zh) 2013-08-05 2019-05-11 新力股份有限公司 攝像裝置、電子機器
JP5604703B1 (ja) 2013-09-10 2014-10-15 弘一 関根 固体撮像装置
US9001251B2 (en) 2013-09-10 2015-04-07 Rambus Inc. Oversampled image sensor with conditional pixel readout
JP2015056878A (ja) 2013-09-13 2015-03-23 株式会社東芝 固体撮像装置
CN105706439B (zh) 2013-09-16 2019-06-28 超龙凯姆公司 动态、单个光电二极管像素电路及其操作方法
US9410850B2 (en) 2013-09-20 2016-08-09 Vlad Joseph Novotny Infrared imager readout electronics
JP6237045B2 (ja) 2013-09-24 2017-11-29 株式会社ニコン 撮像素子および撮像装置
US10043843B2 (en) 2013-10-01 2018-08-07 Forza Silicon Corporation Stacked photodiodes for extended dynamic range and low light color discrimination
CN106304842A (zh) 2013-10-03 2017-01-04 舒朗科技公司 用于定位和地图创建的增强现实系统和方法
FR3012003B1 (fr) 2013-10-14 2016-12-30 E2V Semiconductors Conversion analogique numerique a rampe, a multiples conversions ou unique conversion suivant le niveau de lumiere recu par un pixel
JP6394056B2 (ja) 2013-11-27 2018-09-26 ソニー株式会社 A/d変換装置、グレイコード生成装置、撮像素子、並びに、電子機器
KR20150071768A (ko) 2013-12-18 2015-06-29 에스케이하이닉스 주식회사 이미지 센서 및 그 제조방법
JP6314477B2 (ja) 2013-12-26 2018-04-25 ソニー株式会社 電子デバイス
KR102210539B1 (ko) 2013-12-26 2021-02-01 삼성전자주식회사 상관 이중 샘플링 회로, 이를 포함하는 아날로그-디지털 컨버터, 및 이미지 센서
KR102130611B1 (ko) 2013-12-31 2020-07-06 삼성전자주식회사 아날로그-디지털 변환 회로, 이를 포함하는 이미지 센서 및 이미지 센서의 동작 방법
KR102159261B1 (ko) 2014-01-21 2020-09-23 삼성전자 주식회사 출력신호를 보정할 수 있는 이미지 센서
US20160171769A1 (en) 2014-01-24 2016-06-16 Osterhout Group, Inc. See-through computer display systems
JP2015146364A (ja) 2014-02-03 2015-08-13 ソニー株式会社 固体撮像素子、固体撮像素子の駆動方法、固体撮像素子の製造方法および電子機器
CN105981370B (zh) * 2014-02-07 2019-07-19 拉姆伯斯公司 馈通补偿图像传感器
US9832409B2 (en) 2014-02-07 2017-11-28 National University Corporation Shizuoka University Image sensor
KR102245973B1 (ko) 2014-02-17 2021-04-29 삼성전자주식회사 상관 이중 샘플링 회로 및 이를 포함하는 이미지 센서
JP6278730B2 (ja) 2014-02-20 2018-02-14 オリンパス株式会社 固体撮像装置および撮像システム
US20160011422A1 (en) 2014-03-10 2016-01-14 Ion Virtual Technology Corporation Method and system for reducing motion blur when experiencing virtual or augmented reality environments
FR3018653B1 (fr) 2014-03-11 2016-03-04 E2V Semiconductors Procede de capture d'image avec reduction de courant d'obscurite et faible consommation
EP2924979B1 (en) 2014-03-25 2023-01-18 IMEC vzw Improvements in or relating to imaging sensors
TWI656631B (zh) 2014-03-28 2019-04-11 日商半導體能源研究所股份有限公司 攝像裝置
US20150287766A1 (en) 2014-04-02 2015-10-08 Tae-Chan Kim Unit pixel of an image sensor and image sensor including the same
KR102246553B1 (ko) 2014-04-24 2021-04-30 엘지전자 주식회사 Hmd 및 그 제어 방법
JP2015211259A (ja) 2014-04-24 2015-11-24 ソニー株式会社 撮像素子、制御方法、並びに、撮像装置
US9711553B2 (en) 2014-04-28 2017-07-18 Samsung Electronics Co., Ltd. Image sensor including a pixel having photoelectric conversion elements and image processing device having the image sensor
US9491442B2 (en) 2014-04-28 2016-11-08 Samsung Electronics Co., Ltd. Image processing device and mobile computing device having the same
US9672416B2 (en) 2014-04-29 2017-06-06 Microsoft Technology Licensing, Llc Facial expression tracking
US10044955B2 (en) 2014-05-26 2018-08-07 Sony Corporation Signal processing device, controlling method, image sensing device, and electronic device
US9531976B2 (en) 2014-05-29 2016-12-27 Semiconductor Components Industries, Llc Systems and methods for operating image sensor pixels having different sensitivities and shared charge storage regions
JP2015230355A (ja) 2014-06-04 2015-12-21 リコーイメージング株式会社 撮像装置および撮像素子
JP2015231046A (ja) 2014-06-09 2015-12-21 株式会社東芝 固体撮像装置
JP6406888B2 (ja) 2014-06-17 2018-10-17 キヤノン株式会社 アナログデジタル変換回路の駆動方法、アナログデジタル変換回路、撮像装置、撮像システム、アナログデジタル変換回路の検査方法
US9699393B2 (en) 2014-06-26 2017-07-04 Semiconductor Components Industries, Llc Imaging systems for infrared and visible imaging with patterned infrared cutoff filters
US9247162B2 (en) 2014-06-27 2016-01-26 Omnivision Technologies, Inc. System and method for digital correlated double sampling in an image sensor
KR102134636B1 (ko) 2014-07-14 2020-07-16 삼성전자주식회사 이미지 센서의 단위 픽셀 및 이를 포함하는 이미지 센서
KR20160008267A (ko) 2014-07-14 2016-01-22 주식회사 윈스 네트워크 기반 영상감시체계에서의 사용자 행위 분석 시스템
KR102192088B1 (ko) 2014-07-18 2020-12-16 삼성전자주식회사 인지센서 및 이의 구동방법
US10171750B2 (en) 2014-07-25 2019-01-01 Sony Corporation Solid-state image sensor, imaging control method, signal processing method, and electronic apparatus
US9837457B2 (en) 2014-07-25 2017-12-05 Semiconductor Energy Laboratory Co., Ltd. Imaging device
US9432597B2 (en) 2014-07-25 2016-08-30 Rambus Inc. Low-noise, high dynamic-range image sensor
US9344658B2 (en) 2014-07-31 2016-05-17 Omnivision Technologies, Inc. Negative biased substrate for pixels in stacked image sensors
KR20160032586A (ko) 2014-09-16 2016-03-24 삼성전자주식회사 관심영역 크기 전이 모델 기반의 컴퓨터 보조 진단 장치 및 방법
KR102179434B1 (ko) 2014-10-07 2020-11-16 삼성전자주식회사 이미지 센서, 이를 구비한 휴대용 전자 기기 및 이미지 센서 구동 방법
JP6522919B2 (ja) 2014-10-15 2019-05-29 オリンパス株式会社 撮像素子、撮像装置
KR102263042B1 (ko) 2014-10-16 2021-06-09 삼성전자주식회사 픽셀, 상기 픽셀을 포함하는 이미지 센서, 및 상기 픽셀을 포함하는 이미지 처리 시스템
US9325335B1 (en) 2014-10-24 2016-04-26 Teledyne Scientific & Imaging, Llc Comparator circuits with local ramp buffering for a column-parallel single slope ADC
JP2016092661A (ja) 2014-11-07 2016-05-23 ソニー株式会社 撮像素子および駆動方法、並びに電子機器
WO2016076126A1 (ja) 2014-11-12 2016-05-19 ソニー株式会社 固体撮像装置および電子機器
EP3229457B1 (en) 2014-12-03 2021-06-09 Nikon Corporation Image pickup device, electronic apparatus, and program
US9560296B2 (en) 2014-12-05 2017-01-31 Qualcomm Incorporated Pixel readout architecture for full well capacity extension
CN104469195B (zh) 2014-12-18 2017-11-21 北京思比科微电子技术股份有限公司 高动态范围图像传感器像素结构及其操作方法
WO2016095057A1 (en) 2014-12-19 2016-06-23 Sulon Technologies Inc. Peripheral tracking for an augmented reality head mounted device
KR102410019B1 (ko) 2015-01-08 2022-06-16 삼성전자주식회사 이미지 센서
US9515105B2 (en) 2015-02-18 2016-12-06 Semiconductor Components Industries, Llc Dual photodiode image pixels with preferential blooming path
KR20160112415A (ko) 2015-03-19 2016-09-28 에스케이하이닉스 주식회사 전류 추가 기능을 가지는 비교 장치 및 그를 이용한 아날로그-디지털 변환 시스템
US9591245B2 (en) 2015-04-14 2017-03-07 Semiconductor Components Industries, Llc Image sensor pixels with adjustable body bias
US9524994B2 (en) 2015-04-14 2016-12-20 Semiconductor Components Industries, Llc Image sensor pixels with multiple compartments
US9819882B2 (en) 2015-06-05 2017-11-14 Caeleste Cvba Global shutter high dynamic range sensor
JP7006268B2 (ja) 2015-06-05 2022-01-24 ソニーグループ株式会社 撮像素子、電子機器、並びに、製造装置および方法
US10524667B2 (en) 2015-06-14 2020-01-07 Facense Ltd. Respiration-based estimation of an aerobic activity parameter
WO2017003477A1 (en) 2015-07-01 2017-01-05 Tyrrell Brian M Method and apparatus for on-chip per-pixel pseudo-random time coded exposure
US9743024B2 (en) 2015-07-01 2017-08-22 Massachusetts Institute Of Technology Method and apparatus for on-chip per-pixel pseudo-random time coded exposure
US9848142B2 (en) 2015-07-10 2017-12-19 Semiconductor Components Industries, Llc Methods for clocking an image sensor
WO2017013806A1 (ja) 2015-07-23 2017-01-26 オリンパス株式会社 固体撮像装置
TWI704811B (zh) 2015-07-27 2020-09-11 日商新力股份有限公司 固體攝像裝置及其控制方法、以及電子機器
FR3039928B1 (fr) 2015-08-03 2019-06-07 Teledyne E2V Semiconductors Sas Procede de commande d'un capteur d'image a pixels actifs
US10359629B2 (en) 2015-08-03 2019-07-23 Facebook Technologies, Llc Ocular projection based on pupil position
KR102460175B1 (ko) 2015-08-21 2022-10-28 삼성전자주식회사 쉐어드 픽셀 및 이를 포함하는 이미지 센서
US10014333B2 (en) 2015-08-26 2018-07-03 Semiconductor Components Industries, Llc Back-side illuminated pixels with interconnect layers
KR102523136B1 (ko) 2015-09-01 2023-04-19 삼성전자주식회사 이벤트 기반 센서 및 이벤트 기반 센서의 픽셀
US9909922B2 (en) 2015-09-03 2018-03-06 Johnson & Johnson Vision Care, Inc. Anti-aliasing photodetector system
JP2017055248A (ja) 2015-09-09 2017-03-16 ルネサスエレクトロニクス株式会社 撮像素子
KR102698685B1 (ko) 2015-09-10 2024-08-23 가부시키가이샤 한도오따이 에네루기 켄큐쇼 촬상 장치, 모듈, 전자 기기, 및 촬상 장치의 동작 방법
GB2596030B (en) 2015-09-16 2022-04-20 Canon Kk Image sensor and image capturing apparatus
US11297258B2 (en) 2015-10-01 2022-04-05 Qualcomm Incorporated High dynamic range solid state image sensor and camera system
US9948875B2 (en) 2015-10-01 2018-04-17 Semiconductor Components Industries, Llc High dynamic range imaging pixels with improved readout
US9654712B2 (en) 2015-10-07 2017-05-16 Semiconductor Components Industries, Llc Pixels with a global shutter and high dynamic range
KR102433575B1 (ko) 2015-10-12 2022-08-19 삼성전자주식회사 이미지 센서
US9936151B2 (en) 2015-10-16 2018-04-03 Capsovision Inc Single image sensor for capturing mixed structured-light images and regular images
CN108391450B (zh) 2015-10-21 2022-07-01 赫普塔冈微光有限公司 解调像素元件、像素元件阵列以及结合它们的光电元件
US9818777B2 (en) 2015-11-12 2017-11-14 Stmicroelectronics (Research & Development) Limited Hybrid analog-digital pixel implemented in a stacked configuration
JP2017108397A (ja) 2015-11-30 2017-06-15 株式会社半導体エネルギー研究所 信号処理回路、及び該信号処理回路を有する半導体装置
US9991306B2 (en) 2015-12-10 2018-06-05 Semiconductor Components Industries, Llc Hybrid bonded image sensor and method of operating such image sensor
WO2017139342A1 (en) 2016-02-08 2017-08-17 Spero Devices, Inc. Analog co-processor
US9800807B2 (en) 2016-02-26 2017-10-24 Intel Corporation Image sensor operation for shutter modulation and high dynamic range
WO2017158483A1 (en) 2016-03-14 2017-09-21 Insightness Ag A vision sensor, a method of vision sensing, and a depth sensor assembly
US9936150B2 (en) 2016-03-17 2018-04-03 Semiconductor Components Industries, Llc Image sensors with a rolling shutter scanning mode and high dynamic range
US10715824B2 (en) 2016-03-17 2020-07-14 Facebook Technologies, Llc System and method for data compressing optical sensor data prior to transferring to a host system
US10420523B2 (en) 2016-03-21 2019-09-24 The Board Of Trustees Of The Leland Stanford Junior University Adaptive local window-based methods for characterizing features of interest in digital images and systems for practicing same
US10003726B2 (en) 2016-03-25 2018-06-19 Microsoft Technology Licensing, Llc Illumination module for near eye-to-eye display system
US10998367B2 (en) 2016-03-29 2021-05-04 Nikon Corporation Image sensor and image-capturing apparatus
CN116995084A (zh) 2016-03-31 2023-11-03 株式会社尼康 摄像元件以及摄像装置
CN108886048B (zh) 2016-03-31 2022-12-16 索尼公司 摄像装置、摄像装置的制造方法和电子装置
US10594974B2 (en) 2016-04-07 2020-03-17 Tobii Ab Image sensor for vision based on human computer interaction
ES2847200T3 (es) 2016-04-07 2021-08-02 Tobii Ab Sensor de imágenes para interacción humano-ordenador basada en visión por ordenador
US10110839B2 (en) 2016-05-03 2018-10-23 Semiconductor Components Industries, Llc Dual-photodiode image pixel
US9967472B2 (en) 2016-05-17 2018-05-08 JVC Kenwood Corporation Image sensor combining high dynamic range techniques
US10015416B2 (en) 2016-05-24 2018-07-03 Semiconductor Components Industries, Llc Imaging systems with high dynamic range and phase detection pixels
US9900117B2 (en) 2016-05-27 2018-02-20 Nxp Usa, Inc. Communication unit receiver, integrated circuit and method for ADC dynamic range selection
US10072974B2 (en) 2016-06-06 2018-09-11 Semiconductor Components Industries, Llc Image sensors with LED flicker mitigaton global shutter pixles
WO2017214391A1 (en) 2016-06-08 2017-12-14 Invisage Technologies, Inc. Image sensors with electronic shutter
EP3258683A1 (en) 2016-06-13 2017-12-20 ams AG Image sensor and method for operating an image sensor
US20170366766A1 (en) 2016-06-16 2017-12-21 Semiconductor Components Industries, Llc Image sensors having high dynamic range functionalities
US9967496B2 (en) 2016-06-30 2018-05-08 Sony Corporation Active reset circuit for reset spread reduction in single-slope ADC
JP7125345B2 (ja) 2016-07-06 2022-08-24 ソニーセミコンダクタソリューションズ株式会社 撮像素子、撮像素子の製造方法、及び、電子機器
IL246796B (en) 2016-07-14 2020-05-31 Semi Conductor Devices An Elbit Systems Rafael Partnership Two-color light sensor and method
JP6806494B2 (ja) 2016-08-24 2021-01-06 キヤノン株式会社 撮像装置、撮像システム、移動体及び撮像装置の駆動方法
US9979912B2 (en) 2016-09-12 2018-05-22 Semiconductor Components Industries, Llc Image sensors with power supply noise rejection capabilities
JP2018046430A (ja) 2016-09-15 2018-03-22 ソニー株式会社 情報処理装置および方法、並びにプログラム
US10484628B2 (en) 2016-10-21 2019-11-19 The Johns Hopkins University Flexible pixel-wise exposure control and readout
US9800260B1 (en) 2016-11-04 2017-10-24 Analog Devices Global Method and apparatus to increase dynamic range in delta-sigma ADC using internal feedback across all integrators in loop-filter
CA3042554C (en) 2016-11-16 2023-07-18 Magic Leap, Inc. Multi-resolution display assembly for head-mounted display systems
KR20180056962A (ko) 2016-11-21 2018-05-30 삼성전자주식회사 전원 제어 회로를 포함하는 이벤트 기반 센서
GB2556910A (en) 2016-11-25 2018-06-13 Nokia Technologies Oy Virtual reality display
US9955091B1 (en) 2016-12-20 2018-04-24 Omnivision Technologies, Inc. High dynamic range image sensor read out architecture using in-frame multi-bit exposure control
KR102694967B1 (ko) 2016-12-21 2024-08-14 에스케이하이닉스 주식회사 아날로그-디지털 변환 장치 및 그에 따른 씨모스 이미지 센서
KR102621752B1 (ko) 2017-01-13 2024-01-05 삼성전자주식회사 Mram을 포함한 씨모스 이미지 센서
EP3574470A4 (en) 2017-01-25 2020-07-29 BAE Systems Imaging Solutions Inc. EXTENDED DYNAMIC RANGE IMAGING NETWORK
US20180220093A1 (en) 2017-02-01 2018-08-02 Renesas Electronics Corporation Image sensor
US10070081B2 (en) 2017-02-03 2018-09-04 SmartSens Technology (U.S.), Inc. Stacked image sensor pixel cell with dynamic range enhancement and selectable shutter modes and in-pixel CDS
TWI624694B (zh) 2017-02-10 2018-05-21 智崴資訊科技股份有限公司 沉浸式互動體驗眼鏡
US10218923B2 (en) 2017-02-17 2019-02-26 Semiconductor Components Industries, Llc Methods and apparatus for pixel binning and readout
US10360732B2 (en) 2017-03-23 2019-07-23 Intel Corporation Method and system of determining object positions for image processing using wireless network angle of transmission
US10686996B2 (en) 2017-06-26 2020-06-16 Facebook Technologies, Llc Digital pixel with extended dynamic range
US10917589B2 (en) 2017-06-26 2021-02-09 Facebook Technologies, Llc Digital pixel with extended dynamic range
US10419701B2 (en) 2017-06-26 2019-09-17 Facebook Technologies, Llc Digital pixel image sensor
US10395376B2 (en) 2017-07-19 2019-08-27 Qualcomm Incorporated CMOS image sensor on-die motion detection using inter-pixel mesh relationship
US10726627B2 (en) 2017-07-25 2020-07-28 Facebook Technologies, Llc Sensor system based on stacked sensor layers
US10090342B1 (en) 2017-08-01 2018-10-02 Semiconductor Components Industries, Llc Stacked image sensor capacitors and related methods
US10750097B2 (en) 2017-08-14 2020-08-18 Facebooke Technologies, Llc Varying exposure time of pixels in photo sensor using motion prediction
US10825854B2 (en) 2017-08-16 2020-11-03 Facebook Technologies, Llc Stacked photo sensor assembly with pixel level interconnect
US10608101B2 (en) 2017-08-16 2020-03-31 Facebook Technologies, Llc Detection circuit for photo sensor with stacked substrates
US10598546B2 (en) 2017-08-17 2020-03-24 Facebook Technologies, Llc Detecting high intensity light in photo sensor
JP2019040897A (ja) 2017-08-22 2019-03-14 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子及び電子機器
JP7072362B2 (ja) 2017-09-26 2022-05-20 ブリルニクス シンガポール プライベート リミテッド 固体撮像装置、固体撮像装置の駆動方法、および電子機器
JP7039236B2 (ja) 2017-09-29 2022-03-22 キヤノン株式会社 逐次比較型ad変換器、撮像装置、撮像システム、移動体
JP6929750B2 (ja) 2017-09-29 2021-09-01 キヤノン株式会社 撮像装置、撮像システム、移動体
US10506217B2 (en) 2017-10-09 2019-12-10 Facebook Technologies, Llc Head-mounted display tracking system
JP7100439B2 (ja) 2017-10-20 2022-07-13 ブリルニクス シンガポール プライベート リミテッド 固体撮像装置、固体撮像装置の駆動方法、および電子機器
KR102467845B1 (ko) 2017-10-24 2022-11-16 삼성전자주식회사 적층형 씨모스 이미지 센서
US10764526B1 (en) 2017-11-01 2020-09-01 Facebook Technologies, Llc Spatial derivative pixel array with adaptive quantization
JP7018293B2 (ja) * 2017-11-06 2022-02-10 ブリルニクス シンガポール プライベート リミテッド 固体撮像装置、固体撮像装置の駆動方法、および電子機器
US11039092B2 (en) 2017-11-15 2021-06-15 Nvidia Corporation Sparse scanout for image sensors
US11393867B2 (en) 2017-12-06 2022-07-19 Facebook Technologies, Llc Multi-photodiode pixel cell
DE112018006264T5 (de) 2017-12-06 2020-08-20 Sony Semiconductor Solutions Corporation Festkörper-bildaufnahmevorrichtung, steuerverfahren für die festkörper-bildaufnahmevorrichtung und computerprogramm
US10708529B2 (en) 2017-12-20 2020-07-07 Semiconductor Components Industries, Llc Image sensors with low-voltage transistors
US11057581B2 (en) 2018-01-24 2021-07-06 Facebook Technologies, Llc Digital pixel array with multi-stage readouts
US20190246036A1 (en) 2018-02-02 2019-08-08 Futurewei Technologies, Inc. Gesture- and gaze-based visual data acquisition system
KR102469080B1 (ko) 2018-02-13 2022-11-23 에스케이하이닉스 주식회사 비교 장치 및 그에 따른 씨모스 이미지 센서
US10827142B2 (en) 2018-03-02 2020-11-03 Facebook Technologies, Llc Digital pixel array with adaptive exposure
US10969273B2 (en) 2018-03-19 2021-04-06 Facebook Technologies, Llc Analog-to-digital converter having programmable quantization resolution
US11004881B2 (en) 2018-04-03 2021-05-11 Facebook Technologies, Llc Global shutter image sensor
US10812742B2 (en) 2018-04-18 2020-10-20 Facebook Technologies, Llc Apparatus and method for determining whether a photodiode saturates and outputting a digital value representing a charge from that photodiode based on that determination
US11233085B2 (en) 2018-05-09 2022-01-25 Facebook Technologies, Llc Multi-photo pixel cell having vertical gate structure
US12034015B2 (en) 2018-05-25 2024-07-09 Meta Platforms Technologies, Llc Programmable pixel array
US11348955B2 (en) 2018-06-05 2022-05-31 Brillnics Singapore Pte. Ltd. Pixel structure for image sensors
US10804926B2 (en) 2018-06-08 2020-10-13 Facebook Technologies, Llc Charge leakage compensation in analog-to-digital converter
US10834344B2 (en) 2018-06-09 2020-11-10 Facebook Technologies, Llc Digital pixel with extended dynamic range
US10684681B2 (en) 2018-06-11 2020-06-16 Fotonation Limited Neural network image processing apparatus
US10903260B2 (en) 2018-06-11 2021-01-26 Facebook Technologies, Llc Multi-photodiode pixel cell
US11906353B2 (en) * 2018-06-11 2024-02-20 Meta Platforms Technologies, Llc Digital pixel with extended dynamic range
US11089210B2 (en) 2018-06-11 2021-08-10 Facebook Technologies, Llc Configurable image sensor
US11463636B2 (en) 2018-06-27 2022-10-04 Facebook Technologies, Llc Pixel sensor having multiple photodiodes
US10345447B1 (en) 2018-06-27 2019-07-09 Luminar Technologies, Inc. Dynamic vision sensor to direct lidar scanning
US10897586B2 (en) 2018-06-28 2021-01-19 Facebook Technologies, Llc Global shutter image sensor
US10708522B2 (en) 2018-08-10 2020-07-07 International Business Machines Corporation Image sensor with analog sample and hold circuit control for analog neural networks
US10931884B2 (en) 2018-08-20 2021-02-23 Facebook Technologies, Llc Pixel sensor having adaptive exposure time
US11956413B2 (en) 2018-08-27 2024-04-09 Meta Platforms Technologies, Llc Pixel sensor having multiple photodiodes and shared comparator
US11595602B2 (en) * 2018-11-05 2023-02-28 Meta Platforms Technologies, Llc Image sensor post processing
US11102430B2 (en) 2018-12-10 2021-08-24 Facebook Technologies, Llc Pixel sensor having multiple photodiodes
US11888002B2 (en) 2018-12-17 2024-01-30 Meta Platforms Technologies, Llc Dynamically programmable image sensor
JP7319780B2 (ja) 2019-01-11 2023-08-02 ブリルニクス シンガポール プライベート リミテッド 固体撮像装置、固体撮像装置の駆動方法、および電子機器
US11010327B2 (en) 2019-07-23 2021-05-18 Qualcomm Incorporated I3C point to point
JP7460345B2 (ja) 2019-09-30 2024-04-02 ブリルニクス シンガポール プライベート リミテッド 固体撮像装置、固体撮像装置の駆動方法、および電子機器
US11935291B2 (en) * 2019-10-30 2024-03-19 Meta Platforms Technologies, Llc Distributed sensor system
US11394905B2 (en) 2019-12-13 2022-07-19 Sony Semiconductor Solutions Corporation Dynamic region of interest and frame rate for event based sensor and imaging camera
JP7455588B2 (ja) 2020-01-17 2024-03-26 キヤノン株式会社 撮像装置
US11825228B2 (en) 2020-05-20 2023-11-21 Meta Platforms Technologies, Llc Programmable pixel array having multiple power domains
US20230092325A1 (en) * 2021-09-23 2023-03-23 Meta Platforms Technologies, Llc Digital pixel sensor
US20230239582A1 (en) * 2022-01-26 2023-07-27 Meta Platforms Technologies, Llc On-sensor image processor utilizing contextual data

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001008101A (ja) * 1999-05-13 2001-01-12 Eastman Kodak Co アクティブピクセルセンサ
JP2013225774A (ja) * 2012-04-20 2013-10-31 Brookman Technology Inc 固体撮像装置
JP2015530855A (ja) * 2012-10-05 2015-10-15 ラムバス・インコーポレーテッド 条件付きリセットのマルチビット読み出しイメージセンサ
WO2014144391A1 (en) * 2013-03-15 2014-09-18 Rambus Inc. Threshold-monitoring, conditional-reset image sensor
JP2016513942A (ja) * 2013-03-15 2016-05-16 ラムバス・インコーポレーテッド 閾値を監視する条件付きリセットイメージセンサ

Also Published As

Publication number Publication date
WO2019241205A1 (en) 2019-12-19
US11906353B2 (en) 2024-02-20
TWI810312B (zh) 2023-08-01
CN112470460B (zh) 2024-03-12
JP7292313B2 (ja) 2023-06-16
KR20210018495A (ko) 2021-02-17
US20190376845A1 (en) 2019-12-12
CN112470460A (zh) 2021-03-09
TW202001358A (zh) 2020-01-01
EP3804299A1 (en) 2021-04-14

Similar Documents

Publication Publication Date Title
US11910119B2 (en) Digital pixel with extended dynamic range
US11089210B2 (en) Configurable image sensor
US10827142B2 (en) Digital pixel array with adaptive exposure
JP7279082B2 (ja) 拡張されたダイナミックレンジをもつデジタルピクセル
CN111989911B (zh) 具有扩展的动态范围的数字像素
JP7292313B2 (ja) 拡張されたダイナミックレンジをもつデジタルピクセル
US11595602B2 (en) Image sensor post processing
JP2021532614A (ja) グローバルシャッタ画像センサ
US11363221B2 (en) Image sensor post processing
TWI773791B (zh) 具有擴展動態範圍的數位像素

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220322

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230414

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230509

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230606

R150 Certificate of patent or registration of utility model

Ref document number: 7292313

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150