JP2023029852A - デジタル画素画像センサ - Google Patents

デジタル画素画像センサ Download PDF

Info

Publication number
JP2023029852A
JP2023029852A JP2022185240A JP2022185240A JP2023029852A JP 2023029852 A JP2023029852 A JP 2023029852A JP 2022185240 A JP2022185240 A JP 2022185240A JP 2022185240 A JP2022185240 A JP 2022185240A JP 2023029852 A JP2023029852 A JP 2023029852A
Authority
JP
Japan
Prior art keywords
signal
pixel
digital
comparator
storage device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022185240A
Other languages
English (en)
Other versions
JP2023029852A5 (ja
Inventor
シンチャオ リュウ,
Xinqiao Liu
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Meta Platforms Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Meta Platforms Technologies LLC filed Critical Meta Platforms Technologies LLC
Publication of JP2023029852A publication Critical patent/JP2023029852A/ja
Publication of JP2023029852A5 publication Critical patent/JP2023029852A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/42Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44Electric circuits
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03KPULSE TECHNIQUE
    • H03K5/00Manipulating of pulses not covered by one of the other main groups of this subclass
    • H03K5/22Circuits having more than one input and one output for comparing pulses or pulse trains with each other according to input signal characteristics, e.g. slope, integral
    • H03K5/24Circuits having more than one input and one output for comparing pulses or pulse trains with each other according to input signal characteristics, e.g. slope, integral the characteristic being amplitude
    • H03K5/2472Circuits having more than one input and one output for comparing pulses or pulse trains with each other according to input signal characteristics, e.g. slope, integral the characteristic being amplitude using field effect transistors
    • H03K5/2481Circuits having more than one input and one output for comparing pulses or pulse trains with each other according to input signal characteristics, e.g. slope, integral the characteristic being amplitude using field effect transistors with at least one differential stage
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • H04N25/532Control of the integration time by controlling global shutters in CMOS SSIS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/616Noise processing, e.g. detecting, correcting, reducing or removing noise involving a correlated sampling function, e.g. correlated double sampling [CDS] or triple sampling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Nonlinear Science (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

【課題】各画素に高ダイナミックレンジ、低ノイズおよび低電力消費を実現するデジタイザを含むデジタル画素画像センサを提供する。【解決手段】デジタル画素画像センサは、複数のデジタル画素1000の各画素にデジタイザを含む。デジタイザは、画素のフォトダイオードからのアナログ出力信号を比較器1050、グローバル参照信号およびクロックカウンタを使用してデジタル化する。比較器は、各画素の電力消費を低減するために、定バイアス回路ではなくプリチャージ回路を含む。各画素は、ノイズを低減し高ダイナミックレンジを得るためのデジタルまたはアナログ相関二重サンプリング(CDS)回路を含む。【選択図】図10

Description

画像センサは、多くの異なる用途に使用される。たとえば、画像センサは、デジタル画像を取り込むためのデジタル撮像デバイス(たとえば、デジタルカメラ、スマートフォンなど)に見出すことができる。別の例として、仮想現実(VR)システム、拡張現実(AR)システム、および複合現実(MR)システムなどの人工現実システムでは、画像センサを使用して、ユーザが置かれている物理的環境の画像を取り込むことができ、次に、取り込まれた画像を使用して人工現実システムの表示コンテンツを制御したり、表示コンテンツに影響を及ぼしたりするなど、人工現実システムの動作を制御する、または動作に影響を及ぼすことができる。高速、高感度、高ダイナミックレンジ、低ノイズ、高密度、高解像度、および低電力消費である画像センサが、人工現実システムを含むこれらの用途の多くに望まれ得る。
本発明は、一般にデジタル画素画像センサに関する。より詳細には、本明細書で開示される技法は、各画素にデジタイザ(たとえば、ADC)を含むデジタル画素画像センサに関し、このデジタイザは、画素のフォトダイオードからのアナログ出力を比較器、参照ランプ信号、およびカウンタを使用してデジタル化する。いくつかの実施形態では、各画素は、ノイズを低減し高ダイナミックレンジを得るためのデジタルまたはアナログ相関二重サンプリング(CDS)回路を含むことができる。いくつかの実施形態では、比較器は、各デジタル画素の電力消費を低減するために、定バイアス回路ではなくプリチャージ回路を含むことができる。
いくつかの実施形態では、デジタル画素画像センサは複数の画素を含むことができる。各画素は、光信号に応答して電荷を生成するように構成されたフォトダイオードと、フォトダイオードによって生成された電荷を貯蔵するように構成された電荷貯蔵デバイスとを含むことができ、貯蔵された電荷により電圧信号が電荷貯蔵デバイスに生じ得る。各画素はまた、画素メモリおよびデジタイザを含むこともできる。デジタイザは、ランプ信号および電圧信号を受け取るように構成された比較器を含むことができ、ランプ信号の電圧レベルは、クロック信号の各サイクル後に増加または低下する。比較器はさらに、ランプ信号の電圧レベルが電圧信号の電圧レベルに達した後に比較器の出力状態を変化させるように構成され得る。デジタイザはまた、比較器の出力状態が変化したときに、ランプ信号が開始したときの時間と、比較器の出力状態が変化したときの時間との間のクロック信号の総サイクル数に対応する第1の数を受け取るように、かつ第1の数を画素メモリに保存するように構成されたデジタル出力生成回路を含むことができ、この第1の数は、電圧信号の電圧レベルのデジタル値に対応する。
特定の実施形態では、画像センサ用のデジタル画素が、光信号に応答して電荷を生成するように構成されたフォトダイオードと、フォトダイオードによって生成された電荷を貯蔵するように構成された電荷貯蔵デバイスとを含むことができ、貯蔵された電荷により電圧信号が電荷貯蔵デバイスに生じ得る。各画素はまた、画素メモリおよびデジタイザを含むこともできる。デジタイザは、ランプ信号および電圧信号を受け取るように構成された比較器を含むことができ、ランプ信号の電圧レベルは、クロック信号の各サイクル後に増加または低下する。比較器はさらに、ランプ信号の電圧レベルが電圧信号の電圧レベルに達した後に比較器の出力状態を変化させるように構成され得る。デジタイザはまた、比較器の出力状態が変化したときに、ランプ信号が開始したときの時間と、比較器の出力状態が変化したときの時間との間のクロック信号の総サイクル数に対応する第1の数を受け取るように、かつ第1の数を画素メモリに保存するように構成されたデジタル出力生成回路を含むことができ、この第1の数は、電圧信号の電圧レベルのデジタル値に対応する。
特定の実施形態では、デジタル撮像の方法が開示される。この方法は、画像センサの画素のフォトダイオードによって露光期間中に光信号を受け取ること、および、画素によって光信号を画素の電荷貯蔵デバイスへの電圧信号に変換することを含み得る。この方法はさらに、クロック信号のクロックサイクル数を数えるクロックカウンタを始動すること、および、画素の比較器によって電圧信号と、クロックサイクル数に合わせて電圧レベルが直線的に増加または低下するランプ信号とを比較することを含み得る。この方法はまた、ランプ信号の電圧レベルが電圧信号の電圧レベルに達したときに、比較器によって比較器の出力状態を変化させること、および、比較器の出力状態が変化したときのクロックサイクル数に対応する第1の数を画素の画素メモリに、電圧信号に対する第1のデジタル値として保存することを含み得る。
この概要は、特許請求された主題の重要または必須の特徴を特定することも、また特許請求された主題の範囲を決定するために分離して使用されることも意図していない。本主題は、本開示の明細書全体のうちの適切な部分と、いずれかまたはすべての図面と、各請求項とを参照することによって理解されるはずである。上記については、他の特徴および例と共に、以下の明細書、請求項、添付の図面においてさらに詳細に記述される。
例示的な実施形態について、以下の図を参照してさらに詳細に記述する。
特定の実施形態による、様々なセンサを含む簡略化された例示的ニアアイディスプレイの斜視図である。 特定の実施形態による、様々なセンサを含む簡略化された例示的ニアアイディスプレイの断面図である。 特定の実施形態による、様々なセンサを含む簡略化された例示的ニアアイディスプレイの前面図である。 特定の実施形態による、様々なセンサを含む簡略化された例示的ニアアイディスプレイの断面図である。 アナログ画素を用いた例示的な画像センサの簡略化ブロック図である。 能動画素センサ(APS)の例示的な3トランジスタ能動画素を示す図である。 第1の時点にローリングシャッタを使用する画像センサの画素の異なる行の例示的な状態を示す図である。 第2の時点にローリングシャッタを使用する画像センサの画素の異なる行の例示的な状態を示す図である。 特定の実施形態による、例示的なグローバルシャッタデジタル画素画像センサの簡略化ブロック図である。 特定の実施形態による、例示的なグローバルシャッタデジタル画素画像センサの例示的なデジタル画素の簡略化ブロック図である。 特定の実施形態による、例示的なグローバルシャッタデジタル画素画像センサの例示的なデジタル画素の例示的な動作を示す図である。 特定の実施形態による、アナログ相関二重サンプリング(CDS)回路を含む例示的なデジタル画素の簡略化ブロック図である。 特定の実施形態による、デジタルCDS回路を含む例示的なデジタル画素の簡略化ブロック図である。 特定の実施形態による、デジタルCDS回路を含む例示的なデジタル画素を示す図である。 特定の実施形態による、各画素にデジタルCDS回路を用いたグローバルシャッタデジタル画素画像センサの、例示的な時間フレームでの例示的なタイミング期間を示す図である。 特定の実施形態による、グローバルシャッタデジタル画素画像センサにデジタルCDS回路を用いたデジタル画素の動作を示すタイミング図である。 DCバイアス回路を含む例示的な比較器を示す図である。 特定の実施形態による、プリチャージ回路を含む例示的な比較器を示す図である。 特定の実施形態による、図14の例示的な比較器の動作を示すタイミング図である。 特定の実施形態による、デジタル撮像の例示的な方法を示す流れ図である。 本明細書に開示された例のいくつかを実施できるニアアイディスプレイを含む、例示的な人工現実システム環境の簡略化ブロック図である。
本明細書では、高速、高解像度、高ダイナミックレンジ、高感度、および低電力消費の画像センサが開示される。様々な実施形態では、所望の性能を達成するために、画素ごとにデジタイザを含むデジタル画素画像センサが使用され得る。いくつかの実施形態では、デジタル画素画像センサの各デジタル画素は、フォトダイオード、転送ゲート、アナログ記憶デバイス(たとえば、明示または寄生のキャパシタ)、デジタイザ(たとえば、ADC)、およびデジタルメモリを含み得る。フォトダイオードは、光信号を電気信号に変換することができる。転送ゲートを使用してフォトダイオードからの電気信号(たとえば、蓄積電荷)をアナログ記憶デバイスへ転送することができ、デジタイザは、アナログ記憶デバイスの電気信号をデジタルビットに変換することができる。デジタルメモリはデジタルビットを、そのデジタルビットが読み出される前に記憶しておくことができる。一例では、各デジタル画素のデジタイザは比較器を含むことができる。比較器は、アナログ記憶デバイスの電気信号を参照ランプ信号と比較することができる。参照ランプ信号は、たとえばDACによって生成されたグローバル信号でもよい。クロックカウンタ(たとえば、グローバルクロックカウンタ)は、クロックサイクルの数を各画像フレームで連続してカウントすることができる。参照ランプ信号がアナログ記憶デバイスの電気信号のレベルに達すると、デジタル画素の比較器の出力状態が変化し得る(たとえば、反転、切り替わり、またはランプアップ/ダウン)。次に、デジタル画素の比較器の出力が状態を変化させるときのカウンタ値が、比較器の出力が切り替わることによってデジタル画素のメモリの中にラッチされ得る。
いくつかの実施形態では、デジタル画素は、ランダムノイズ(たとえば、1/fノイズ、キャパシタの熱kT/Cノイズ)および固定パターンノイズ(FPN)(たとえば、画素間の比較器閾値不整合によって生じる)を低減するために、相関二重サンプリング(CDS)回路(たとえば、デジタルCDS回路)を含むことができる。CDS回路は、アナログ記憶デバイスのリセットレベルをデジタル化し(たとえば、mビットに)、またフォトダイオードから転送されたアナログ記憶デバイスの電気信号のレベルをデジタル化することができる(たとえば、nビットに)。これら2つのデジタル化値は、(n+m)ビット画素メモリに記憶することができる。2つのデジタル化値の間の差は、画像フレームのデジタル画素のデジタル出力として使用することができる。
一実装形態では、画像フレームごとに、フォトダイオードは最初に光信号に露光され、その変換された電気信号を積分し始めることができる。露光(または積分)期間の終了時に、または終わり近くに(たとえば、終わる約100μs前に)、アナログ記憶デバイスをリセットすることができる。このリセットレベルは、デジタイザを使用してデジタル化することができる。露光期間の後に、(積分された)電気信号は、フォトダイオードからアナログ記憶デバイスへ転送し、デジタイザによってデジタル化することができる。したがって、フレーム周期(たとえば、33ms)の時間のほとんどの間(たとえば、95%、または99%以上)、デジタル画素は低電力モード(たとえば、積分モード)で作動することができる。
いくつかの実施形態では、デジタイザの比較器は、静的(DC)電力消費を最小限にできる回路を含むことができる。たとえば、DCバイアス回路を使用して比較器をある作動状態で設定するのではなく、デジタル化の前に、プリチャージ回路を使用して比較器の内部ノードをたとえば低レベルにプリチャージすることができる。プリチャージは、数マイクロ秒などの短い期間継続することができる。フレーム周期の時間の残りの間、比較器は静的電力をわずかしか、または全く消費しなくてよい。したがって、比較器による総電力消費は大幅に低減され得る。
以下の記述では、説明を目的として、本開示の諸例が完全に理解されるように具体的な詳細について論述する。しかし、これらの具体的な詳細がなくても様々な例を実践できることが明らかであろう。たとえば、デバイス、システム、構造、アセンブリ、方法、および他の構成要素が、不必要な詳記で諸例を不明瞭にしないようにするために、ブロック図の形の構成要素として示されることがある。別の事例では、よく知られているデバイス、プロセス、システム、構造、および技法が、諸例を不明瞭にすることを回避するために、必要な詳記なしで示されることがある。図および記述は、限定的なものではない。本開示に採用された用語および表現は制限ではなく記述の用語として使用されており、このような用語および表現を使用することには、図示され記述された特徴またはその一部分のいかなる等価物も排除するものではない。
画像センサは、フォトセンサのアレイを含むことができる。各フォトセンサは、何らかの光電子材料の光電効果を使用して光子を電荷(たとえば、電子または正孔)に変換することによって入射光を検知できるフォトダイオードでもよい。フォトセンサはまた、露光期間中にフォトダイオードによって生成された電荷を集める(たとえば、蓄積または積分する)ために、容量性デバイス(たとえば、寄生キャパシタ)などのアナログ記憶デバイスを含むこともできる。集められた電荷は、容量性デバイスにおける電圧変化を生じさせることができる。露光時間期間内に容量性デバイスに蓄えられた電荷の数を反映する電圧変化は、入射光の強度と相関関係がある。容量性デバイスにおける電圧レベルはバッファリングし、アナログ-デジタル変換器(ADC)または他のデジタイザに供給することができ、これらのデジタイザはその電圧レベルを、入射光の強度を表すデジタル値に変換することができる。画像フレームは、フォトセンサのアレイによって得られた強度データに基づいて生成することができ、各フォトセンサが、画像フレームの画素に対応する画像センサの画素を形成する。画像センサの画素のアレイは行と列に配置することができ、各画素が、画像中の特別な場所の画素の輝度を表す電圧を生成する。アレイに含まれる画素の数が、生成された画像フレームの解像度を決定し得る。
本明細書で開示される画像センサの実施形態は、人工現実システムを含むこと、またはこれと一緒に実施することができる。人工現実は、ユーザに提示される前に何らかの方法で調整された現実の形であり、これには、たとえば、仮想現実(VR)、拡張現実(AR)、複合現実(MR)、ハイブリッド現実、あるいはこれらのいくつかの組み合わせおよび/または派生物が含まれ得る。人工現実コンテンツには、コンピュータ生成コンテンツだけ、または取り込みコンテンツ(たとえば、実世界オブジェクトの画像)と組み合わされたコンピュータ生成コンテンツが含まれ得る。人工現実コンテンツには、映像、音声、触覚フィードバック、またはこれらのいくつかの組み合わせが含まれてもよく、これらのいずれも、単一のチャネルまたは複数のチャネル(視聴者に三次元効果をもたらす立体映像など)で提示することができる。加えて、いくつかの実施形態では、人工現実はまた、アプリケーション、製品、アクセサリ、サービス、またはこれらのいくつかの組み合わせと関連付けることができ、これらはたとえば、人工現実のコンテンツを作成するために使用され、かつ/または人工現実において(たとえば、諸活動を行うのに)別に使用される。人工現実コンテンツを提供する人工現実システムは、ホストコンピュータシステムに接続されたヘッドマウントディスプレイ(HMD)、独立型HMD、モバイルデバイスもしくはコンピューティングシステム、または他の、人工現実コンテンツを1人または複数の視聴者に提供できる任意の他のハードウェアプラットフォームを含む、様々なプラットフォーム上で実施することができる。
図1Aは、特定の実施形態による、様々なセンサを含む簡略化された例示的ニアアイディスプレイ100の斜視図である。図1Bは、特定の実施形態による、様々なセンサを含む簡略化された例示的ニアアイディスプレイ100の断面図である。ニアアイディスプレイ100は、メディアをユーザに提示することができる。ニアアイディスプレイ100によって提示されるメディアの例には、1つまたは複数の画像、映像、および/または音声のコンテンツが含まれる。いくつかの実施形態では、音声コンテンツは、ニアアイディスプレイ100、コンソール、または両方から音声情報を受け取り、この音声情報に基づいた音声データを提示する外部デバイス(たとえば、スピーカおよび/またはヘッドホン)を介して、提示することができる。ニアアイディスプレイ100は、仮想現実(VR)表示装置として動作するように構成することができる。いくつかの実施形態では、ニアアイディスプレイ100は、拡張現実(AR)表示装置および/または複合現実(MR)表示装置として動作するように構成することができる。
ニアアイディスプレイ100は、フレーム105および表示装置110を含むことができる。1つまたは複数の光学要素をフレーム105に結合または埋設することができる。表示装置110は、ニアアイディスプレイ100によって提示されるコンテンツがユーザに見えるように構成することができる。表示装置110は、電子表示装置および/または光学表示装置を含むことができる。たとえば、いくつかの実施形態では、表示装置110は、1つまたは複数の生成画像または実画像からの光をユーザの眼へ導くための導波表示装置アセンブリを含むことができる。
ニアアイディスプレイ100は、1つまたは複数の画像センサ120a、120b、120c、および120dを含むことができる。画像センサ120a、120b、120c、および120dのそれぞれは、異なる方向の異なる視野を表す画像データ生成するように構成された画素アレイを含むことができる。たとえば、画像センサ120aおよび120bは、Z軸に沿った方向Aの2つの視野を表す画像データを得るように構成することができるのに対し、画像センサ120cは、X軸に沿った方向Bの視野を表す画像データを得るように構成することができ、画像センサ120dは、X軸に沿った方向Cの視野を表す画像データを得るように構成することができる。
いくつかの実施形態では、画像センサ120a~120dは、ニアアイディスプレイ100の表示コンテンツを制御して、またはこれに影響を及ぼして、ニアアイディスプレイ100のユーザに対話式のVR/AR/MR経験を提供するための入力デバイスとして構成することができる。たとえば、画像センサ120a~120dは、ユーザが置かれている物理的環境の物理的画像データを生成することができる。この物理的画像データは、物理的環境におけるユーザの場所および/または移動経路を追跡する場所追跡システムに供給することができる。次に、1つのシステムが、たとえばユーザの場所および向きに基づいて、表示装置110に供給された画像データを更新して対話型経験を提供することができる。いくつかの実施形態では、場所追跡システムは、同時位置特定およびマッピング(SLAM)アルゴリズムを遂行して、ユーザが物理的環境内で移動するにつれて物理的環境内およびユーザの視野内のオブジェクトのセットを追跡することができる。場所追跡システムは、オブジェクトのセットに基づいた物理的環境のマップを構築および更新し、そのマップ内のユーザの場所を追跡することができる。複数の視野に対応する画像データを得ることによって、画像センサ120a~120dは、物理的環境のより全体的な眺望を場所追跡システムに提供することができ、これにより、より多くのオブジェクトがマップの構築および更新に含まれるようになり得る。このような構成によって、物理的環境内でユーザの場所を追跡する精度および頑強性が改善され得る。
ニアアイディスプレイ100はさらに、光を物理的環境の中に投射するための1つまたは複数の発光体130を含み得る。投射される光は、異なる周波数スペクトルを伴うことができ(たとえば、可視光、赤外光、紫外光など)、様々な目的に役立ち得る。たとえば、発光体130は、暗い環境内で画像センサ120a~120dが異なるオブジェクトの画像を取り込むのを助けるために暗い環境の中で(または赤外光、紫外光などの強度が低い環境の中で)光を投射して、たとえばユーザの場所追跡を可能にすることができる。発光体130は、環境内のオブジェクトの上に特定のマーカ(たとえば、構造化光パターン)を投射して、場所追跡システムがマップ構築/更新のためにオブジェクトを識別するのを助けることができる。
いくつかの実施形態では、発光体130はまた、立体撮像を可能にすることもできる。たとえば、画像センサ120aまたは120bの一方または両方が、可視光検知用の第1の画素アレイと赤外(IR)光検知用の第2の画素アレイとの両方を含むことができる。第1の画素アレイはカラーフィルタ(たとえば、ベイヤーフィルタ)で覆うことができ、この第1の画素アレイの各画素は、特別な色(たとえば、赤、緑または青色)と関連する光の強度を測定するように構成されている。第2の画素アレイ(IR光検知用)もまた、IR光だけを通過させるフィルタで覆うことができ、この第2の画素アレイの各画素は、IR光の強度を測定するように構成されている。これらの画素アレイは、オブジェクトのRGB画像およびIR画像を生成することができ、IR画像の各画素がRGB画像の各画素にマッピングされている。発光体130は、一組のIRマーカをオブジェクトに投射することができ、これらのマーカの画像は、IR画素アレイによって取り込むことができる。画像中に示されたオブジェクトのIRマーカの分布に基づいて、システムは、オブジェクトの異なる部分のIR画素アレイからの距離を推定し、その距離に基づいてオブジェクトの三次元(3D)画像を生成することができる。オブジェクトの3D画像に基づいて、システムは、たとえばユーザに対するオブジェクトの相対位置を決定することができ、その相対位置情報に基づいて、ニアアイディスプレイ100に供給される画像データを更新して対話型経験を提供することができる。
上で論じたように、ニアアイディスプレイ100は、非常に広い光強度の範囲を伴う環境中で動作させることができる。たとえば、ニアアイディスプレイ100は、屋内環境または屋外環境において、および/または1日のうちの異なる時間に動作させることができる。ニアアイディスプレイ100はまた、発光体130がオンにされていてもいなくても動作することができる。その結果、画像センサ120a~120dは、ニアアイディスプレイ100の異なる動作環境に伴う非常に広い光強度の範囲にわたって適切に動作できるように(たとえば、入射光の強度と相関関係がある出力を生成するために)、広いダイナミックレンジ、高い感度、および低いノイズレベルを有することが必要になり得る。
さらに、画像センサ120a~120dは、眼球の運動を追跡するために高速で出力を生成できることが必要になり得る。たとえば、ユーザの眼球は、非常に急速な運動(たとえば、サッカード運動)をすることができ、1つの眼球位置から別の位置への速いジャンプがあり得る。ユーザの眼球の急速運動を追跡するために、画像センサ120a~120dは、眼球の画像を高速で生成する必要があり得る。たとえば、画像センサが1つの画像フレームを生成する速度(フレームレート)は、少なくとも眼球の運動速度と対等である必要がある。高いフレームレートは、画像フレームを生成するのに関わる画像センサ画素すべての総露光時間が短いこと、ならびにセンサ出力を画像生成のためにデジタル値に変換するのが高速であることを必要とする。加えて、画像センサはまた、低電力消費で動作できることも必要である。
図2Aは、特定の実施形態による、様々なセンサを含む簡略化された例示的ニアアイディスプレイ200の前面図である。図2Bは、特定の実施形態による、様々なセンサを含む簡略化された例示的ニアアイディスプレイ200の断面図である。ニアアイディスプレイ200は、ニアアイディスプレイ100と類似していてもよく、フレーム205および表示装置210を含むことができる。1つまたは複数の画像センサ250aおよび250bは、フレーム205に結合または埋設することができる。図2Aは、ニアアイディスプレイ200のユーザの眼球235に面するニアアイディスプレイ200の側面を示す。図2Aおよび図2Bに示されるように、ニアアイディスプレイ200は、複数の発光体240a、240b、240c、240d、240e、および240fを含むことができる。ニアアイディスプレイ200はさらに、複数の画像センサ250aおよび250bを含むことができる。発光体240a、240b、および240cは、方向D(図1Aおよび図1Bの方向Aとは反対である)に特定の周波数範囲の光(たとえば、NIR)を発することができる。発される光は特定のパターンを伴うことができ、ユーザの左の眼球で反射され得る。画像センサ250aは、反射光を受光し反射パターンの画像を生成するための画素アレイを含み得る。同様に、発光体240d、240e、および240fは、特定のパターンを搬送するNIR光を発することができる。NIR光は、ユーザの右の眼球で反射され、画像センサ250bで受光され得る。画像センサ250bもまた、反射パターンの画像を生成するための画素アレイを含み得る。画像センサ250aおよび250bからの反射パターンの画像に基づいて、システムは、ユーザの注視位置を決定し、この決定された注視位置に基づいて、ニアアイディスプレイ200に供給される画像データを更新して対話型経験をユーザに提供することができる。
ユーザの眼球がダメージを受けないようにするために、発光体240a、240b、240c、240d、240e、および240fは通常、非常に低い強度で光を発するように構成される。画像センサ250aおよび250bが画像センサ120a~120dと同じセンサデバイスを備える場合、画像センサ250aおよび250bは、入射光の強度が非常に低いときに入射光の強度と相関関係がある出力を生成できる必要があり得、このことは、画像センサのダイナミック要件をさらに増大させ得る。
図3は、アナログ画素を用いた例示的な画像センサの簡略化ブロック図である。いくつかの実施形態では、画像センサ300は能動画素センサ(APS)画像センサとすることができる。画像センサ300は、画素アレイ310、ADCインターフェース320、デジタル-アナログコンバータ(DAC)と支援回路330、およびタイミングと制御回路340を含むことができる。画素アレイ310は、複数のAOS画素を含むことができる。画素アレイ310の各画素は、画素を照らす光信号の強度に対応する電圧または電流を生成できる光検出器またはフォトダイオードなどのフォトセンサを含み得る。たとえば、各画素は、画素に対する光信号を電流に変換することができる。画素アレイの各画素はまた、電流を積分して電圧信号を生成し記憶できる容量性デバイスなどのアナログ記憶デバイスを含むこともでき、この電圧信号は、画素へのグレーレベル/色情報を提示するアナログ検出信号と呼ばれることがある。
タイミングと制御回路340は、1つまたは複数の画素(たとえば、一行の画素)を選択的に活性化してアナログ検出信号をADCインターフェース320へ送出する、行デコーダとドライバ回路および/または列デコーダとドライバ回路を画素アレイ310の境界に含むことができる。
ADCインターフェース320は、複数のADCデバイスを含み得る。いくつかの実施形態では、ADCデバイスはそれぞれ、一列の画素に対応することができ、画素からのアナログ検出信号を一度に1行ずつデジタルデータに変換するのに使用することができる。各ADCデバイスは2つの入力部を1つは参照信号用に、もう1つはアナログ検出信号用に含むことができる。参照信号は、たとえば、デジタル-アナログコンバータ(DAC)および支援回路330によって生成することができる。各画素からのアナログ検出信号は、参照信号に基づいて、ADCデバイスによってデジタルデータに変換することができる。画素の各行からのデジタルデータは、デジタル画像データファイルに保存して画像フレームを形成することができる。
いくつかの実施形態では、各ADCは、内部オフセット補正回路と、画素ごとのパラメータばらつきによって生じる固定パターンノイズ(FPN)などのノイズを低減するように構成された相関二重サンプリング(CDS)回路とを含むことができる。CDS回路はまた、ADCインターフェース320の外部の独立型のユニットでもよい。CDS動作は、たとえば、参照信号またはリセット信号をサンプリングおよび保持し、アナログ検出信号をサンプリングおよび保持し、かつアナログ検出信号から参照信号を差し引いて相関アナログ検出信号を生成することによって行うことができる。相関アナログ検出信号は次に、ADCによってデジタル画像データに変換することができる。
いくつかの実施形態では、画素アレイ310の各画素は、たとえば、4トランジスタ(4T)APS画素または3トランジスタ(3T)APS画素を含み得る。たとえば、画素アレイの各3T画素は、光検出器(たとえば、埋め込みフォトダイオード)、リセットゲート、選択ゲート、ソースフォロワ増幅器トランジスタ、および容量性デバイス(たとえば、ソースフォロワ増幅器トランジスタのゲートの寄生キャパシタ)を含み得る。リセットゲートはオンにして、容量性デバイスに蓄えられた電荷を一掃することができる。露光中、光検出器によって生成された電荷を容量性デバイスに蓄えて、アナログ検出信号(たとえば、電圧信号)を生成することができる。画素が、対応する選択ゲートをたとえば行選択信号を使用して活性化することによって選択されると、容量性デバイスのアナログ検出信号は、ソースフォロワ増幅器トランジスタによって増幅され読み出しバス(たとえば、列ライン)へ送出されて、対応する列のADCによってデジタル画像データに変換され得る。いくつかの実施形態では、複数の画素でいくつかのゲートを共有して、画像センサに使用されるゲートの総数を減らすことができる。
図4は、CMOS能動画素センサ(APS)の例示的な4トランジスタ(4T)能動画素400を示す。4T能動画素400は、光検出器(たとえば、埋め込みフォトダイオード(PD)410)、トランジスタゲートM4 420、容量性記憶デバイス(たとえば、浮動拡散(FD)キャパシタCFD 430)、リセットゲートM1 440、ソースフォロワ読み出しトランジスタM2 450、および選択ゲートM3 460を含み得る。埋め込みフォトダイオード410は、光信号を電気信号に変換し、この電気信号を電荷として埋め込みフォトダイオード410の寄生キャパシタ412などの容量性デバイスに蓄える。蓄えられた電荷は、転送ゲートM4 420を介してFDキャパシタCFD 430へ転送することができる。リセットゲートM1 440を使用して、FDキャパシタCFD 430を既知の電圧レベルにリセットすることができる。選択ゲートM3 460のゲートは、行選択信号などの選択信号に接続して、FDキャパシタCFD 430の電圧信号を増幅できるソースフォロワ読み出しトランジスタM2 450を介し、FDキャパシタCFD 430を読み出しバス(たとえば列ライン480)に選択的に結合することができる。
能動画素400の動作中、各ラインの画素を露光する前に、寄生キャパシタ412に蓄えられた電荷は、たとえばシャッタ信号を使用して一掃すなわち放電することができ、またリセットゲートM1 440をオンにして、FDキャパシタCFD 430に蓄えられた電荷を一掃することができる。任意選択で、リセット後のFDキャパシタCFD 430の電圧レベルを読み出すことができる。露光中、光検出器によって生成された電荷をフォトダイオード410の寄生キャパシタ412に蓄えることができる。露光の終了時に電荷は、転送ゲートM4 420を介してFDキャパシタCFD 430へ転送することができる。埋め込みフォトダイオード410は暗電流が小さく、青色応答性が良好であり、転送ゲートに結合されると、埋め込みフォトダイオード410からFDキャパシタCFD 430への完全な電荷転送を可能にすることができる。この電荷により、FDキャパシタCFD 430における電圧変化が生じる。画素が、対応する選択ゲートM3 460を活性化することによって選択されると、FDキャパシタCFD 430の電圧信号(すなわち、アナログ検出信号)は、ソースフォロワ読み出しトランジスタM2 450によって増幅し、列ライン480へ送出することができる。次に、列ライン480に接続されたADCが、増幅された電圧信号をデジタル画像データに変換することができる。いくつかの実装形態では、光検出器から浮動拡散キャパシタへの画素内電荷転送を使用すると、相関二重サンプリング(CDS)をイネーブルすることによってノイズが低減し得る。
多くの画像センサでは、たとえばチップサイズおよび/または電力制約により画像センサのADCの数が制限されているので、画像センサの画素はADCに交代でアクセスして、デジタル画像データをたとえば一度に1つの行の画素ずつ生成することができる。一般に、ADC(たとえば、画素の列ごとに1つ)の1つの組が、1つの行の画素で生成された各電圧信号を同時にデジタル画像データに変換するように設けられ得る。しかし、隣接する画素セルの行は、そのADCの組に交代でアクセスしなければならないことがある。一例では、ローリング電子シャッタがCMOS画像センサに使用されることがあり、この場合、画素の各行が入射光に順次に露光されて電荷を生成し、画像センサの画素の1つの行が選択され一度に読み出されてもよく、それにより、画像センサの画素は、行ごとに選択され読み出されて画像フレームを生成できるようになる。一実装形態では、画像センサの画素の各行は、ある露光期間、入射光に露光することができる。行の画素はそれぞれ、露光期間中にフォトダイオードによって生成された電荷に基づく電圧信号を生成し、その電圧信号を1つの列のADCへ送出することができる。すべての列のADCが、その行の画素によって受光された入射光の強度を表す一組のデジタル画像データを生成することができる。すべての行の画素が入射光に露光され1つの画像フレームのデジタル画像データが出力されるまで、次の行の画素が後続の露光期間に入射光に露光されて、別の組のデジタル画像データが生成され得る。別の例では、隣接する行の画素の露光時間はいくらかのオーバラップを有することができるが、各行の画素はなお、光電電荷によって生成された電圧信号をデジタル画像データに交代で変換する必要があり得る。画像フレームは、画像センサの各行の画素のデジタル画像データに基づいて生成することができる。
図5Aは、第1の時刻にローリングシャッタを使用する画像センサ510の、異なる行の画素の例示的な状態を示す。第1の時刻に、画像センサ510の行520の画素はリセットすることができ、行530の画素は光信号に露光して各画素に電荷を蓄積することができ、行540の画素からの電圧信号は読み出し、一組のADCによってデジタル信号に変換することができる。画像センサ510の残りの画素は不活性にすることができ、第1の時点には少しも電力を消費しなくてよい。リセットされている画素の行(たとえば、行520)、VLC光信号に露光されている画素の行(たとえば、行530)、および読み出されている画素の行(たとえば、行540)を含む窓は、一度に1行ずつ下にシフトされて画像フレームが生成され得る。
図5Bは、第2の時刻にローリングシャッタを使用する画像センサ510の、異なる行の画素の例示的な状態を示す。第2の時刻は第1の時刻よりも後である。図5Bでは、リセットされている画素の行(たとえば、行520)、光信号に露光されている画素の行(たとえば、行530)、および読み出されている画素の行(たとえば、行540)は、図5Aに示された第1の時刻におけるその場所と比較して下にシフトされ得る。
上述のように、高速(たとえば、高フレームレート)、高感度、高ダイナミックレンジ、高解像度、および低電力消費である画像センサが、仮想現実デバイスまたは複合現実デバイスなどの用途に望まれる。しかし、ローリングシャッタを使用する上述の画像センサは、別の行の画素と共有されているADCの数の制限、および画素の各行の露光時間の制限により、速度が制限され、感度が制限されていることがある。
いくつかの実施形態では、画素ごとにデジタイザを有するデジタル画素画像センサが、高いフレームレートを達成するために使用され得る。デジタル画素画像センサの各デジタル画素は、光検出器(たとえば、フォトダイオード)、転送ゲート、アナログ記憶デバイス(たとえば、明示または寄生のキャパシタ)、デジタイザ(たとえば、ADC)、およびデジタルメモリを含み得る。フォトダイオードは、光信号を電気信号(たとえば、電荷または電流)に変換すること、および/または電気信号を積分することができる。転送ゲートを使用してフォトダイオードからの(積分された)電気信号をアナログ記憶デバイスへ転送することができ、デジタイザは、アナログ記憶デバイスの電気信号をデジタルビットに変換することができる。デジタルメモリはデジタルビットを、そのデジタルビットが各画素から読み出される前に記憶しておくことができる。デジタル画素画像センサの各画素がそれ自体のADCを有しているので、デジタル画素画像センサの全画素を、1つの画像フレームの、ある同一の露光時間期間中に光信号に露光することができ、またデジタル画素画像センサの全画素からの電圧信号を並行してデジタル画像データに変換することができる。すなわち、グローバルシャッタを使用して画像センサの全画素の露光を制御することができ、画像センサのフレームレートが上述のローリングシャッタ画像センサと比較して大幅に高められ得る。
図6は、特定の実施形態による、例示的なグローバルシャッタデジタル画素画像センサ600の簡略化ブロック図である。デジタル画素画像センサ600は、デジタル画素アレイ610、行ドライバとグローバル信号ドライバ回路620、グローバルカウンタ630、カウンタバッファ640、およびランプ発生器とバッファ回路650などの他の支援回路を含み得る。デジタル画素画像センサ600はまた、センス増幅器660と、センス増幅器バイアス回路670と、デジタル画素の各行からデジタルデータを読み出してデジタル画像を形成するラインメモリ680とを含み得る。デジタル画素画像センサ600はまた、デジタルブロック690、電源調節回路695、および/またはモバイル産業プロセッサインターフェース(MIPI)回路698などの、他の回路も含み得る。
デジタル画素アレイ610は、二次元アレイの画素を含み得る。各画素は、光検出器(たとえば、フォトダイオード)およびデジタイザを含み得る。フォトダイオードが入射光信号に応答して生成した電荷を蓄積して生成されたアナログ電圧信号は、各画素の内部でデジタイザによって変換され得る。すなわち、各画素は、アナログ信号ではなく、入射光の強度および/または色に対応するデジタルデータを出力することができる。加えて、デジタル画素アレイ610の全画素のアナログ電圧信号が同時に変換されて、画素内で追加の遮蔽アナログ記憶ノードを使用してアナログ電圧信号を記憶しなくても、グローバルシャッタ動作が可能になり得る。行ドライバとグローバル信号ドライバ回路620が、電荷積分、比較器動作、デジタル書き込み、デジタル出力などを含む、画素の動作を制御することができる。
グローバルカウンタ630が、グローバルカウンタ値をデジタル画素アレイ610の全画素に供給するために使用されてもよい。カウンタバッファ640が、グローバルカウンタ630からのグローバルカウンタ値を各画素へ送出することができる。ランプ発生器とバッファ回路650が、ランプ信号(上または下に傾斜している)または三角波信号などのグローバル参照信号を生成することができる。各画素のデジタイザは、グローバルカウンタ値およびグローバル参照信号を使用して、画素で生成されたアナログ電圧信号に対応するデジタルデータを決定することができる。
いくつかの実装形態では、画素内デジタルビットはレールからレールまで振れることができず、したがって、デジタル値を再生するためにセンス増幅器が使用されることがある。センス増幅器660は、アナログ-デジタル変換後に画素内のデジタル値を読み出すことができる。センス増幅器660は、1つの行の画素の複数のデジタル値を一度に読み出すことができる。各センス増幅器660は、1つの行の各画素内のデジタルデータを読み出すために、画素デジタル出力ラインに接続されてもよい。センス増幅器バイアス回路670が、センス増幅器660にバイアス電圧および電流を与えるために使用されてもよい。ラインメモリ680は、1つの行の画素から読み出されたデジタルデータを一時的に保持することができる。
デジタルブロック690は、画像センサのタイミングを含む画像センサの動作を制御する、論理回路を含み得る。電源調節回路695は、画像センサのアナログ電源および異なるレベルの電圧源(たとえば、3.3v、1.8V、および1.2V)を生成し、ブロックレベルの電力増および/または電力減を含め、画像センサの電力供給を管理することができる。MIPI回路698が、MIPI出力フォーマットのデジタルデータをメモリに送出するために使用されてもよい。
各画素にデジタイザ(たとえば、ADC)を設けることによって、画素アレイの画素が入射光に露光され、画素で受光された入射光の強度をデジタル表現したものを同時に生成して、グローバルシャッタ動作を実現することができる。高速の動きを捉えるには、グローバルシャッタは、動いているオブジェクトの異なる部分の画像を異なる時間に取り込む複数の行の画素によって生じる、ローリングシャッタ動作に伴う動き歪を回避できるので有利である。さらに、光強度を表す画像データを生成するために複数の行の画素が交代で露光される手法と比較して、画素を使用して画像フレーム生成するための総時間を減らすことができる。したがって、開示された技法は、画像センサの動作速度を高めることができる。加えて、全画素が同時に露光されるので、各画素の平均露光時間が、ローリングシャッタを使用することに比べて増加され得る。したがって、画像センサの感度が同様に増加され得る。
図7は、特定の実施形態による、例示的なグローバルシャッタデジタル画素画像センサの例示的なデジタル画素700の簡略化ブロック図である。デジタル画素700は、デジタル画素画像センサ600のデジタル画素アレイ610などの、デジタル画素画像センサのデジタル画素アレイの一部であり得る。デジタル画素700は、画像フレームの画素の輝度に対応するデジタル画像データを生成することができる。図7に示されるように、デジタル画素700は、フォトダイオード702、積分キャパシタ703、転送ゲート704、リセットスイッチ718、測定キャパシタ706、任意選択のバッファ710、および画素デジタイザ750を含み得る。いくつかの実施形態では、デジタル画素700はまた、グローバルシャッタ信号によって制御されるシャッタスイッチ726も含み得る。
いくつかの実施形態では、フォトダイオード702は、PNダイオードまたはPINダイオードを含み得る。シャッタスイッチ726、転送ゲート704、およびリセットスイッチ718のそれぞれが、トランジスタを含み得る。トランジスタには、たとえば、金属酸化膜半導体電界効果トランジスタ(MOSFET)、バイポーラ接合トランジスタ(BJT)などが含まれてもよい。シャッタスイッチ726が電子シャッタゲートとして機能して、デジタル画素700の露光期間を制御することができる。露光期間の前に、シャッタスイッチ726はイネーブルされて(オンにされて)、リセット積分キャパシタ703をリセットすることができる。露光期間中、シャッタスイッチ726は、露光イネーブル信号724によってディスエーブルする(オフにする)ことができ、これにより、フォトダイオード702で生成された電荷が積分キャパシタ703および/または測定キャパシタ706まで移動することが可能になり得る。リセットスイッチ718は、リセット信号720によってディスエーブルする(オフにする)ことができ、これにより測定キャパシタ706が、フォトダイオード702で生成された電荷を蓄え、その蓄えられた電荷の量と相関関係がある電圧信号を創出することが可能になり得る。次に、測定キャパシタ706の電圧信号がデジタルデータに変換され得る。測定キャパシタの電圧信号が変換された後に、リセットスイッチ718をイネーブルして、測定キャパシタ706に蓄えられた電荷をチャージシンク722へ移すことができ、それによって測定キャパシタ706が次の測定に使用可能になる。
積分キャパシタ703は、フォトダイオード702およびフォトダイオード702に接続された他の回路の寄生キャパシタとすることができ、フォトダイオード702で生成された電荷を蓄えることができる。積分キャパシタ703には、たとえば、PNダイオード接合境界面の接合キャパシタ、またはフォトダイオード702に接続された他の寄生キャパシタが含まれ得る。積分キャパシタ703がフォトダイオード702の近くにあるので、フォトダイオード702で生成された電荷が積分キャパシタ703に蓄積され得る。測定キャパシタ706は、浮動拡散ノード(たとえば、転送ゲート704の浮動端子)の寄生キャパシタ、金属キャパシタ、MOSキャパシタ、またはこれらの任意の組み合わせであり得る。測定キャパシタ706を使用して、ある量の電荷を蓄えることができ、この電荷量は、画素デジタイザ750によって測定して、入射光の強度を表すデジタル出力を得ることができる。測定キャパシタ706に蓄えられた電荷は、積分キャパシタ703から転送ゲート704を介して転送される電荷であり得る。転送ゲート704は、積分キャパシタ703から測定キャパシタ706への電荷転送を制御するように測定制御信号708によって制御することができる。積分キャパシタ703および/または測定キャパシタ706に蓄積された電荷の量は、露光期間中にフォトダイオード702によって生成された総電荷を反映することができ、この総電荷は、露光期間中にフォトダイオード702に入射した光の強度を反映する。
測定キャパシタ706に蓄えられた電荷は、任意選択のセンサ増幅器または任意選択のバッファ710によって検知されて、アナログ電圧信号の複製(しかし駆動力が大きい)がアナログ出力ノード712に生成され得る。アナログ出力ノード712のアナログ電圧信号は、画素デジタイザ750によって一組のデジタルデータ(たとえば、論理1および0を含む)に変換することができる。測定キャパシタ706において創出されたアナログ電圧信号はサンプリングすることができ、露光期間の後にデジタル出力が生成され得る。
画素デジタイザ750は、比較器754およびデジタル出力生成器760を含むことができ、このデジタル出力生成器は画素メモリ764を含むことができる。画素デジタイザ750は、クロックカウンタ762によって生成されたカウンタ値を使用することができ、このクロックカウンタは、デジタル画素画像センサの全画素用のグローバルクロックカウンタとすることができる。クロックカウンタ762は、クロック信号780に基づく一組のカウンタ値を生成することができる。いくつかの実装形態では、クロックカウンタ762はまた、参照信号生成器770によってグローバル参照信号を生成するのに使用することもでき、この参照信号生成器は、任意の参照信号を生成できるデジタル-アナログ変換器(DAC)772、またはカウンタ値を使用するランプ波もしくは三角波生成器を含み得る。たとえば、デジタル化が開始した後、DAC 772は、クロックカウンタ762からのカウンタ出力766に対応するランプ参照信号VREF 752を生成するようにプログラムすることができ、このランプ参照信号は、実装形態に応じて上に傾斜または下に傾斜することができる。比較器754は、バッファ710からのアナログ電圧信号と参照信号生成器770からの参照信号VREF 752とを比較することができる。比較器754の出力は、バッファ710からのアナログ電圧信号と参照信号VREF 752とが互いに交差したときに状態を変えることができる。比較器の出力は、クロックカウンタ762からのカウンタ出力766の現在の値を画素メモリ764にラッチするために、デジタル出力生成器760によって使用され得る。現在のカウンタ出力766は、アナログ電圧信号をデジタル化するために使用された量子化ステップの総数に対応することができ、量子化誤差が、量子化ステップ(最下位ビット(LSB)とも呼ばれる)に相当する電圧レベルよりも小さい。したがって、カウンタ出力766は、測定キャパシタ706に蓄えられた電荷の量のデジタル表現、および入射光の強度のデジタル表現になる。画素メモリ764のデジタルデータは、一組の画素出力バス790を介して、たとえば、ラインメモリ680、またはデジタル画像フレームを記憶するための外部メモリに読み出すことができる。
デジタル画素700はまた、露光イネーブル信号724、測定制御信号708、およびリセット信号720のタイミングおよび振幅を制御して光強度決定用の積分キャパシタ703および測定キャパシタ706における電荷蓄積動作を制御する、他の制御回路(図7に図示せず)を含むこと、またはこれに接続することもできる。これらの制御回路はデジタル画素700の外部にあってもよく、たとえば、図6の行ドライバとグローバル信号ドライバ回路620および/またはデジタルブロック690の一部であってもよいことを理解されたい。
図8は、特定の実施形態による、例示的なグローバルシャッタデジタル画素画像センサの例示的なデジタル画素(たとえば、デジタル画素700)の例示的な動作を示す。図8に示された例では、量子化処理は、均等な量子化ステップを用いて遂行することができ、参照信号(たとえば、図7の参照信号VREF 752)が、クロック信号(たとえば、クロック信号780)のクロックサイクルごとに同じ量だけ増大(または低下)する。この参照信号の増大(または低下)の量は、1つの量子化ステップ(すなわち、LSB)に対応し得る。クロックサイクル数が増加するにつれて、参照信号は増大し、比較器の入力部のアナログ電圧信号の1つの量子化ステップ内に達することができ、このとき比較器の出力は状態を変えて、たとえば、低レベルから高レベルへと反転することができる。比較器の出力が反転すると、現在のカウンタ値が、ある画素におけるアナログ電圧信号を表すデジタルデータとしてメモリにラッチされ得る。
図8は、2つの画素におけるアナログ電圧信号(画素1におけるアナログ電圧信号810、および画素2におけるアナログ電圧信号820)を示す。図8はまた、クロック信号860と、クロック信号860のサイクル数を数えるクロックカウンタのクロックカウンタ値870とを示す。時間t0において(デジタル化が開始するとき)、クロックカウンタは、クロック信号860のクロック数を数え始めることができる。たとえば、クロックカウンタ値870は、クロック信号860の各サイクルの後に1だけ増加し得る。上述のように、クロックカウンタは、多くの画素によって共有されるグローバルクロックカウンタとすることができ、それにより、各画素のサイズを縮小することができる。カウンタ値が増加するにつれて、参照信号VREF 830の電圧レベルが増加し得る。参照信号VREF 830は、クロックカウンタ値870に基づいて、たとえばDACによって生成することができる。参照信号VREF 830が、画素1におけるアナログ電圧信号810、および画素2におけるアナログ電圧信号820よりも低いので、画素1の比較器の出力840、および画素2の比較器の出力850は、低(または高)レベルにあり得る。
時間t1において、参照信号VREF 830は、画素1のアナログ電圧信号810に(たとえば、その1LSB内に)達することができ、画素1の比較器の出力840は、低レベルから高レベルへ反転することができる。画素1の比較器の出力840が反転すると、時間t1におけるクロックカウンタ値870のデジタル値D1が画素1の画素メモリに保存され得る。クロックカウンタは、クロック信号860のサイクル数を数え続けることができ、参照信号VREF 830の電圧レベルは増加し続けることができる。時間t2において、参照信号VREF 830は、画素2のアナログ電圧信号820に(たとえば、その1LSB内に)達することができ、画素2の比較器の出力850は、低レベルから高レベルへ反転することができる。画素2の比較器の出力850が反転すると、時間t2におけるクロックカウンタ値870のデジタル値D2が画素2の画素メモリに保存され得る。
このようにして、各画素または画素の各列の複雑なADCによってではなく、グローバルクロックカウンタ値およびグローバルランプ信号VREF 830を使用する各画素の比較器によって、異なる画素の複数のアナログ電圧信号が、これら異なる画素の光強度を表す複数のデジタル値に同時に変換され得る。したがって、デジタル画素のサイズ、およびデジタル画素の電力消費を大幅に低減することができ、これにより、解像度が高く、密度が高く、サイズが小さく、かつ電力消費が低い画像センサが可能になり得る。
様々なノイズおよびエラーが、画像センサの測定可能光強度の下限(最小解像可能信号レベルと呼ばれることが多い)に影響を及ぼし得る。たとえば、浮動ノードに集められた電荷は、入射光の強度とは関係がないノイズ電荷を含むことがある。ノイズ電荷の原因の1つは暗電流であり、これは、フォトダイオードのpn接合部に発生した、ならびに、たとえば結晶学的欠陥によりキャパシタに接続された他の半導体デバイス(たとえば、トランジスタ)のpn接合部に発生した、漏洩電流であり得る。暗電流はキャパシタに流れ込み、入射光の強度と相関関係がない電圧変化を引き起こし得る。フォトダイオードにおいて発生する暗電流は通常、他の半導体デバイスに発生する暗電流よりも少ない。ノイズ電荷の中には、他の回路との容量性結合によって生じるものもあり得る。たとえば、デジタイザが、浮動ノードに蓄えられた電荷の量を決定するために読み出し動作を行うとき、このデジタイザは、容量性結合を介して浮動ノードにノイズ電荷を導入することがある。
ノイズ電荷に加えて、デジタイザはまた、電荷の量を決定する際に測定誤差を導入することもある。この測定誤差は、デジタル出力と入射光の強度との間の相関性の度合いを低下させ得る。測定誤差の原因の1つは、量子化誤差である。量子化処理では、連続的な電圧信号の組を表すために離散的なレベルの組が使用されることがあり、各レベルは所定の範囲の電圧信号レベルを表す。したがって、量レベルによって表された電圧レベルと、量レベルによって近似された入力アナログ電圧との間に差異があるとき、量子化誤差が生じ得る。図7に示されたデジタイザの量子化誤差は、より小さい量子化ステップサイズ(たとえば、各ステップまたは各クロックサイクルにおける参照信号VREFの増大もしくは低下)および/またはより高速のクロック信号を使用することによって、小さくすることができる。測定誤差の他の原因には、たとえば、ランダムノイズ(たとえば、キャパシタのkT/Cノイズ)、(たとえば、ADC回路の)デバイスノイズ、ならびに、キャパシタに蓄えられた電荷の量の測定に不確かさを付加する比較器オフセットが含まれ得る。
ノイズ電荷およびデジタイザ測定誤差により、画像センサの測定可能な光強度(感度)の下限が決まり得る。画像センサの測定可能な光強度の上限は、フォトダイオードによって単位時間に生成される電荷(すなわち、光電流)に飽和が生じる光強度によって決まり得る。上限と下限の比は、一般にダイナミックレンジと呼ばれることがあり、このダイナミックレンジにより、画像センサの動作可能な光強度の範囲を決まり得る。
場合によって、比較器の望ましくないオフセット、およびデジタル画素の他の構成要素およびパラメータのばらつきが、固定パターンノイズ(FPN)を生じさせ得る。いくつかの実施形態では、デジタル画素画像センサのデジタル画素は、オフセット誤差、したがってFPNを低減するために、相関二重サンプリング(CDS)回路を含み得る。CDS回路では、アナログ記憶デバイス(たとえば、測定キャパシタ806)におけるリセットレベルと、露光後のアナログ記憶デバイスにおけるアナログ電圧信号の信号レベルとを測定し、測定された信号レベルとリセットレベルの差を使用して画素の実際の信号値を決定することができる。測定された信号レベルには、画像センサの画素間の、他のパラメータまたはデバイスにおける異なるオフセットもしくはばらつきによって生じる、リセットレベル成分が含まれるので、測定された信号レベルとリセットレベルの差は、画素の光照射に起因して生成された電荷によって生じた実際の電圧変化をより正確に表すものになり得る。
図9は、特定の実施形態による、アナログ相関二重サンプリング(CDS)回路を含む例示的なデジタル画素900の簡略化ブロック図である。デジタル画素900は、埋め込みフォトダイオード910と、制御信号TXによって制御される転送ゲート920と、浮動拡散ノード930と、制御信号RSTによって制御されるリセットゲート940と、制御信号SELによって制御される選択ゲート950と、トランジスタ942および952を含む画素内ソースフォロアバッファ段と、選択ゲート950とを、高い画素変換利得を確保するために含み得る。デジタル画素900はまた、比較器970および画素メモリ980も含み得る。これらの回路の動作は、上述の能動画素400またはデジタル画素700と同様であり得る。
図9に示されるように、デジタル画素900はさらに、アナログCDS回路960を含み得る。いくつかの実装形態では、アナログCDS回路960は、2つのCDSキャパシタ、2つのゲート、および差動増幅器を含み得る。リセット後の測定キャパシタ(すなわち、FDノード930)のアナログ電圧レベル(すなわち、リセットレベル)は、一方のゲートを介して一方のCDSキャパシタに記憶することができ、電荷転送後の測定キャパシタのアナログ電圧レベル(すなわち、信号レベル)は、もう一方のゲートを介してもう一方のCDSキャパシタに記憶することができる。2つのアナログ電圧レベルの差は、差動増幅器を使用して生成することができ、次に、比較器970によってデジタル化することができる。アナログCDSの他のいくつかの実装形態もまた使用することができる。たとえば、いくつかの実装形態では、アナログCDS回路960のいくつかの簡略化を適用してトランジスタの総数を減らすことができる。しかし、キャパシタの熱ノイズ(kT/Cノイズ)を画像センサの要求に適合させるために、アナログCDSは、画素内CDSキャパシタ用に比較的大きい領域を使用することがある。加えて、アナログCDSキャパシタを駆動するためにソースフォロアバッファ段を使用すること、およびCDSキャパシタの面積により、デジタル画素を縮小する能力が制限されることがあり、またデジタル画素の電力消費が増加することもある。
図10は、特定の実施形態による、デジタルCDS回路を含む例示的なデジタル画素1000の簡略化ブロック図である。デジタル画素1000は、上述の3Tまたは4T光センサ、比較器1050、および画素メモリブロックを含み得る。光センサは、埋め込みフォトダイオード1010、転送ゲート1020、リセットゲート1040、および浮動拡散キャパシタ1030を含み得る。
デジタル画素1000の露光前または露光中、浮動拡散キャパシタ1030は、リセット信号RSTを使用してリセットゲート1040をオンにすることによって、リセットレベル(たとえば、0Vまたは別のDCレベル)にリセットすることができる。浮動拡散キャパシタ1030の電圧レベルはデジタル化し、画素メモリのmビットメモリブロック1060に保存することができる。リセットレベルは一般に低いので、上述のデジタイザを使用するデジタル化の時間は短くてもよく、リセットレベルは、少数のビットで表せる小さい値にデジタル化することができる。
デジタル画素1000の露光後、埋め込みフォトダイオード1010によって生成されフォトダイオード1010に蓄積された電荷は、転送制御信号TXを使用して転送ゲート1020をオンにすることによって浮動拡散キャパシタ1030へ転送することができる。浮動拡散キャパシタ1030の電圧レベルはデジタル化し、画素メモリのnビットメモリブロック1070に保存することができ、この場合、nはmより大きくすることができる。電荷転送後の浮動拡散キャパシタ1030の電圧レベルはリセットレベルより高くなり得るので、上述のデジタイザを使用するデジタル化の時間は長くなることがあり、電圧レベルは、多数のビットで表され得る大きい値にデジタル化され得る。
リセットレベルを表すmビットデータ、および信号レベルを表すnビットデータは読み出すことができ、nビットデータとmビットデータの差は、光電流または光電荷によって生じた検出電圧信号、すなわち画素の検出光強度を表し得る。このようにして、画素のデバイスおよびパラメータの、不整合またはばらつき(たとえば、オフセット誤差、比較器閾値不整合、キャパシタ不整合など)によって生じる誤差またはノイズが、デジタル画像データでは低減され得る。いくつかの実装形態では、画素から読み出されるデジタルビットの総数が少なくなり得るように、画素の出力が読み出される前に、nビットデータおよびmビットデータを減じることが画素レベルで行われることがある。
追加のCDSキャパシタまたは差動増幅器がデジタルCDSに使用されなくてよいので、デジタルCDS回路を含むデジタル画素は、使用するシリコン面積および電力が、アナログCDS回路を使用するデジタル画素よりも著しく少なくてもよい。
図11は、特定の実施形態による、デジタルCDS回路を含む例示的なデジタル画素1100を示す。デジタル画素1100は、デジタル画素1000の例示的な一実装形態であり得る。デジタル画素1100は、埋め込みフォトダイオード1110を含み得るフォトセンサ1105と、転送ゲート1120と、リセットゲート1140と、浮動拡散キャパシタ1130とを含み得る。デジタル画素1100はまた、アナログ電圧レベルデジタル化のための、比較器754のような比較器1150を含み得る。
デジタル画素1100はさらに、AND(またはNAND)ゲート1160を含み得る、書き込み論理回路を含むことができる。AND(またはNAND)ゲート1160の入力部は、比較器1150の出力部と、リセットイネーブル信号enable_rst(たとえば、リセットゲート1140をオンにするために使用されるリセット信号、またはリセット信号と同期した信号)とに接続することができる。AND(またはNAND)ゲート1160の出力部は、mビットセル1180(たとえば、Dフリップフロップ)の書き込みイネーブル入力部に接続することができる。リセットレベルがデジタル化されるとき、リセットイネーブル信号enable_rstはアサートする(たとえば、高レベルに設定する)ことができる。比較器1150の出力が、たとえば、参照信号(たとえば、ランプ信号)がリセットレベルに達したときに、「0」から「1」に状態を変えると、AND(またはNAND)ゲート1160の出力は「0」から「1」に反転することができ、これにより、現在のカウンタ値が、たとえば、グローバルクロックカウンタからmビットセル1180にラッチされ、このカウンタ値は後で読み出すことができる。
デジタル画素1100の書き込み論理回路はさらに、AND(またはNAND)ゲート1170を含み得る。AND(またはNAND)ゲート1170の入力部は、比較器1150の出力部および読み出しイネーブル信号enable_sig(たとえば、画素を選択するために使用される選択信号)に接続することができる。AND(またはNAND)ゲート1170の出力部は、nビットセル1190(たとえば、Dフリップフロップ)の書き込みイネーブル入力部に接続することができる。画素信号レベルがデジタル化されるとき、読み出しイネーブル信号enable_sigはアサートする(たとえば、高レベルに設定する)ことができる。参照信号(たとえば、ランプ信号)が画素信号レベルに達すると、比較器1150の出力は、たとえば、「0」から「1」に反転することができ、したがって、AND(またはNAND)ゲート1170の出力は「0」から「1」に反転することができ、これにより、現在のカウンタ値がグローバルクロックカウンタからnビットセル1190にラッチされ、このカウンタ値は後で読み出すことができる。
このようにして、画素のデバイスおよびパラメータの、不整合およびばらつき(たとえば、オフセット誤差、比較器閾値不整合、キャパシタ不整合など)によって生じる誤差またはノイズが、デジタル画像データでは低減され得る。デジタルCDS回路を含まないことがあるデジタル画素と比較して、デジタル画素1100では、Dフリップフロップなどの、デジタル回路である、かつ使用する面積が小さくてもよい追加のmビットセルを使用することができる。やはり上述したように、デジタル画素を使用すると、グローバルシャッタが、フレームレートおよび感度の向上のために、画像センサに対し実施可能であり得る(たとえば、各画素の露光時間が長いことにより)。デジタル画素のリセットレベルは、画像フレームの時間期間中の異なる時間にデジタル化することができる。
図12Aは、特定の実施形態による、各画素にデジタルCDS回路を用いたグローバルシャッタデジタル画素センサの、動作中の例示的なタイミング期間を示す図である。デジタル画素センサの全画素が同時に、同様に動作することができる。1つの画像フレームの一組の出力データを出力するための、1つのデジタル画素の時間期間1200には、シャッタ期間1210、積分期間1212、リセット期間1214、リセットレベル変換期間1216、電荷変換期間1218、信号レベル変換期間1220、およびデータ出力期間1222が含まれ得る。
デジタル画素が1つの画像フレームの一組の出力データを生成するための時間間隔は、シャッタ期間1210から開始することができ、この期間中に、フォトダイオードの電圧レベルをリセットすることができ、画素積分の時間期間を設定することができる。シャッタ期間1210の終了時に、各デジタル画素が、積分期間1212の信号積分(たとえば、電荷蓄積)を開始することができ、この期間中に、デジタル画素のフォトダイオードの寄生キャパシタ(たとえば、フォトダイオード702と、フォトダイオード702に接続された他の回路との寄生キャパシタを含み得る積分キャパシタ703)が、デジタル画素への入射光に応答してフォトダイオードで生成された電荷(たとえば、光電子)を集めることができる。積分期間1212の終了前の短期間(たとえば、100μs未満)に、各画素の測定キャパシタ(たとえば、測定キャパシタ706または浮動拡散キャパシタ1130)はリセット期間1214にリセットされ、その後、リセットレベル変換期間1216中に、リセット電圧レベルのアナログ-デジタル変換が続き得る。このデジタル化された画素リセットレベルは、mビットセル1180などの画素メモリに記憶することができる。画素リセットレベルが変換された後、各画素のフォトダイオードの積分キャパシタ中の蓄積電荷は、電荷転送期間1218中に測定キャパシタへ転送され(たとえば、フォトダイオードの積分キャパシタと測定キャパシタの間で再分配され)、その後、信号レベル変換期間1220中に、画素信号レベル(すなわち、電荷転送後の測定キャパシタの電圧レベル)のアナログ-デジタル変換が続き得る。各画素のデジタル化された画素信号レベルは、nビットセル1190などの画素メモリに記憶することができる。デジタル化された画素レベルおよび信号レベルが画素メモリに記憶された後に、データ出力期間1222が開始でき、各画素の画素リセットレベルおよび信号レベルのデジタル値が画素アレイから行ごとに読み出され得る。これらのデジタル値は、アナログ電圧よりもはるかに速く読み出すことができる。
デジタル画素は、前に蓄積された電荷が測定キャパシタへ転送された後に次の画像フレームの電荷を蓄積し始めることができるので、デジタル画像センサのフレーム時間間隔(T_Frame)は、シャッタ期間1210(T_Shutter)と、積分期間1212(T_Int)と、リセット期間1214およびリセットレベル変換期間1216(一括してT_Rst)と、電荷転送期間1218(T_TX)との合計に等しくなり得る。上で論じたように、リセットレベルは一般に低く、したがって、リセットレベルをデジタル化する時間は短くなり得る。電荷転送期間1218、信号レベル変換期間1220、およびデータ出力期間1222もまた、積分期間と比較して短くなり得る。したがって、フレーム時間期間内のフレーム積分オーバヘッド(非積分時間)は小さくなり得る。一例では、フレーム時間間隔は約33ms(すなわち、1秒当たり30フレームのフレームレート)とすることができ、フレーム積分オーバヘッド(リセット期間1214、リセットレベル変換期間1216、電荷転送期間1218、ならびに、いくつかの実装形態では、信号レベル変換期間1220、およびデータ出力期間1222を含み得る)は、約100μsとすることができる。したがって、フレーム時間間隔の時間のほとんど(たとえば、95%、または99%以上)の間中、デジタル画素は低電力モード(たとえば、積分モード)で作動することができる。デジタル画素は、フレーム時間期間の時間期間の大部分を占め得るシャッタ期間1210および積分期間1212の間中、低電力モードで非常にわずかしか電力を消費しないので、デジタル画素の総電力消費は非常に少なくなり得る。
図12Bは、特定の実施形態による、グローバルシャッタデジタル画素センサにデジタルCDS回路を用いたデジタル画素の動作を示すタイミング図である。図12Bで、リセット信号RST 1250の第1のリセットパルス1252と、転送制御信号TX 1260の第1の転送制御パルス1262とは、積分キャパシタおよび測定キャパシタがリセットまたは放電され得るように、同時に(たとえば、シャッタ期間1210などのシャッタ期間の終了時に)生じ得る。第1のリセットパルス1252および第1の転送制御パルス1262の後に、画素積分が開始し得る。積分期間の終了時に、第2のリセットパルス1254が測定キャパシタ(たとえば、浮動拡散キャパシタ)を、0Vまたは別のDCレベルなどのリセットレベルにリセットすることができる。測定キャパシタのリセットレベルは、比較器、クロックカウンタ、およびランプ信号1270を使用してデジタル化することができる。上述のように、リセットレベルのデジタル化の間中、ランプ信号1270は、ランプ1272で示されるように徐々に増加または低下し得る。クロックカウンタが、クロックサイクル数を数えることができる。ランプ信号1270がリセットレベルに達したときのクロックカウンタ値1280は、リセットカウント1282として画素メモリ(たとえば、mビットリセットレベルメモリ)に保存することができる。続いて、転送制御パルス1264がアサートされて、フォトダイオードの積分キャパシタからの電荷が測定キャパシタへ転送され得る。測定キャパシタの電圧レベル(信号レベルと呼ばれる)は、上述のように、比較器、ランプ信号1270、およびクロックカウンタを使用してデジタル化することができる。信号レベルのデジタル化の間中、ランプ信号1270は、ランプ1274で示されるように徐々に増加または低下することができる。ランプ信号1270がリセットレベルに達したときのクロックカウンタ値1280は、信号カウント1284として画素メモリ(たとえば、nビット信号レベルメモリ)に保存することができる。リセットカウント1282および信号カウント1284は、デジタル画素メモリから読み出し、MIPIインターフェース1290上のMIPIフォーマットの出力データ1292として送出することができる。測定キャパシタのリセット値が一般に小さいので、リセットレベルを表すリセットカウントは、信号レベルを表す信号カウントよりも少ないビットを使用し得る。
図12Aおよび図12Bは、リセットレベルが積分期間の終了時に測定されることを示す。いくつかの実装形態では、リセットレベルが別の時間に測定されてもよい。たとえば、リセットレベルは、測定キャパシタと積分キャパシタが転送ゲートによって分離され得るので、シャッタ期間中に、積分期間の開始時に、または積分期間の中間に測定し、デジタル化することができる。図12Aおよび図12Bに示された例は、暗電流によって生じるノイズおよび1/fノイズなどのデジタル画素のノイズを低減することに関し、デジタル画素の他の動作およびタイミング構成よりも良好な性能を有し得る。
たとえば、図12Aおよび図12Bに示されるように、測定キャパシタが電荷転送および信号レベルデジタル化の直前にリセットされるので、信号レベルがデジタル化される前に暗電流が測定キャパシタに電荷を蓄積する時間を短くすることができ、したがって、暗電流によって生じるノイズまたは誤差を小さくすることができる。対照的に、測定キャパシタが積分期間の開始時に、またはシャッタ期間中にリセットされる場合には、暗電流が測定キャパシタに電荷を蓄積する時間が、積分期間の全部または大部分にわたって継続することがあり、したがって、暗電流によって生じるノイズまたは誤差が大きくなり得る。
さらに、測定キャパシタが電荷転送および信号レベルデジタル化の直前にリセットされるので、CDS回路は、測定キャパシタのリセットと電荷転送の間の時間が短いことにより、高い周波数で効果的に切り換えられる。したがって、より高い動作周波数により、デジタル画素の1/fノイズ(すなわち、フリッカノイズまたはピンクノイズ)が低減され得る。対照的に、測定キャパシタが、たとえば積分期間の開始時にリセットされる場合には、測定キャパシタのリセットと電荷転送の間の時間間隔が長いことにより、CDS回路が低い周波数で効果的に切り換えられる。したがって、このようなデータ変換処理では、1/fノイズによって生じるノイズまたは誤差が大きくなり得る。
上述のように、各デジタル画素がデジタイザを含むので、全画素が並行して動作する場合には、デジタル画素画像センサの総電力消費が大きくなり得る。たとえば、各デジタイザが1μWを消費する場合、100万個のデジタル画素を用いた画像センサは少なくとも1Wを消費することがあり、このことは、HMDなどのモバイルデバイスまたはウェアラブルデバイスには不都合なことがある。したがって、デジタル画素のデジタイザ、バッファ、および他の回路の電力消費を低減させることが望ましい。たとえば図7に関して上述したいくつかの例では、デジタイザは、信号レベルを参照レベルと比較しカウンタ値を画素メモリにラッチするために、比較器を使用することができる。ラッチおよび画素メモリはほとんど電力を消費しないので、比較器の電力消費を低減させることがデジタイザおよびデジタル画素の電力消費を低減するのにより効果的であり得る。
図13は、DCバイアス回路を含む例示的な比較器1300を示す。比較器1300は、Pチャネルトランジスタ1310および1320と、Nチャネルトランジスタ1330、1340、および1350とを含み得る差動増幅器を含むことができる。測定キャパシタからのアナログ電圧信号VFDは、トランジスタ1330およびトランジスタ1340のうちの一方のゲートに接続することができ、参照信号生成器(たとえば、参照信号生成器770)からのランプ信号VRAMPは、トランジスタ1330およびトランジスタ1340のうちのもう一方のゲートに接続することができる。ランプ信号VRAMPと測定キャパシタからのアナログ電圧信号VFDとに差があると、トランジスタ1310、1320、1330、および1340にそれぞれ異なる電流が流れ得る。したがって、ノード1325の電圧レベルは、ランプ信号VRAMPと測定キャパシタからのアナログ電圧信号VFDとの差によって決まり得る。ノード1325に接続されたインバータ1360が、ノード1325の電圧レベルを「高」または「低」信号に変換することができる。
比較器1300では、差動増幅器の各トランジスタは、これらのトランジスタの適切なDC動作レベルに、トランジスタ1350によってバイアスされ得る。比較器の動作中、トランジスタ1330を流れる電流の減少が、トランジスタ1340を流れる電流の増加に対応することができ、トランジスタ1350を流れるDCバイアス電流は一定のままであり得る。したがって、比較器1300の差動増幅器は、トランジスタをバイアスするためにDC電力を消費し得る。上で論じたように、バイアスするためのDC電力が1画素当たり1μWである場合、100万個のデジタル画素を用いた画像センサは少なくとも1Wを消費し得る。
図14は、特定の実施形態による、プリチャージ回路を含む例示的な比較器1400を示す。比較器1400では、測定キャパシタからのアナログ電圧信号VFDは、トランジスタ1410のゲートに接続することができ、参照信号VRAMPは、トランジスタ1410のソース(またはドレイン)に接続することができる。いくつかの実装形態では、トランジスタ1410はpチャネル金属酸化膜半導体(PMOS)トランジスタとすることができ、トランジスタ1410をバイアスするためのDCバイアス回路は使用されない。そうではなく、プリチャージトランジスタ1420を含むプリチャージ回路が、アナログ電圧信号VFDのデジタル化が開始する前に比較器の出力ノードCOMPをプリチャージするために使用され得る。デジタル化の間中、プリチャージトランジスタ1420はオフにすることができ、電流がプリチャージトランジスタ1420に流れることがない。したがって、DCバイアス電流および静的電力消費を低減または最小化することができる。
比較器1400はまた、1つまたは複数のインバータを含み得る。たとえば、図14に示されるように、第1のインバータは、書き込み信号を生成するためのトランジスタ1430および1440を含むことができ、第2のインバータは、書き込みb信号を生成するためのトランジスタ1450および1460を含むことができる。書き込み信号および書き込みb信号は、クロックカウンタ値を画素メモリにラッチするために使用することができる。いくつかの実装形態では、トランジスタ1410および1420は厚いゲート酸化膜を有することができ、3.3Vで動作することができるが、2つのインバータのうちの一方または両方が、薄いゲート酸化膜を用いたトランジスタを含んでもよく、1.8Vまたは1.2Vなどの、より低い電圧で動作することができ、それにより、書き込み信号および/または書き込みb信号のスイッチングエッジを鋭くすることができ、この書き込み信号および/または書き込みb信号のレベルは、組み合わせ論理回路(たとえば、ANDゲート1160および1170)およびメモリデバイスを含むデジタル回路の動作電圧とよりよく整合することができる。薄い酸化膜トランジスタを使用する動機の1つは、これらのトランジスタが画素内で占める面積が小さくなり、また厚い酸化膜トランジスタよりも電力消費が少なくなり得ることである。
図15は、特定の実施形態による、図14に示された比較器1400などの例示的な比較器の動作を示すタイミング図1500である。図15は、プリチャージトランジスタ1420を制御するために使用できるプリチャージ信号1510と、pチャネルトランジスタ1410のソースに接続できるランプ信号VRAMP 1520と、トランジスタ1410のゲートを駆動できるVFD信号1530と、トランジスタ1410のドレインの信号VCOMP 1540と、検出器1400の第1のインバータの出力部の書き込み信号1550と、検出器1400の第2のインバータの出力部の書き込みb信号1560とを示す。図15に示されるように、デジタル化動作の開始前に、高レベルパルスがプリチャージトランジスタ1420のゲートに印加されてプリチャージトランジスタがオンになり、したがって、ノードCOMPが低レベル(たとえば、Vss)にプリチャージされ得る。プリチャージ動作の後に、プリチャージ信号1510が低レベルに設定されてプリチャージトランジスタ1420をオフにすることができ、アナログ-デジタル変換が開始することができる。アナログ-デジタル変換の間中、ランプ信号VRAMP 1520が徐々に増加することができる。ランプ信号VRAMP 1520がVFD信号1530とトランジスタ1410の閾値電圧Vtpとの合計よりも小さいとき、トランジスタ1410はオフになっていることができ、信号VCOMP 1540は低くなっていることができる。したがって、第1のインバータの出力部の書き込み信号1550は高くなっていることができ、第2のインバータの出力部の書き込みb信号1560は低くなっていることができる。時間t1において、ランプ信号VRAMP 1520がVFD信号1530とトランジスタ1410の閾値電圧Vtpとの合計よりも大きくなり、トランジスタ1410がオンになって、信号VCOMP 1540が第1のインバータを起動して反転できる高レベルまで増加できるように、ノードCOPMを充電することができる。したがって、第1のインバータの出力部の書き込み信号1550は低くなることができ、第2のインバータの出力部の書き込みb信号1560はゲート遅延後に高くなることができる。
図15に示されるように、プリチャージトランジスタは、測定キャパシタのアナログ電圧信号のデジタル化の前に、短期間の時間(たとえば、約1μs)だけオンになる。フレーム時間期間の残りの時間の間中、キャパシタは静的電力をほとんど、または全く消費することがない。したがって、キャパシタによる静的(DC)電力を低減または最小化することができる。そのため、デジタル画素画像センサの総電力消費を低減または最小化することができる。
したがって、本明細書で開示された技法では、グローバルシャッタおよび画素ごとのデジタイザを使用すること、ならびに各画素からアナログ信号ではなくデジタル値を読み出すことによって、フレームレートを増加させることができる。本明細書で開示された技法ではまた、CDS回路を使用してランダムノイズおよび固定ノイズ(たとえば、オフセット誤差、暗電流、および1/fノイズ)を低減し、したがって、画像センサの感度、信号対雑音比(SNR)、ダイナミックレンジなどを改善することもできる。本明細書で開示された技法ではまた、(複雑なADCではない)比較器およびデジタルCDSを使用することによって、各デジタル画素の画素サイズを縮小することができ、したがって、デジタル画素画像センサの密度または解像度を高めることもできる。本明細書で開示された技法ではまた、デジタル画素が高電力モードで動作し得る時間期間を短縮することによって、およびデジタル画素のデジタイザの比較器による静的(DC)電力消費を低減することによって、デジタル画素の電力消費を低減することもできる。
図16は、特定の実施形態による、デジタル撮像の例示的な方法を示す流れ図である。この方法は、たとえば、デジタル画素画像センサ600および/またはデジタル画素700、900、1000、または1100によって遂行することができる。この方法は、デジタル画像を高いフレームレートで取り込むために使用することができ、感度が高く、ノイズレベルが低く、電力消費が少ない。この方法は、デジタル画素画像センサの全デジタル画素によって並行して遂行することができる。
ブロック1610で、画像センサの画素のフォトダイオードが、露光期間中に光信号を受光することができる。いくつかの実装形態では、光信号を受光する前または間中、画素のフォトダイオードは、たとえば、画像センサの全画素のフォトダイオードのリセットを制御する電気シャッタ信号によって、リセットすることができる。したがって、画像センサの全画素のフォトダイオードは、同一の電気シャッタ信号(すなわち、グローバル電子シャッタ)によって同時にリセットすることができる。フォトダイオードは、0VなどのDC電圧レベルにリセットして、フォトダイオードに付随する寄生キャパシタの全電荷を放電することができる。いくつかの実装形態では、明示または寄生のキャパシタ(たとえば、浮動拡散ノード)などの電荷貯蔵デバイス(すなわち、測定キャパシタ)もまたリセットすることができる。いくつかの実装形態では、画素のフォトダイオードは、リセットスイッチ(たとえば、リセットスイッチ718またはリセットゲート1040)および転送ゲート(たとえば、転送ゲート704または1020)を介して、リセット信号(たとえば、リセット信号720、または図10のRST信号)および転送ゲート制御信号(たとえば、測定制御信号708、または図10のTX信号)によってリセットすることができる。
ブロック1620で、画素は、光信号を電荷貯蔵デバイス(たとえば、FDノード)への電圧レベルに変換することができる。露光期間中に、フォトダイオードは、たとえば転送ゲートをオフにすることによって、電荷貯蔵デバイスから切り離すことができる。フォトダイオードは、光信号の受光に応答して電荷(たとえば、光電子または正孔)または光電流を生成することができる。たとえば、より明るい光信号に対し、フォトダイオードはより大きい光電流、すなわちより多くの電荷を生成することができる。露光期間中にフォトダイオードによって生成された電荷は、積分キャパシタに蓄積すること、すなわち積分キャパシによって積分することができる。いくつかの実装形態では、積分キャパシタは、フォトダイオードおよび/またはフォトダイオードに接続された回路に付随する、寄生キャパシタであり得る。露光期間の後、電荷貯蔵デバイスは、たとえば転送ゲートをオンにすることによってフォトダイオードに接続されて、蓄積電荷の少なくとも一部または全部を積分キャパシタから電荷貯蔵デバイスへ転送することができる。いくつかの実装形態では、電荷貯蔵デバイスは、露光期間の終了前100μsなど、露光期間の終了前にリセットされることがある。電荷が転送されると、電荷貯蔵デバイス(たとえば、測定キャパシタ706またはFDキャパシタ1030)において電圧信号(または電圧信号変化)が創出され得る。電圧信号レベルは、電荷貯蔵デバイスに蓄えられた電荷の量と相関関係があり得るので、光信号の輝度または強度とも相関関係があり得る。電圧信号レベルはまた、電荷貯蔵デバイスの静電容量にも依存し得る。電荷転送の後、電荷貯蔵デバイスは、たとえば転送ゲートをオフにすることによってフォトダイオードから切り離すことができる。
ブロック1630で、画素(より明確には、画素のデジタイザの比較器)は、クロック信号のクロックサイクル数を数えるクロックカウンタからカウンタ値を受け取ることができる。クロックカウンタは、カウンタ値を画像センサの複数または全部の画素に与えるグローバルクロックカウンタとすることができる。クロックカウンタは、デジタル化期間が開始したときにクロックサイクル数を数え始めることができ、デジタル化期間が開始する前、またはデジタル化期間が終了した後にデフォルト値(たとえば、0または0よりも大きい数)にリセットされ得る。
ブロック1640で、画素の比較器は、電荷貯蔵デバイスの電圧レベルとランプ信号を比較することができる。ランプ信号の電圧レベルは、クロックサイクル数が増大するにつれて直線的に増加すること(すなわち、上に傾斜するために)、または低下すること(すなわち、下に傾斜するために)ができる。いくつかの実装形態では、ランプ信号はグローバル参照信号生成器で生成することができる。たとえば、いくつかの実装形態では、ランプ信号は、入力としてクロックカウンタのカウント値(数えられたクロックサイクル数)を使用してDACで生成することができ、画像センサの複数または全部の画素の比較器で、参照信号として使用することができる。電荷貯蔵デバイスの電圧レベルは、(たとえば、選択信号を使用して)検知し、比較器へ送出される前に、(たとえば、上述のようにソースフォロア増幅器またはバッファによって)増幅することができる。ランプ信号が、電荷貯蔵デバイスからの検知された(かつ増幅された)電圧レベルよりも低い(または、下に傾斜する信号では高い)とき、比較器の出力部は、低レベル(または、実装形態によっては高レベル)にあり得る。ランプ信号は、増加するクロックサイクル数に合わせて直線的に増大(または、下に傾斜する信号では低下)し得る。
ブロック1650で、ランプ信号が、電荷貯蔵デバイスからの検知された電圧レベルと等しいか、これよりも(たとえば、トランジスタの閾電圧だけ)高い(または、下に傾斜する信号では低い)レベルに達したときに、比較器の出力は状態を変えて、たとえば低レベルから高レベルへと反転または切り替わり得る。
ブロック1660で、比較器の出力状態が変化した(たとえば、反転または切り替わった)ときのクロックカウンタのカウンタ値は、たとえば画素メモリのnビットブロックに、第1のデジタル値として保存することができる。第1のデジタル値は、画素における光信号の強度に対応し得る。画像センサの各画素の第1のデジタル値はラインごとに読み出して、デジタル画像フレームを形成することができる。
いくつかの実装形態では、電荷貯蔵デバイスが露光期間の終了前にリセットされた後に、電荷貯蔵デバイスの電圧レベルが、比較器と、クロックカウンタと、参照信号生成器で生成された第2のランプ信号とを使用して、光信号と関連する電圧レベルがデジタル化されるのと同様に、第2のデジタル値にデジタル化され得る。第1のデジタル値と第2のデジタル値の差は、画素における光信号の強度をより正確に表すものになり得る。
本発明の諸実施形態は、人工現実システムを含むこと、またはこれと一緒に実施することができる。人工現実は、ユーザに提示する前に何らかの方法で調整された現実の形であり、これには、たとえば、仮想現実(VR)、拡張現実(AR)、複合現実(MR)、ハイブリッド現実、あるいはこれらのいくつかの組み合わせおよび/または派生物が含まれ得る。人工現実コンテンツには、完全に生成されたコンテンツ、または取り込まれた(たとえば、実世界の)コンテンツと組み合わせて生成されたコンテンツが含まれ得る。人工現実コンテンツには、映像、音声、触覚フィードバック、またはこれらのいくつかの組み合わせが含まれてもよく、これらのいずれも、単一のチャネルまたは複数のチャネル(視聴者に三次元効果をもたらす立体映像など)で提示することができる。加えて、いくつかの実施形態では、人工現実はまた、アプリケーション、製品、アクセサリ、サービス、またはこれらのいくつかの組み合わせと関連付けることができ、これらはたとえば、人工現実のコンテンツを作成するために使用され、かつ/または人工現実において(たとえば、諸活動を行うのに)別に使用される。人工現実コンテンツを提供する人工現実システムは、ホストコンピュータシステムに接続されたヘッドマウントディスプレイ(HMD)、独立型HMD、モバイルデバイスもしくはコンピューティングシステム、または他の、人工現実コンテンツを1人または複数の視聴者に提供できる任意の他のハードウェアプラットフォームを含む、様々なプラットフォーム上で実施することができる。
図17は、特定の実施形態による、ニアアイディスプレイ1720を含む例示的な人工現実システム環境1700の簡略化ブロック図である。図17に示された人工現実システム環境1700は、コンソール1710にそれぞれ結合されている、ニアアイディスプレイ1720、外部撮像デバイス1750、および入力/出力インターフェース1740を含み得る。図17は、1つのニアアイディスプレイ1720、1つの外部撮像デバイス1750、および1つの入力/出力インターフェース1740を含む例示的な人工現実システム1700を示すが、任意の数のこれらの構成要素が人工現実システム1700に含まれても、これらの構成要素のいずれかが省かれてもよい。たとえば、コンソール1710と通信する1つまたは複数の外部撮像デバイス1710によって監視される、複数のニアアイディスプレイ1720があってもよい。代替的な構成では、別の、または追加の構成要素が人工現実システム環境1700に含まれることがある。
ニアアイディスプレイ1720は、コンテンツをユーザに提示するヘッドマウントディスプレイ(HMD)とすることができる。ニアアイディスプレイ1720によって提示されるコンテンツの例としては、画像、ビデオ、音声、またはこれらの組み合わせのうちの1つ以上がある。いくつかの実施形態では、音声は、外部デバイス(たとえば、スピーカおよび/またはヘッドホン)を介して提示することができ、この外部デバイスは、ニアアイディスプレイ1720もしくはコンソール1720、または両方から音声情報を受け取り、その音声情報に基づいた音声データを提示する、ニアアイディスプレイ1720は、1つまたは複数の剛直な本体を含むことができ、これらは互いに剛直に、または非剛直に結合することができる。剛直な本体間で剛直に結合すると、結合された剛直な本体が単一の剛直な実体として機能し得る。剛直な本体間で非剛直に結合すると、剛直な本体が互いに動くことが可能になる。様々な実施形態では、ニアアイディスプレイ1720が、一対のメガネを含む任意の適切なフォームファクタで実現され得る。ニアアイディスプレイ1720のいくつかの実施形態について、図2および図3に関して以下でさらに記述する。加えて、様々な実施形態では、本明細書で記述される機能性は、ニアアイディスプレイ1720の外部の環境の画像と、コンソール1710から、またはコンテンツを生成しユーザに提供する任意の他のコンソールから受け取られたコンテンツとを光学的または電気的に組み合わせる、ヘッドセットに使用することができる。したがって、ニアアイディスプレイ1720は、ニアアイディスプレイ1720の外部の物理的な実世界の環境の画像を、生成されたコンテンツ(たとえば、画像、ビデオ、音など)によって拡張して、ユーザに拡張現実を提示することができる。
様々な実施形態では、ニアアイディスプレイ1720は、表示電子装置1722、表示光学装置1724、1つまたは複数のロケータ1726、1つまたは複数の位置センサ1728、視線追跡ユニット1730、および慣性測定ユニット(IMU)1732のうちの1つ以上を含み得る。ニアアイディスプレイ1720は、様々な実施形態において、これらの要素のいずれかを省くことも、追加の要素を含むこともある。加えて、いくつかの実施形態では、ニアアイディスプレイ1720は、図17と併せて記述された様々な要素の機能を組み合わせる要素を含むこともある。
表示電子装置1722は、コンソール1710から受け取ったデータに応じて画像をユーザに表示することができる。様々な実施形態では、表示電子装置1722は、仮想または実際のオブジェクトの画像を生成するための回路、および/または以下で詳細に記述される電気的に操作可能な鏡などの表示光学装置1724の、いくつかの構成要素を駆動するための回路を含むことができる。いくつかの実施形態では、表示電子装置1722は、液晶表示装置(LCD)、液晶オンシリコン(LCOS)表示装置、有機発光ダイオード(OLED)表示装置、マイクロ発光ダイオード(mLED)表示装置、アクティブマトリックスOLED表示装置(AMOLED)、透明OLED表示装置(TOLED)、デジタルマイクロミラーデバイス(DMD)、または何か他の表示装置などの、1つまたは複数の表示パネルを含み得る。ニアアイディスプレイ1720の1つの実施形態では、表示電子装置1722はTOLEDパネルを含むことができ、これは、赤、緑、青、白、または黄などの主色の光を発するサブ画素を含み得る。いくつかの実施形態では、表示電子装置1722は、画像奥行きの主観的知覚を引き起こす二次元パネルによって生み出される立体効果により、3D画像を表示することができる。たとえば、表示電子装置1722は、ユーザの左眼および右眼の前にそれぞれ位置する左表示装置および右表示装置を含み得る。左右の表示装置は、互いに水平にシフトされた画像の複製を提示して、立体感(すなわち、画像を見ているユーザによる画像奥行きの知覚)を引き起こすことができる。
特定の実施形態では、表示電子装置1724は、画像コンテンツを光学的に表示することができ(たとえば、光導波路および光カプラを使用して)、あるいは、表示電子装置1722から受光した画像光を拡大し、画像光に付随する光学誤差を補正し、表示電子装置1722および環境からの画像光を組み合わせ、補正され組み合わされた画像光をニアアイディスプレイ1720のユーザに提示することができる。様々な実施形態では、表示電子装置1724は、1つまたは複数の光学要素を含み得る。例示的な光学要素には、基板、光導波路、アパーチャ、フレネルレンズ、凸レンズ、凹レンズ、フィルタ、鏡、回折光学要素(DOE)、または表示電子装置1722および環境から発光された画像光に影響を及ぼし得る他の任意の適切な光学要素が含まれ得る。表示光学装置1724には、異なる光学要素を組み合わせたもの、ならびにその組み合わせたものの光学要素の相対的な間隔および向きを維持するための機械的な結合部が含まれ得る。表示光学装置1724の1つまたは複数の光学要素は、反射防止コーティング、反射コーティング、フィルタリングコーティング、または異なる光学コーティングの組み合わせなどの光学コーティングを有し得る。
表示光学装置1724によって画像光を拡大すると、より大きい表示装置よりも表示電子装置1722を物理的に小さく、重量を小さく、電力消費を少なくすることができる。加えて、拡大すると表示コンテンツの視野を増大させることができる。いくつかの実施形態では、表示光学装置1724は、表示電子装置1722によって投射された画像光を拡大するために、表示光学装置1724と表示電子装置1722の間の間隔よりも大きい有効焦点距離を有し得る。表示光学装置1724による画像光の拡大量は、表示光学装置1724の光学要素を追加または取り外すことによって調整することができる。
表示光学装置1724は、二次元光学誤差、三次元光学誤差、またはこれらの組み合わせなどの、1つまたは複数の種類の光学誤差を補正するように設計することができる。二次元誤差には、二次元で生じる光学収差が含まれ得る。例示的な種類の二次元誤差には、樽形歪、糸巻き形歪、軸方向色収差、および横色収差が含まれ得る。三次元誤差には、三次元で生じる光学収差が含まれ得る。例示的な種類の三次元誤差には、球面収差、コマ収差、像面湾曲、および非点収差が含まれ得る。いくつかの実施形態では、表示電子装置1722に供給される表示用のコンテンツは、あらかじめ歪ませることがあり、表示光学装置1724は、あらかじめ歪ませたコンテンツに基づいて生成された画像光を表示電子装置1722から受光したときに、その歪を補正することができる。
複数のロケータ1726は、互いに、およびニアアイディスプレイ1720の基準点に対して、ニアアイディスプレイ1720の特定的な位置にあるオブジェクトとすることができる。コンソール1710は、外部撮像デバイス1750によって取り込まれた画像内でロケータ1726を特定して、人工現実ヘッドセットの位置もしくは向き、または両方を決定することができる。ロケータ1726は、発光ダイオード(LED)、コーナキューブリフレクタ、反射性マーカ、ニアアイディスプレイ1720が動作する環境と対照をなすある種の光源、またはこれらのいくつかの組み合わせとすることができる。ロケータ1726が能動構成要素(たとえば、LEDまたは別の種類の発光デバイス)である実施形態では、ロケータ1726は、可視帯域内(たとえば、約380nm~750nm)、赤外(IR)帯域内(たとえば、約750nm~17mm)、紫外帯域内(たとえば、約170nm~約380nm)、電磁スペクトルの別の部分内、または電磁スペクトルの一部分の任意の組み合わせ内の光を発光することができる。
外部撮像デバイス1750は、コンソール1710から受け取った較正パラメータに基づいて遅い較正データを生成することができる。遅い較正データは、外部撮像デバイス1750によって検出可能なロケータ1726が観察された位置を示す、1つまたは複数の画像を含み得る。外部撮像デバイス1750は、1つまたは複数のカメラ、1つまたは複数のビデオカメラ、1つまたは複数のロケータ1726を含む画像を取り込むことができる任意の他のデバイス、またはこれらのいくつかの組み合わせを含み得る。加えて、外部撮像デバイス1750は、1つまたは複数のフィルタを含み得る(たとえば、信号対雑音比を向上させるために)。外部撮像デバイス1750は、外部撮像デバイス1750の視野内のロケータ1726から発光または反射された光を検出するように構成することができる。ロケータ1726が受動要素(たとえば再帰反射器)を含む実施形態では、外部撮像デバイス1750は、ロケータ1726の一部または全部を照らす光源を含むことができ、ロケータは、その光を外部撮像デバイス1750の光源に逆反射することができる。遅い較正データは、外部撮像デバイス1750からコンソール1710へ伝えることができ、外部撮像デバイス1750は、1つまたは複数の較正パラメータをコンソール1710から受け取って、1つまたは複数の画像化パラメータ(たとえば、焦点距離、焦点、フレームレート、センサ温度、シャッタ速度、アパーチャなど)を調整することができる。
位置センサ1728は、ニアアイディスプレイ1720の動きに応答して1つまたは複数の測定信号を生成することができる。位置センサ1728の例としては、加速度計、ジャイロスコープ、磁力計、他の動き検出センサもしくは誤差補正センサ、またはこれらのいくつかの組み合わせが含まれ得る。たとえば、いくつかの実施形態では、位置センサ1728は、並進運動(たとえば、前方/後方、上/下、または左/右)を測定するための複数の加速度計と、回転運動(たとえば、ピッチ、ヨー、またはロール)を測定するための複数のジャイロスコープとを含み得る。いくつかの実施形態では、様々な位置センサを互いに直角に向けることができる。
IMU 1732は、1つまたは複数の位置センサから受け取った測定信号に基づいて速い較正データを生成する電子デバイスとすることができる。位置センサ1728は、IMU 1732の外部、IMU 1732の内部、またはこれらの何らかの組み合わせに設置することができる。1つまたは複数の位置センサ1728からの1つまたは複数の測定信号に基づいて、IMU 1732は、ニアアイディスプレイ1720の初期位置に対するニアアイディスプレイ1720の推定位置を示す速い較正データを生成することができる。たとえば、IMU 1732は、加速度計から受け取った測定信号をある期間にわたって積分して速度ベクトルを推定し、この速度ベクトルをある期間にわたって積分して、ニアアイディスプレイ1720の基準点の推定位置を決定することができる。あるいは、IMU 1732は、サンプリングされた測定信号をコンソール1710に供給することができ、コンソールは、速い較正データを決定することができる。基準点は一般に、様々な実施形態において空間の点として定義され得るが、様々な実施形態では、基準点はまた、ニアアイディスプレイ1720の内部の点(たとえば、IMY 1732の中心)として定義されることもある。
視線追跡ユニット1730は、1つまたは複数の視線追跡システムを含み得る。視線追跡システムは、1つまたは複数の眼を撮像するための撮像システムを含むことができ、また任意選択で発光器を含むことができ、この発光器は、眼で反射された光が撮像システムによって取り込まれ得るように眼に向けられる光を生成することができる。たとえば、視線追跡ユニット1730は、可視スペクトルまたは赤外スペクトルの光を発するコヒーレント光源(たとえば、レーザダイオード)と、ユーザの眼で反射された光を取り込むカメラとを含み得る。別の例では、視線追跡ユニット1730は、小型レーダユニットから放射され反射された電波を捉えることができる。視線追跡ユニット1730には、眼を傷めない、または物理的な不快を引き起こさない周波数および強度の光を発する小出力発光器を使用することができる。視線追跡ユニット1730は、視線追跡ユニット1730によって消費される総電力を低減しながら(たとえば、視線追跡ユニット1730に含まれる発光器および撮像システムによって消費される電力を低減しながら)、視線追跡ユニット1730によって取り込まれる眼の画像のコントラストを高めるように配置することができる。たとえば、いくつかの実施形態では、視線追跡ユニット1730は、消費する電力が1700ミリワット未満であり得る。
視線追跡ユニット1730は、ユーザの眼の向きを推定するように構成することができる。眼の向きは、ニアアイディスプレイ1720内でユーザが注視する方向と一致し得る。ユーザの眼の向きは中心窩軸の方向として定義することができる。中心窩軸とは、中心窩(光受容体の密度が最も高い眼の網膜上の領域)と眼の瞳孔の中心との間の軸のことである。一般に、ユーザの眼が1つの点に固定されているとき、ユーザの2つの眼の中心窩軸は、その点で交差する。眼の瞳孔軸は、瞳孔の中心を通り角膜面に垂直である軸として定義することができる。一般に、瞳孔軸と中心窩軸は瞳孔の中心で交差するが、瞳孔軸は中心窩軸と全く一直線にそろわないことがある。中心窩軸は眼の後方に位置する中心窩によって定義されるので、中心窩軸は、いくつかの視線追跡実施形態では直接測定することが困難か不可能なことがある。したがって、いくつかの実施形態では、瞳孔軸の向きが検出され、この検出された瞳孔軸に基づいて中心窩軸が推定されることがある。
ニアアイディスプレイ1720は、眼の向きを利用して、たとえば、ユーザの瞳孔間距離(IPD)を決定すること、注視方向を決定すること、奥行き表現を導入すること(たとえば、ユーザの主視線の外側の画像をぼかす)、人工現実メディアにおけるユーザ対話についての発見的方法(たとえば、露出刺激の関数としての、何か特別な対象、オブジェクト、またはフレームに費やす時間)、ユーザの眼の少なくとも片方の向きに一部は基づく何か他の関数、またはこれらのいくつかの組み合わせを集めることができる。向きはユーザの両眼について決定されるので、視線追跡ユニット1730は、ユーザがどこを見ているかを決定することができ得る。たとえば、ユーザの注視の方向を決定することには、ユーザの右眼および左眼の決定された向きに基づいて収束点を決定することが含まれ得る。収束点は、ユーザの眼の2つの中心窩軸が交差する点(または、2つの軸間の最も近い点)であり得る。ユーザの注視の方向は、収束点と、ユーザの眼の各瞳孔の間の中間点とを通る、線の方向であり得る。
入力/出力インターフェース1740は、ユーザがコンソール1710にアクション要求を送出できるようにするデバイスでよい。アクション要求とは、特別なアクションを行うことの要求であり得る。たとえば、アクション要求は、アプリケーションを開始もしくは終了すること、またはアプリケーション内で特別なアクションを行うことであり得る。入力/出力インターフェース1740は、1つまたは複数の入力デバイスを含み得る。例示的な入力デバイスには、キーボード、マウス、ゲームコントローラ、グローブ、ボタン、タッチスクリーン、または他の任意の適切な、アクション要求を受け取り、受け取られたアクション要求をコンソール1710に伝えるためのデバイスが含まれ得る。入力/出力インターフェース1740で受け取られたアクション要求はコンソール1710に伝えることができ、コンソールは、要求されたアクションに対応するアクションを遂行することができる。いくつかの実施形態では、入力/出力インターフェース1740は、コンソール1710から受け取った命令に応じてユーザに触覚フィードバックを与えることができる。たとえば、入力/出力インターフェース1740は、アクション要求が受け取られたときに、またはコンソール1710が要求されたアクションを遂行し、命令を入力/出力インターフェース1740に伝えたときに、触覚フィードバックを与えることができる。
コンソール1710は、外部撮像デバイス1750、ニアアイディスプレイ1720、および入力/出力インターフェース1740のうちの1つ以上から受け取った情報に応じて、ユーザに提示するためのコンテンツをニアアイディスプレイ1720に供給することができる。図17に示された例では、コンソール1710は、アプリケーション記憶装置1712、ヘッドセット追跡モジュール1714、人工現実エンジン1716、および視線追跡モジュール1718を含み得る。コンソール1710のいくつかの実施形態は、図17と併せて記述されたものとは別の、または追加のモジュールを含み得る。以下でさらに記述される機能が、コンソール1710の構成要素の間で、ここで記述されるものとは別の方法で分配されることがある。
いくつかの実施形態では、コンソール1710は、プロセッサと、プロセッサによって実行可能な命令を記憶する非一時的コンピュータ可読記憶媒体とを含み得る。プロセッサは、並行して命令を実行する複数のプロセスユニットを含み得る。コンピュータ可読記憶媒体は、ハードディスクドライブ、取り外し可能メモリ、またはソリッドステートドライブ(たとえば、フラッシュメモリまたはダイナミックランダムアクセスメモリ(DRAM))などの任意のメモリでよい。様々な実施形態では、図17と併せて記述されたコンソール1710のモジュールは、非一時的コンピュータ可読記憶媒体に命令としてコード化することができ、この命令は、プロセッサによって実行されると、以下でさらに記述される機能をプロセッサが遂行する。
アプリケーション記憶装置1712は、コンソール1710で実行するための1つまたは複数のアプリケーションを記憶することができる。1つのアプリケーションは、プロセッサで実行されたときにユーザに提示するためのコンテンツを生成する命令の群を含むことができる。アプリケーションによって生成されたコンテンツは、ユーザの眼の運動を介してユーザから受け取られた入力、または入力/出力インターフェース1740から受け取られた入力に応答していることがある。アプリケーションの例には、ゲームアプリケーション、会議アプリケーション、ビデオ再生アプリケーション、または他の適切なアプリケーションが含まれ得る。
ヘッドセット追跡モジュール1714は、外部撮像デバイス1750からの遅い較正情報を使用してニアアイディスプレイ1720の移動を追跡することができる。たとえば、ヘッドセット追跡モジュール1714は、遅い較正情報による観察されたロケータと、ニアアイディスプレイ1720のモデルとを使用してニアアイディスプレイ1720の基準点の位置を決定することができる。ヘッドセット追跡モジュール1714はまた、速い較正情報による位置情報を使用してニアアイディスプレイ1720の基準点の位置を決定することもできる。加えて、いくつかの実施形態では、ヘッドセット追跡モジュール1714は、速い較正情報の一部分、遅い較正情報、またはこれらの何らかの組み合わせを使用して、ニアアイディスプレイ1720の未来場所を予測することができる。ヘッドセット追跡モジュール1714は、ニアアイディスプレイ1720の推測または予測未来位置を人工現実エンジン1716に提供することができる。
ヘッドセット追跡モジュール1714は、1つまたは複数の較正パラメータを使用して人工現実システム環境1700を較正することができ、1つまたは複数の較正パラメータを調整して、ニアアイディスプレイ1720の位置を決定する際の誤差を低減することができる。たとえば、ヘッドセット追跡モジュール1714は、外部撮像デバイス1750の焦点を調整して、ニアアイディスプレイ1720の観察されるロケータのより正確な位置を得ることができる。さらに、ヘッドセット追跡モジュール1714で行われる較正はまた、IMU 1732から受け取られる情報を明らかにすることもできる。加えて、ニアアイディスプレイ1720の追跡ができなくなった場合(たとえば、外部撮像デバイス1750が少なくとも閾数のロケータ1726の視線を失う)、ヘッドセット追跡モジュール1714は、較正パラメータの一部または全部を再較正することができる。
人工現実エンジン1716は、人工現実システム環境1700内のアプリケーションを実行し、ニアアイディスプレイ1720の位置情報、ニアアイディスプレイ1720の加速度情報、ニアアイディスプレイ1720の速度情報、ニアアイディスプレイ1720の予測未来位置、またはこれらの何らかの組み合わせをヘッドセット追跡モジュール1714から受け取ることができる。人工現実エンジン1716はまた、推測された眼の位置および向き情報を視線追跡モジュール1718から受け取ることもできる。受け取った情報に基づいて、人工現実エンジン1716は、ユーザへの提示用にニアアイディスプレイ1720に提供するためのコンテンツを決定する。たとえば、受け取った情報がユーザは右を見ていることを示す場合、人工現実エンジン1716は、仮想環境中のユーザの眼球運動を映すニアアイディスプレイ1720用のコンテンツを生成することができる。加えて、人工現実エンジン1716は、入力/出力インターフェース1740から受け取ったアクション要求に応答してコンソール1710上で実行するアプリケーション内のアクションを遂行し、アクションが遂行されたことを示すフィードバックをユーザに与えることができる。フィードバックは、ニアアイディスプレイ1720を介する可視または可聴フィードバックでも、入力/出力インターフェース1740を介する触覚フィードバックでもよい。
視線追跡モジュール1718は、視線追跡ユニット1730からの視線追跡データを受け取り、その視線追跡データに基づいてユーザの眼の位置を決定することができる。この眼の位置には、ニアアイディスプレイ1720またはそのいずれかの要素に対する眼の向きもしくは場所、または両方が含まれ得る。眼の回転軸は眼窩内の眼の場所に応じて変化するので、眼窩内の眼の場所を決定すると視線追跡モジュール1718は、眼の向きをより正確に決定することが可能になる。
いくつかの実施形態では、視線追跡ユニット1730は、眼の画像を含む視線追跡データを出力することができ、視線追跡モジュール1718は、画像に基づいて眼の位置を決定することができる。たとえば、視線追跡モジュール1718は、視線追跡モジュール1730によって取り込まれた画像と眼の位置との間のマッピングを記憶して、視線追跡ユニット1730によって取り込まれた画像から眼の基準位置を決定することができる。別法として、または加えて、視線追跡モジュール1718は、眼の基準位置が決定されている画像を更新された眼の位置が決定されるべき画像と比較することによって、眼の基準位置に対して更新された眼の位置を決定することができる。視線追跡モジュール1718は、別の撮像デバイスまたは他のセンサからの測定値を使用して眼の位置を決定することができる。たとえば、上述のように、視線追跡モジュール1718は、遅い視線追跡システムからの測定値を使用して眼の基準位置を決定し、その後、速い視線追跡システムからの眼の基準位置に対する更新位置を、次の眼の基準位置が遅い視線追跡システムからの測定値に基づいて決定されるまで、決定することができる。
上で論じられた方法、システム、およびデバイスは例示的なものである。様々な実施形態で、様々な手順または構成要素を必要に応じて省略、置換、または追加することができる。たとえば、代替的な構成では、記述された方法は、記述されたものと異なる順序で遂行されてもよく、かつ/または様々な段階が追加され、省略され、および/または組み合わされてもよい。また、特定の実施形態に関して記述された特徴が、様々な他の実施形態において組み合わされてもよい。これらの実施形態の異なる態様と要素が、同様に組み合わされてもよい。また、技術が進歩するので、これらの要素の多くは、本開示の範囲をこれらの特定的な例に限定しない例である。
実施形態の完全な理解が得られるように、本明細書には特定的な詳細が付与されている。しかし、諸実施形態は、これらの特定的な詳細がなくても実践することができる。たとえば、よく知られている回路、プロセス、システム、構造、および技法が、実施形態を不明瞭にしないようにするために、不必要に詳述することなく示されている。本明細書は、例示的な実施形態のみを提供し、本発明の範囲、適用性、または構成を限定するものではない。むしろ、これらの実施形態についての前述の記述は、様々な実施形態を実施するための可能化記述を当業者に提供する。様々な変更が、本開示の趣旨および範囲から逸脱することなく諸要素の機能および配置に加えられ得る。
また、いくつかの実施形態が、流れ図またはブロック図で描かれたプロセスとして記述された。それぞれが動作を一連のプロセスとして記述していることがあるが、動作の多くは並行して、または同時に遂行されてもよい。加えて、動作の順序は再構成されてもよい。プロセスが、図に含まれていない追加のステップを有することがある。さらに、方法の諸実施形態は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはこれらの任意の組み合わせによって実施することができる。ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコードで実施される場合、関連するタスクを遂行するためのプログラムコードまたはコードセグメントは、記憶媒体などのコンピュータ可読媒体に記憶することができる。プロセッサが、関連するタスクを遂行することができる。
当業者には、実質的な変形形態が特定的な要件に応じて作られ得ることが明らかであろう。たとえば、カスタム化または特定用途のハードウェアもまた使用されてよく、かつ/または、特別な要素がハードウェアもしくはソフトウェア(アプレットなどのポータブルソフトウェアを含む)、または両方で実施されてもよい。さらに、ネットワーク入力/出力デバイスなどの他のコンピュータデバイスへの接続が採用されてもよい。
添付の図を参照すると、メモリを含むことができる構成要素は、非一時的機械可読媒体を含むことができる。本明細書で使用される用語の「機械可読媒体」および「コンピュータ可読媒体」とは、機械を特定的に動作させるデータを供給することに関与する任意の記憶媒体を指す。上に提示された諸実施形態では、様々な機械可読媒体が、命令/コードをプロセスユニットおよび/または他のデバイスに実行のために供給することに関わり合い得る。加えて、または別法として、機械可読媒体は、このような命令/コードを記憶および/または保持するために使用することもできる。多くの実装形態において、コンピュータ可読媒体は物理的および/または有形の記憶媒体である。このような媒体は、不揮発性媒体、揮発性媒体、および伝送媒体をこれだけには限らないが含む、多くの形を取ることができる。よくある形のコンピュータ可読媒体には、たとえば磁気媒体、および/またはコンパクトディスク(CD)もしくはデジタル多用途ディスク(DVD)などの光学媒体、パンチカード、紙テープ、孔のパターンが付いた他の任意の物理的媒体、RAM、プログラム可能読み出し専用メモリ(PROM)、消去可能プログム可能読み出し専用メモリ(EPROM)、FLASH-EPROM、他の任意のメモリチップもしくはカートリッジ、以下で記述する搬送波、または他の任意の、コンピュータが命令および/またはコードを読み出すことができる媒体が含まれる。コンピュータプログラム製品は、コードおよび/または機械実行可能命令を含むことができ、これらは、手順、機能、サブプログラム、プログラム、ルーチン、アプリケーション(App)、サブルーチン、モジュール、ソフトウェアパッケージ、クラス、または命令、データ構造もしくはプログラム文の任意の組み合わせであり得る。
当業者には、本明細書に記述されたメッセージを伝えるために使用される情報および信号が、多様な異なる技術および技法のいずれかを使用して表され得ることが理解されよう。たとえば、上の記述全体を通して参照され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、およびチップは、電圧、電流、電磁波、磁場もしくは磁性粒子、光場もしくは光学粒子、またはこれらの任意の組み合わせによって表すことができる。
本明細書で使用される用語の「および」および「または」は、このような用語が使用される文脈に少なくとも一部は基づいてまた予期される、多様な意味を含み得る。通常、「または」は、A、B、またはCなどのリストを結びつけるために使用される場合には、A、B、およびCを意味するものであり、ここでは包括的な意味で使用され、さらにはA、B、またはCも意味するものであり、ここでは排他的な意味で使用される。加えて、本明細書で使用される用語の「1つまたは複数の」は、いかなる特徴、構造、または特性も単数形で記述するのに使用することができ、あるいは、複数の特徴、構造、または特性の何らかの組み合わせを記述するのに使用することができる。しかし、これは単なる説明的な例であること、および特許請求される主題はこの例に限定されないことに留意されたい。さらに、「のうちの少なくとも1つ」は、A、B、またはCなどのリストを結びつけるために使用される場合には、A、AB、AC、BC、AA、ABC、AAB、AABBCCCなどの、A、B、および/またはCの任意の組み合わせを意味するものと解釈することができる。
さらに、特定の実施形態について、ハードウェアとソフトウェアの特別な組み合わせを使用して記述してきたが、ハードウェアとソフトウェアの別の組み合わせもまた可能であることを理解されたい。特定の実施形態は、ハードウェアだけで、またはソフトウェアだけで、またはこれらの組み合わせを使用して実施することができる。一例では、ソフトウェアが、本開示で記述されたステップ、動作、またはプロセスのいずれかまたは全部を遂行するために、1つまたは複数のプロセッサによって実行可能なコンピュータプログラムコードまたは命令を含有するコンピュータプログラム製品を用いて実施されてよく、この場合、コンピュータプログラムは、非一時的コンピュータ可読記憶媒体に記憶することができる。本明細書で記述された様々なプロセスは、同一のプロセッサで、または任意の組み合わせの別々のプロセッサで実施することができる。
デバイス、システム、構成要素またはモジュールが、特定の動作または機能を遂行するように構成されると記述される場合、このような構成は、たとえば、その動作を遂行するように電子回路を設計することによって、その動作をコンピュータ命令もしくはコードを実行することなどによって遂行するようにプログラム可能電子回路(マイクロプロセッサなど)をプログラムすることによって、または非一時的メモリ媒体に記憶されたコードもしくは命令を実行するようにプログラムされたプロセッサもしくはコアによって、またはこれらの任意の組み合わせによって、達成することができる。諸プロセスは、プロセス間通信のための従来の諸技法をこれだけには限らないが含む、多様な技法を使用して通信することができ、異なる対のプロセスにより、別々の技法を使用することができ、あるいは同一の対のプロセスにより、別々の技法を別々の時間に使用することができる。
したがって、本明細書および図面については、制限的な意味ではなく説明的な意味に注目されたい。しかし、追加、置換、削除、ならびに他の修正および変更が、特許請求項に記載された広い趣旨および範囲から逸脱することなく本明細書および図面に加えられていよいことは明らかであろう。したがって、特定的な諸実施形態について記述したが、これらは限定的なものではない。様々な修正および等価物が、添付の特許請求の範囲内にある。

Claims (20)

  1. 複数の画素を備えるデジタル画素画像センサであって、各画素は、
    光信号に応答して電荷を生成するように構成されたフォトダイオードと、
    前記フォトダイオードによって生成された前記電荷を貯蔵するように構成された電荷貯蔵デバイスであって、前記貯蔵された電荷により電圧信号が前記電荷貯蔵デバイスに生じる、電荷貯蔵デバイスと、
    画素メモリと、
    デジタイザとを備え、デジタイザは、
    比較器であって、
    ランプ信号および前記電圧信号を受け取るように構成され、前記ランプ信号の電圧レベルがクロック信号の各サイクル後に増加または低下し、さらに、
    前記ランプ信号の前記電圧レベルが前記電圧信号の電圧レベルに達した後に前記比較器の出力状態を変化させるように構成された比較器と、
    デジタル出力生成回路であって、前記比較器の出力状態が変化したときに、
    前記ランプ信号が開始したときの時間と、前記比較器の前記出力状態が変化したときの時間との間の前記クロック信号の総サイクル数に対応する第1の数を受け取るように、かつ
    前記第1の数を前記画素メモリに保存するように構成され、前記第1の数が前記電圧信号の前記電圧レベルのデジタル値に対応する、デジタル出力生成回路と
    を備える、デジタル画素画像センサ。
  2. 前記ランプ信号が開始した後に受け取られた前記クロック信号の前記総サイクル数を数えるように、かつ
    前記総サイクル数に対応するカウンタ値を複数の前記画素に送出するように
    構成されたクロックカウンタをさらに備える、請求項1に記載のデジタル画素画像センサ。
  3. 前記カウンタ値に基づいて前記ランプ信号を生成するように、かつ
    前記ランプ信号を複数の前記画素に送出するように
    構成された参照信号生成器をさらに備える、請求項2に記載のデジタル画素画像センサ。
  4. 前記フォトダイオードおよび前記電荷貯蔵デバイスに結合された転送ゲートをさらに備え、
    前記フォトダイオードが、露光時間期間中に前記電荷を蓄積するように構成され、
    前記転送ゲートが、
    前記露光時間期間中に前記フォトダイオードを前記電荷貯蔵デバイスから切り離すように、
    前記露光時間期間の後に前記フォトダイオードを前記電荷貯蔵デバイスに接続して、前記蓄積された電荷を前記フォトダイオードから前記電荷貯蔵デバイスへ転送するように、かつ
    前記蓄積された電荷を転送後に前記フォトダイオードを前記電荷貯蔵デバイスから切り離すように
    構成されている、請求項1に記載のデジタル画素画像センサ。
  5. 前記電荷貯蔵デバイスをリセット電圧レベルにリセットするように構成可能なリセット回路をさらに備える、請求項1に記載のデジタル画素画像センサ。
  6. 前記比較器がさらに、前記電荷貯蔵デバイスがリセットされた後に、
    第2のランプ信号を受け取るように構成され、前記第2のランプ信号の電圧レベルが、前記クロック信号の各サイクル後に増加または低下し、さらに、
    前記第2のランプ信号の前記電圧レベルが前記リセット電圧レベルに達した後に、前記比較器の出力状態を変化させるように構成され、
    前記デジタル出力生成回路がさらに、前記第2のランプ信号の前記電圧レベルが前記リセット電圧レベルに達した後に前記比較器の前記出力状態が変化したときに、
    前記第2のランプ信号が開始したときの時間と、前記比較器の前記出力状態が変化したときの時間との間の、前記クロック信号の総サイクル数に対応する第2の数を受け取るように、かつ
    前記第2の数を前記画素メモリに保存するように構成され、前記第2の数が前記リセット電圧レベルのデジタル値に対応し、
    前記第1の数と前記第2の数との差が前記光信号の強度に対応する、請求項5に記載のデジタル画素画像センサ。
  7. 前記画素メモリが、
    前記第2の数を記憶するように構成されたMビットメモリブロックと、
    前記第1の数を記憶するように構成されたNビットメモリブロックとを備え、NがMよりも大きい、請求項6に記載のデジタル画素画像センサ。
  8. 前記フォトダイオードおよび前記電荷貯蔵デバイスに結合された転送ゲートをさらに備え、前記転送ゲートが、
    露光時間期間中に前記フォトダイオードを前記電荷貯蔵デバイスから切り離すように、
    前記露光時間期間の後に前記フォトダイオードを前記電荷貯蔵デバイスに接続して、電荷を前記フォトダイオードから前記電荷貯蔵デバイスへ転送するように、かつ
    前記電荷を転送後に前記フォトダイオードを前記電荷貯蔵デバイスから切り離すように
    構成されている、請求項6に記載のデジタル画素画像センサ。
  9. 前記リセット回路が、前記露光時間期間の終了時で、かつ前記転送ゲートが前記フォトダイオードを前記電荷貯蔵デバイスに接続する前に、前記電荷貯蔵デバイスをリセットするように構成されている、請求項8に記載のデジタル画素画像センサ。
  10. 前記比較器が、前記比較器の出力ノードに結合されたプリチャージ回路を備え、前記プリチャージ回路が、前記比較器の前記出力ノードをあるDCレベルに充電するように構成されている、請求項1に記載のデジタル画素画像センサ。
  11. 前記比較器がさらに、pチャネル金属酸化膜半導体(PMOS)トランジスタを備え、
    前記PMOSトランジスタのゲートが前記電荷貯蔵デバイスに結合され、
    前記PMOSトランジスのソースが前記ランプ信号を受け取るように構成され、
    前記比較器の前記出力ノードが前記PMOSトランジスのドレインに結合されている、請求項10に記載のデジタル画素画像センサ。
  12. 各画素がさらにシャッタゲートを備え、複数の前記画素の前記シャッタゲートが同一の露光イネーブル信号によって制御される、請求項1に記載のデジタル画素画像センサ。
  13. 画像センサ用のデジタル画素であって、前記デジタル画素が、
    光信号に応答して電荷を生成するように構成されたフォトダイオードと、
    前記フォトダイオードによって生成された前記電荷を貯蔵するように構成された電荷貯蔵デバイスであって、前記貯蔵された電荷により電圧信号が前記電荷貯蔵デバイスに生じる、電荷貯蔵デバイスと、
    画素メモリと、
    デジタイザとを備え、デジタイザは、
    比較器であって、
    ランプ信号および前記電圧信号を受け取るように構成され、前記ランプ信号の電圧レベルがクロック信号の各サイクル後に増加または低下し、さらに、
    前記ランプ信号の前記電圧レベルが前記電圧信号の電圧レベルに達した後に前記比較器の出力状態を変化させるように構成された比較器と、
    デジタル出力生成回路であって、前記比較器の出力状態が変化したときに、
    前記ランプ信号が開始したときの時間と、前記比較器の前記出力状態が変化したときの時間との間の前記クロック信号の総サイクル数に対応する第1の数を受け取るように、かつ
    前記第1の数を前記画素メモリに保存するように構成され、前記第1の数が前記電圧信号の前記電圧レベルのデジタル値に対応する、デジタル出力生成回路と
    を備える、デジタル画素。
  14. 前記電荷貯蔵デバイスをリセット電圧レベルにリセットするように構成可能なリセットゲートをさらに備え、
    前記比較器がさらに、前記電荷貯蔵デバイスがリセットされた後に、
    第2のランプ信号を受け取るように構成され、前記第2のランプ信号の電圧レベルが、前記クロック信号の各サイクル後に増加または低下し、さらに、
    前記第2のランプ信号の前記電圧レベルが前記リセット電圧レベルに達した後に、前記比較器の出力状態を変化させるように構成され、
    前記デジタル出力生成回路がさらに、前記第2のランプ信号の前記電圧レベルが前記リセット電圧レベルに達した後に前記比較器の前記出力状態が変化したときに、
    前記第2のランプ信号が開始したときの時間と、前記比較器の前記出力状態が変化したときの時間との間の、前記クロック信号の総サイクル数に対応する第2の数を受け取るように、かつ
    前記第2の数を前記画素メモリに保存するように構成され、前記第2の数が前記リセット電圧レベルのデジタル値に対応し、
    前記第1の数と前記第2の数との差が前記光信号の強度に対応する、請求項13に記載のデジタル画素。
  15. デジタル撮像の方法であって、
    画像センサの画素のフォトダイオードによって露光期間中に光信号を受け取ること、
    前記画素によって前記光信号を前記画素の電荷貯蔵デバイスへの電圧信号に変換すること、
    クロック信号のクロックサイクル数を数えるクロックカウンタを始動すること、
    前記画素の比較器によって前記電圧信号と、前記クロックサイクル数に合わせて電圧レベルが直線的に増加または低下するランプ信号とを比較すること、
    前記ランプ信号の前記電圧レベルが前記電圧信号の電圧レベルに達したときに、前記比較器によって前記比較器の出力状態を変化させること、および
    前記比較器の前記出力状態が変化したときの前記クロックサイクル数に対応する第1の数を前記画素の画素メモリに、前記電圧信号に対する第1のデジタル値として保存することを含む、デジタル撮像の方法。
  16. 前記電荷貯蔵デバイスを前記フォトダイオードから切り離すこと、
    前記電荷貯蔵デバイスをあるDC電圧レベルにリセットすること、
    前記クロック信号の前記クロックサイクル数を数える前記クロックカウンタを始動すること、
    前記画素の比較器によって前記DC電圧レベルと、前記クロックサイクル数に合わせて電圧レベルが直線的に増加または低下する第2のランプ信号とを比較すること、および
    前記第2のランプ信号の前記電圧レベルが前記DC電圧レベルに達したときの、前記クロックサイクル数に対応する第2の数を前記画素メモリに第2のデジタル値として保存すること
    をさらに含む、請求項15に記載の方法。
  17. 前記電荷貯蔵デバイスを前記DC電圧レベルにリセットすることが、
    前記電荷貯蔵デバイスを、前記露光期間の終了時に前記DC電圧レベルにリセットすることを含む、請求項16に記載の方法。
  18. 前記光信号を前記電荷貯蔵デバイスへの前記電圧信号に変換することが、
    前記電荷貯蔵デバイスを前記フォトダイオードから切り離すこと、
    前記フォトダイオードによって、前記露光期間中に前記光信号を受け取ることに応答して電荷を生成すること、
    前記露光期間中に前記電荷を前記フォトダイオードに蓄積すること、および
    前記露光期間後に、前記電荷貯蔵デバイスを前記フォトダイオードに接続して前記蓄積された電荷を前記電荷貯蔵デバイスへ転送することを含み、前記転送された電荷により前記電荷貯蔵デバイスへの前記電圧信号が生じ、さらに、
    前記電荷貯蔵デバイスを前記フォトダイオードから切り離すことを含む、請求項15に記載の方法。
  19. 前記露光期間の前に、前記フォトダイオードおよび前記電荷貯蔵デバイスをリセットすることをさらに含む、請求項15に記載の方法。
  20. 前記電圧信号と前記ランプ信号を比較する前に、
    前記比較器の出力ノードをDC電圧源に接続して前記比較器の前記出力ノードをプリチャージすること、および
    前記比較器の前記出力ノードを前記DC電圧源から切り離すこと
    をさらに含む、請求項15に記載の方法。
JP2022185240A 2017-06-26 2022-11-18 デジタル画素画像センサ Pending JP2023029852A (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201762525045P 2017-06-26 2017-06-26
US62/525,045 2017-06-26
US15/847,517 US10419701B2 (en) 2017-06-26 2017-12-19 Digital pixel image sensor
US15/847,517 2017-12-19
JP2019571598A JP2020526098A (ja) 2017-06-26 2018-06-26 デジタル画素画像センサ
PCT/US2018/039431 WO2019005749A1 (en) 2017-06-26 2018-06-26 DIGITAL IMAGE SENSOR

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019571598A Division JP2020526098A (ja) 2017-06-26 2018-06-26 デジタル画素画像センサ

Publications (2)

Publication Number Publication Date
JP2023029852A true JP2023029852A (ja) 2023-03-07
JP2023029852A5 JP2023029852A5 (ja) 2023-12-27

Family

ID=62791600

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019571598A Pending JP2020526098A (ja) 2017-06-26 2018-06-26 デジタル画素画像センサ
JP2022185240A Pending JP2023029852A (ja) 2017-06-26 2022-11-18 デジタル画素画像センサ

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019571598A Pending JP2020526098A (ja) 2017-06-26 2018-06-26 デジタル画素画像センサ

Country Status (6)

Country Link
US (2) US10419701B2 (ja)
EP (1) EP3425353A1 (ja)
JP (2) JP2020526098A (ja)
KR (1) KR102525828B1 (ja)
CN (1) CN110999278B (ja)
WO (1) WO2019005749A1 (ja)

Families Citing this family (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9132352B1 (en) 2010-06-24 2015-09-15 Gregory S. Rabin Interactive system and method for rendering an object
US10917589B2 (en) 2017-06-26 2021-02-09 Facebook Technologies, Llc Digital pixel with extended dynamic range
US10686996B2 (en) 2017-06-26 2020-06-16 Facebook Technologies, Llc Digital pixel with extended dynamic range
US10419701B2 (en) 2017-06-26 2019-09-17 Facebook Technologies, Llc Digital pixel image sensor
US10825854B2 (en) 2017-08-16 2020-11-03 Facebook Technologies, Llc Stacked photo sensor assembly with pixel level interconnect
US10598546B2 (en) 2017-08-17 2020-03-24 Facebook Technologies, Llc Detecting high intensity light in photo sensor
GB2565836B (en) * 2017-08-25 2021-04-14 Sony Interactive Entertainment Inc Data processing for position detection using markers in captured images
EP3487175A1 (en) * 2017-11-21 2019-05-22 Reliance Core Consulting LLC Methods and systems for detecting motion corresponding to a field of interest
US10867398B2 (en) * 2017-11-21 2020-12-15 Reliance Core Consulting LLC Methods, systems, apparatuses and devices for facilitating motion analysis in an environment
US11393867B2 (en) 2017-12-06 2022-07-19 Facebook Technologies, Llc Multi-photodiode pixel cell
US10491877B1 (en) * 2017-12-21 2019-11-26 Facebook Technologies, Llc Depth camera assembly using multiplexed sensor phase measurements to determine depth using fringe interferometry
CN108200363B (zh) * 2018-01-02 2020-05-29 京东方科技集团股份有限公司 降噪方法、降噪装置和光检测系统
US11716548B2 (en) 2018-03-13 2023-08-01 Meta Platforms Technologies, Llc Timing of multiplexed sensor phase measurements in a depth camera assembly for depth determination using fringe interferometry
US10969273B2 (en) 2018-03-19 2021-04-06 Facebook Technologies, Llc Analog-to-digital converter having programmable quantization resolution
EP3543664B1 (en) * 2018-03-19 2022-05-04 ams International AG Method for light-to-frequency conversion and light-to-frequency converter arrangement
US11004881B2 (en) 2018-04-03 2021-05-11 Facebook Technologies, Llc Global shutter image sensor
US11089210B2 (en) 2018-06-11 2021-08-10 Facebook Technologies, Llc Configurable image sensor
US11089241B2 (en) 2018-06-11 2021-08-10 Facebook Technologies, Llc Pixel cell with multiple photodiodes
US11906353B2 (en) 2018-06-11 2024-02-20 Meta Platforms Technologies, Llc Digital pixel with extended dynamic range
CN110596889A (zh) * 2018-06-13 2019-12-20 托比股份公司 眼睛跟踪装置和制造眼睛跟踪装置的方法
US11463636B2 (en) 2018-06-27 2022-10-04 Facebook Technologies, Llc Pixel sensor having multiple photodiodes
US10897586B2 (en) 2018-06-28 2021-01-19 Facebook Technologies, Llc Global shutter image sensor
US10848699B2 (en) * 2018-07-10 2020-11-24 Guangzhou Tyrafos Semiconductor Technologies Co., Ltd Visible light communication sensor and visible light communication method
US10812730B2 (en) * 2018-07-23 2020-10-20 Samsung Electronics Co., Ltd. Sensor auto-configuration
US10931884B2 (en) 2018-08-20 2021-02-23 Facebook Technologies, Llc Pixel sensor having adaptive exposure time
US11956413B2 (en) 2018-08-27 2024-04-09 Meta Platforms Technologies, Llc Pixel sensor having multiple photodiodes and shared comparator
US11595602B2 (en) 2018-11-05 2023-02-28 Meta Platforms Technologies, Llc Image sensor post processing
US11102430B2 (en) 2018-12-10 2021-08-24 Facebook Technologies, Llc Pixel sensor having multiple photodiodes
US10791282B2 (en) * 2018-12-13 2020-09-29 Fenwick & West LLP High dynamic range camera assembly with augmented pixels
US10855896B1 (en) 2018-12-13 2020-12-01 Facebook Technologies, Llc Depth determination using time-of-flight and camera assembly with augmented pixels
US10791286B2 (en) 2018-12-13 2020-09-29 Facebook Technologies, Llc Differentiated imaging using camera assembly with augmented pixels
KR102666974B1 (ko) * 2018-12-28 2024-05-20 에스케이하이닉스 주식회사 데이터 출력 회로 및 이를 포함하는 이미지 센서
US11138921B2 (en) * 2019-02-04 2021-10-05 Facebook Technologies, Llc Row based brightness calibration
US11218660B1 (en) 2019-03-26 2022-01-04 Facebook Technologies, Llc Pixel sensor having shared readout structure
GB2583535B (en) * 2019-05-03 2021-11-10 Sony Interactive Entertainment Inc Data processing
US11943561B2 (en) 2019-06-13 2024-03-26 Meta Platforms Technologies, Llc Non-linear quantization at pixel sensor
US11936998B1 (en) 2019-10-17 2024-03-19 Meta Platforms Technologies, Llc Digital pixel sensor having extended dynamic range
US10902623B1 (en) 2019-11-19 2021-01-26 Facebook Technologies, Llc Three-dimensional imaging with spatial and temporal coding for depth camera assembly
CN110931526B (zh) * 2019-11-25 2022-07-12 深圳市华星光电半导体显示技术有限公司 显示面板及其制备方法与显示装置
US11194160B1 (en) * 2020-01-21 2021-12-07 Facebook Technologies, Llc High frame rate reconstruction with N-tap camera sensor
US11277580B2 (en) * 2020-01-24 2022-03-15 Sony Semiconductor Solutions Corporation I, Q counter circuit and method for time-of-flight image sensor
CN111243540A (zh) * 2020-02-21 2020-06-05 合肥鑫晟光电科技有限公司 一种显示面板的驱动方法、其驱动电路及显示装置
CN111405195B (zh) * 2020-03-23 2021-06-22 西安微电子技术研究所 一种双曝光cmos图像传感器的数据转换装置及其转换方法
US11902685B1 (en) 2020-04-28 2024-02-13 Meta Platforms Technologies, Llc Pixel sensor having hierarchical memory
KR20210141161A (ko) * 2020-05-15 2021-11-23 에스케이하이닉스 주식회사 이미지 센싱 장치 및 그의 동작 방법
EP3930312B8 (en) * 2020-06-26 2023-10-25 Alpsentek GmbH Delta image sensor with digital pixel storage
US11910114B2 (en) 2020-07-17 2024-02-20 Meta Platforms Technologies, Llc Multi-mode image sensor
TW202213978A (zh) * 2020-09-28 2022-04-01 大陸商廣州印芯半導體技術有限公司 影像感測裝置以及影像感測方法
US11956560B2 (en) 2020-10-09 2024-04-09 Meta Platforms Technologies, Llc Digital pixel sensor having reduced quantization operation
KR20220048639A (ko) * 2020-10-13 2022-04-20 에스케이하이닉스 주식회사 이미지 센서 및 아날로그-디지털 변환기
CN114374805A (zh) 2020-10-14 2022-04-19 深圳市鸿飞精密科技有限公司 图像传感器及电子设备
US20220141405A1 (en) * 2020-11-04 2022-05-05 Facebook Technologies, Llc Digital pixel sensor with adaptive noise reduction
CN112600996B (zh) * 2020-12-03 2022-12-09 清华大学 紫外仿生视觉传感器
US11653083B2 (en) * 2020-12-15 2023-05-16 Qualcomm Incorporated Image sensor module
GB202019768D0 (en) * 2020-12-15 2021-01-27 Ams Ag Circuit for high-sensitivity radiation sensing
US12022218B2 (en) * 2020-12-29 2024-06-25 Meta Platforms Technologies, Llc Digital image sensor using a single-input comparator based quantizer
KR20220122172A (ko) * 2021-02-26 2022-09-02 에스케이하이닉스 주식회사 이미지 센서 및 이미지 센서의 동작 방법
US11329652B1 (en) * 2021-03-04 2022-05-10 Shenzhen GOODIX Technology Co., Ltd. Loadable true-single-phase-clocking flop-based counter
KR20220148631A (ko) * 2021-04-29 2022-11-07 삼성전자주식회사 광 신호 검출 장치 및 방법
US20230092325A1 (en) * 2021-09-23 2023-03-23 Meta Platforms Technologies, Llc Digital pixel sensor
WO2023049334A1 (en) * 2021-09-23 2023-03-30 Meta Platforms Technologies, Llc Digital pixel sensor
WO2023059538A1 (en) * 2021-10-05 2023-04-13 Meta Platforms Technologies, Llc Noise-reduction circuit for an image sensor
CN115567789B (zh) * 2022-08-31 2023-12-12 成都微光集电科技有限公司 一种图像信号的处理方法

Family Cites Families (184)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4596977A (en) 1984-12-03 1986-06-24 Honeywell Inc. Dual slope analog to digital converter with out-of-range reset
US5053771A (en) 1990-07-16 1991-10-01 Eastman Kodak Company Adaptive dual range analog to digital converter
JP2953297B2 (ja) 1994-03-30 1999-09-27 日本電気株式会社 受光素子およびその駆動方法
US6529241B1 (en) 1998-02-27 2003-03-04 Intel Corporation Photodetecting device supporting saturation detection and electronic shutter
US6522395B1 (en) 1999-04-30 2003-02-18 Canesta, Inc. Noise reduction techniques suitable for three-dimensional information acquirable with CMOS-compatible image sensor ICS
US6486504B1 (en) 1999-10-26 2002-11-26 Eastman Kodak Company CMOS image sensor with extended dynamic range
US6545624B2 (en) 2000-02-11 2003-04-08 Hyundai Electronics Industries Co., Ltd. Image sensor with analog-to-digital converter that generates a variable slope ramp signal
JP3984808B2 (ja) * 2000-09-07 2007-10-03 キヤノン株式会社 信号処理装置及びそれを用いた撮像装置並びに放射線撮像システム
US7903159B2 (en) * 2001-03-26 2011-03-08 Panavision Imaging Llc Image sensor ADC and CDS per column
US20030049925A1 (en) 2001-09-10 2003-03-13 Layman Paul Arthur High-density inter-die interconnect structure
CA2474560C (en) 2002-02-01 2012-03-20 Picometrix, Inc. Planar avalanche photodiode
CN1234234C (zh) 2002-09-30 2005-12-28 松下电器产业株式会社 固体摄像器件及使用该固体摄像器件的设备
US7280143B2 (en) 2003-04-14 2007-10-09 Micron Technology, Inc. CMOS image sensor with active reset and 4-transistor pixels
US6885331B2 (en) 2003-09-15 2005-04-26 Micron Technology, Inc. Ramp generation with capacitors
EP1530363B1 (en) * 2003-11-04 2010-08-11 STMicroelectronics (Research & Development) Limited Improvements in or relating to image sensors
FR2862448B1 (fr) * 2003-11-14 2006-12-29 St Microelectronics Sa Generateur de rampe de tension avec un asservissement de pente
US7129883B2 (en) * 2004-02-23 2006-10-31 Sony Corporation Method and apparatus for AD conversion, semiconductor device for detecting distribution of physical quantity, and electronic apparatus
US7518143B2 (en) 2004-02-27 2009-04-14 National University Corporation Tohoku University Solid-state imaging device, line sensor and optical sensor and method of operating solid-state imaging device
JP4317115B2 (ja) 2004-04-12 2009-08-19 国立大学法人東北大学 固体撮像装置、光センサおよび固体撮像装置の動作方法
GB0412296D0 (en) 2004-06-02 2004-07-07 Council Cent Lab Res Councils Imaging device
US7508431B2 (en) 2004-06-17 2009-03-24 Hoya Corporation Solid state imaging device
JP4349232B2 (ja) 2004-07-30 2009-10-21 ソニー株式会社 半導体モジュール及びmos型固体撮像装置
CN101010944B (zh) 2004-09-02 2010-06-16 索尼株式会社 摄像装置及摄像结果的输出方法
US7659772B2 (en) 2005-01-06 2010-02-09 Nec Corporation Semiconductor integrated circuit device
JP2006197393A (ja) 2005-01-14 2006-07-27 Canon Inc 固体撮像装置、カメラ、及び固体撮像装置の駆動方法
JP4459064B2 (ja) 2005-01-14 2010-04-28 キヤノン株式会社 固体撮像装置、その制御方法及びカメラ
TW201101476A (en) 2005-06-02 2011-01-01 Sony Corp Semiconductor image sensor module and method of manufacturing the same
US20070013983A1 (en) 2005-07-04 2007-01-18 Dai Nippon Printing Co., Ltd. Holographic viewing device, and holographic viewing card incorporating it
KR100775058B1 (ko) 2005-09-29 2007-11-08 삼성전자주식회사 픽셀 및 이를 이용한 이미지 센서, 그리고 상기 이미지센서를 포함하는 이미지 처리 시스템
US7608823B2 (en) 2005-10-03 2009-10-27 Teledyne Scientific & Imaging, Llc Multimode focal plane array with electrically isolated commons for independent sub-array biasing
US7546026B2 (en) 2005-10-25 2009-06-09 Zoran Corporation Camera exposure optimization techniques that take camera and scene motion into account
US7652313B2 (en) 2005-11-10 2010-01-26 International Business Machines Corporation Deep trench contact and isolation of buried photodetectors
JPWO2007097287A1 (ja) 2006-02-20 2009-07-16 パナソニック株式会社 撮像装置及びレンズ鏡筒
US7609079B2 (en) 2006-03-02 2009-10-27 Dialog Semiconductor Gmbh Probeless DC testing of CMOS I/O circuits
US7326903B2 (en) 2006-06-29 2008-02-05 Noble Peak Vision Corp. Mixed analog and digital pixel for high dynamic range readout
JP4855192B2 (ja) 2006-09-14 2012-01-18 富士フイルム株式会社 イメージセンサ及びデジタルカメラ
US7361989B1 (en) 2006-09-26 2008-04-22 International Business Machines Corporation Stacked imager package
US8107751B2 (en) 2007-03-16 2012-01-31 Sharp Laboratories Of America, Inc. DPCM with adaptive range and PCM escape mode
US7839703B2 (en) 2007-06-15 2010-11-23 Micron Technology, Inc. Subtraction circuits and digital-to-analog converters for semiconductor devices
US7825966B2 (en) 2007-06-29 2010-11-02 Omnivision Technologies, Inc. High dynamic range sensor with blooming drain
US7940311B2 (en) 2007-10-03 2011-05-10 Nokia Corporation Multi-exposure pattern for enhancing dynamic range of images
US8426793B1 (en) 2007-10-04 2013-04-23 Geoffrey L. Barrows Vision sensor
EP2063630A1 (en) 2007-11-26 2009-05-27 Thomson Licensing Video capture device with variable shutter integration time
US8369458B2 (en) 2007-12-20 2013-02-05 Ralink Technology Corporation Wireless receiving system with an adaptively configurable analog to digital converter
EP2297783A1 (en) 2008-03-04 2011-03-23 MESA Imaging AG Drift field demodulation pixel with pinned photo diode
EP2104234B1 (en) 2008-03-21 2011-08-31 STMicroelectronics Limited Analog-to-digital conversion in image sensors
US8089035B2 (en) 2008-04-16 2012-01-03 Tower Semiconductor Ltd. CMOS image sensor with high sensitivity wide dynamic range pixel for high resolution applications
JP4661912B2 (ja) 2008-07-18 2011-03-30 ソニー株式会社 固体撮像素子およびカメラシステム
US7795650B2 (en) 2008-12-09 2010-09-14 Teledyne Scientific & Imaging Llc Method and apparatus for backside illuminated image sensors using capacitively coupled readout integrated circuits
EP2234387B8 (en) 2009-03-24 2012-05-23 Sony Corporation Solid-state imaging device, driving method of solid-state imaging device, and electronic apparatus
JP5306269B2 (ja) 2009-06-25 2013-10-02 キヤノン株式会社 光干渉断層法を用いる撮像装置及び撮像方法
US8569807B2 (en) 2009-09-01 2013-10-29 Taiwan Semiconductor Manufacturing Company, Ltd. Backside illuminated image sensor having capacitor on pixel region
CN102334293B (zh) 2009-09-11 2014-12-10 松下电器产业株式会社 模拟/数字变换器、图像传感器系统、照相机装置
KR101727270B1 (ko) 2009-11-06 2017-04-17 삼성전자주식회사 이미지 센서
KR101111946B1 (ko) 2009-12-17 2012-02-14 엠텍비젼 주식회사 촬상 장치, 이미지 시그널 프로세서 칩 및 칩 간의 메모리 공유 방법
JP2011216966A (ja) * 2010-03-31 2011-10-27 Sony Corp 固体撮像素子および固体撮像素子の駆動方法、並びに電子機器
US8606051B2 (en) 2010-08-16 2013-12-10 SK Hynix Inc. Frame-wise calibration of column-parallel ADCs for image sensor array applications
KR20120029840A (ko) 2010-09-17 2012-03-27 삼성전자주식회사 이미지 센서의 구동 방법
WO2012043867A1 (en) 2010-09-30 2012-04-05 Canon Kabushiki Kaisha Solid-state imaging apparatus
US8576276B2 (en) 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
KR101710481B1 (ko) * 2010-11-29 2017-02-28 삼성전자주식회사 Cds 회로, 이의 동작 방법, 및 이를 포함하는 장치들
TWI462265B (zh) 2010-11-30 2014-11-21 Ind Tech Res Inst 影像擷取裝置
KR101754131B1 (ko) 2010-12-01 2017-07-06 삼성전자주식회사 샘플링 회로와 광감지 장치
US8294077B2 (en) 2010-12-17 2012-10-23 Omnivision Technologies, Inc. Image sensor having supplemental capacitive coupling node
US8847136B2 (en) 2011-01-02 2014-09-30 Pixim, Inc. Conversion gain modulation using charge sharing pixel
US8717467B2 (en) 2011-01-25 2014-05-06 Aptina Imaging Corporation Imaging systems with array cameras for depth sensing
US8674282B2 (en) 2011-03-25 2014-03-18 Aptina Imaging Corporation Pumped pinned photodiode pixel array
KR101251744B1 (ko) 2011-04-13 2013-04-05 엘지이노텍 주식회사 Wdr 픽셀 어레이, 이를 포함하는 wdr 이미징 장치 및 그 구동방법
KR101241704B1 (ko) 2011-04-14 2013-03-19 엘지이노텍 주식회사 픽셀, 픽셀 어레이, 이를 포함하는 이미지센서 및 그 구동방법
US8637800B2 (en) 2011-04-19 2014-01-28 Altasens, Inc. Image sensor with hybrid heterostructure
US8575531B2 (en) 2011-04-26 2013-11-05 Aptina Imaging Corporation Image sensor array for back side illumination with global shutter using a junction gate photodiode
JP5808162B2 (ja) 2011-06-23 2015-11-10 キヤノン株式会社 撮像素子、撮像装置及び撮像素子の駆動方法
JP5868065B2 (ja) 2011-08-05 2016-02-24 キヤノン株式会社 撮像装置
JP5901186B2 (ja) 2011-09-05 2016-04-06 キヤノン株式会社 固体撮像装置及びその駆動方法
US20130056809A1 (en) 2011-09-07 2013-03-07 Duli Mao Image Sensor with Reduced Noiseby Blocking Nitridation Over Selected Areas
US8461660B2 (en) 2011-09-30 2013-06-11 Omnivision Technologies, Inc. CMOS image sensor with reset shield line
JP2013084785A (ja) 2011-10-11 2013-05-09 Sony Corp 固体撮像装置、撮像装置
US8804021B2 (en) 2011-11-03 2014-08-12 Omnivision Technologies, Inc. Method, apparatus and system for providing improved full well capacity in an image sensor pixel
JP5963421B2 (ja) 2011-11-17 2016-08-03 オリンパス株式会社 固体撮像装置および撮像装置
KR20130062188A (ko) 2011-12-02 2013-06-12 삼성전자주식회사 이미지 센서 및 이를 포함하는 이미지 처리 장치
KR101801339B1 (ko) 2011-12-07 2017-11-27 한국전자통신연구원 고속 광대역 주파수 비교 장치
US8754798B2 (en) 2011-12-21 2014-06-17 Realtek Semiconductor Corp. High-speed successive-approximation-register analog-to-digital converter and method thereof
US9531990B1 (en) 2012-01-21 2016-12-27 Google Inc. Compound prediction using multiple sources or prediction modes
CN103258829A (zh) 2012-02-16 2013-08-21 索尼公司 固态成像装置、图像传感器及其制造方法以及电子设备
JP6004664B2 (ja) * 2012-02-17 2016-10-12 キヤノン株式会社 光電変換装置、光電変換装置の駆動方法
JP6164846B2 (ja) 2012-03-01 2017-07-19 キヤノン株式会社 撮像装置、撮像システム、撮像装置の駆動方法
JP5965674B2 (ja) 2012-03-05 2016-08-10 オリンパス株式会社 固体撮像装置および撮像装置
US8569700B2 (en) 2012-03-06 2013-10-29 Omnivision Technologies, Inc. Image sensor for two-dimensional and three-dimensional image capture
TW201340708A (zh) * 2012-03-19 2013-10-01 Sony Corp 固體攝像裝置及電子機器
EP2833619B1 (en) 2012-03-30 2023-06-07 Nikon Corporation Image pickup element and image pickup device
US8957358B2 (en) 2012-04-27 2015-02-17 Taiwan Semiconductor Manufacturing Company, Ltd. CMOS image sensor chips with stacked scheme and methods for forming the same
US9270906B2 (en) 2012-05-02 2016-02-23 Semiconductor Components Industries, Llc Exposure time selection using stacked-chip image sensors
US8779346B2 (en) 2012-05-14 2014-07-15 BAE Systems Imaging Solutions Inc. Digital pixel sensor with reduced noise
JP5885608B2 (ja) 2012-07-23 2016-03-15 株式会社東芝 固体撮像装置
JP6071315B2 (ja) 2012-08-08 2017-02-01 オリンパス株式会社 固体撮像装置および撮像装置
US9531961B2 (en) 2015-05-01 2016-12-27 Duelight Llc Systems and methods for generating a digital image using separate color and intensity data
US9185273B2 (en) 2012-09-19 2015-11-10 Semiconductor Components Industries, Llc Imaging pixels with improved dynamic range
US9343497B2 (en) 2012-09-20 2016-05-17 Semiconductor Components Industries, Llc Imagers with stacked integrated circuit dies
US9094612B2 (en) 2012-09-25 2015-07-28 Semiconductor Components Industries, Llc Back side illuminated global shutter image sensors with back side charge storage
US9478579B2 (en) 2012-10-16 2016-10-25 Omnivision Technologies, Inc. Stacked chip image sensor with light-sensitive circuit elements on the bottom chip
ES2476115B1 (es) 2012-12-11 2015-04-20 Consejo Superior De Investigaciones Científicas (Csic) Metodo y dispositivo para la deteccion de la variacion temporal de la intensidad luminosa en una matriz de fotosensores
US9153616B2 (en) 2012-12-26 2015-10-06 Olympus Corporation Solid-state imaging device and imaging device with circuit elements distributed on multiple substrates, method of controlling solid-state imaging device, and imaging device with circuit elements distributed on multiple substrates
US8773562B1 (en) 2013-01-31 2014-07-08 Apple Inc. Vertically stacked image sensor
KR20140104169A (ko) 2013-02-20 2014-08-28 삼성전자주식회사 이미지 센서 및 이를 포함하는 컴퓨팅 시스템
JP6164869B2 (ja) * 2013-02-26 2017-07-19 キヤノン株式会社 撮像装置、撮像システム、撮像装置の駆動方法
JP2014236183A (ja) 2013-06-05 2014-12-15 株式会社東芝 イメージセンサ装置及びその製造方法
JP6188451B2 (ja) * 2013-06-27 2017-08-30 オリンパス株式会社 アナログデジタル変換器および固体撮像装置
TWI659652B (zh) 2013-08-05 2019-05-11 新力股份有限公司 攝像裝置、電子機器
JP5604703B1 (ja) 2013-09-10 2014-10-15 弘一 関根 固体撮像装置
US10043843B2 (en) 2013-10-01 2018-08-07 Forza Silicon Corporation Stacked photodiodes for extended dynamic range and low light color discrimination
JP6394056B2 (ja) 2013-11-27 2018-09-26 ソニー株式会社 A/d変換装置、グレイコード生成装置、撮像素子、並びに、電子機器
KR102210539B1 (ko) * 2013-12-26 2021-02-01 삼성전자주식회사 상관 이중 샘플링 회로, 이를 포함하는 아날로그-디지털 컨버터, 및 이미지 센서
KR102130611B1 (ko) * 2013-12-31 2020-07-06 삼성전자주식회사 아날로그-디지털 변환 회로, 이를 포함하는 이미지 센서 및 이미지 센서의 동작 방법
KR102159261B1 (ko) 2014-01-21 2020-09-23 삼성전자 주식회사 출력신호를 보정할 수 있는 이미지 센서
JP2015146364A (ja) 2014-02-03 2015-08-13 ソニー株式会社 固体撮像素子、固体撮像素子の駆動方法、固体撮像素子の製造方法および電子機器
US9832409B2 (en) 2014-02-07 2017-11-28 National University Corporation Shizuoka University Image sensor
CN105981370B (zh) 2014-02-07 2019-07-19 拉姆伯斯公司 馈通补偿图像传感器
KR102245973B1 (ko) 2014-02-17 2021-04-29 삼성전자주식회사 상관 이중 샘플링 회로 및 이를 포함하는 이미지 센서
JP6278730B2 (ja) 2014-02-20 2018-02-14 オリンパス株式会社 固体撮像装置および撮像システム
FR3018653B1 (fr) * 2014-03-11 2016-03-04 E2V Semiconductors Procede de capture d'image avec reduction de courant d'obscurite et faible consommation
EP2924979B1 (en) 2014-03-25 2023-01-18 IMEC vzw Improvements in or relating to imaging sensors
TWI656631B (zh) 2014-03-28 2019-04-11 日商半導體能源研究所股份有限公司 攝像裝置
US20150287766A1 (en) 2014-04-02 2015-10-08 Tae-Chan Kim Unit pixel of an image sensor and image sensor including the same
US9531976B2 (en) 2014-05-29 2016-12-27 Semiconductor Components Industries, Llc Systems and methods for operating image sensor pixels having different sensitivities and shared charge storage regions
JP2015230355A (ja) 2014-06-04 2015-12-21 リコーイメージング株式会社 撮像装置および撮像素子
JP2015231046A (ja) 2014-06-09 2015-12-21 株式会社東芝 固体撮像装置
JP6406888B2 (ja) * 2014-06-17 2018-10-17 キヤノン株式会社 アナログデジタル変換回路の駆動方法、アナログデジタル変換回路、撮像装置、撮像システム、アナログデジタル変換回路の検査方法
US9699393B2 (en) 2014-06-26 2017-07-04 Semiconductor Components Industries, Llc Imaging systems for infrared and visible imaging with patterned infrared cutoff filters
KR102134636B1 (ko) 2014-07-14 2020-07-16 삼성전자주식회사 이미지 센서의 단위 픽셀 및 이를 포함하는 이미지 센서
US9432597B2 (en) 2014-07-25 2016-08-30 Rambus Inc. Low-noise, high dynamic-range image sensor
US9837457B2 (en) 2014-07-25 2017-12-05 Semiconductor Energy Laboratory Co., Ltd. Imaging device
US9344658B2 (en) 2014-07-31 2016-05-17 Omnivision Technologies, Inc. Negative biased substrate for pixels in stacked image sensors
JP6522919B2 (ja) * 2014-10-15 2019-05-29 オリンパス株式会社 撮像素子、撮像装置
US9325335B1 (en) * 2014-10-24 2016-04-26 Teledyne Scientific & Imaging, Llc Comparator circuits with local ramp buffering for a column-parallel single slope ADC
JP2016092661A (ja) * 2014-11-07 2016-05-23 ソニー株式会社 撮像素子および駆動方法、並びに電子機器
US9560296B2 (en) * 2014-12-05 2017-01-31 Qualcomm Incorporated Pixel readout architecture for full well capacity extension
KR102410019B1 (ko) 2015-01-08 2022-06-16 삼성전자주식회사 이미지 센서
US9515105B2 (en) 2015-02-18 2016-12-06 Semiconductor Components Industries, Llc Dual photodiode image pixels with preferential blooming path
US9524994B2 (en) 2015-04-14 2016-12-20 Semiconductor Components Industries, Llc Image sensor pixels with multiple compartments
US9819882B2 (en) 2015-06-05 2017-11-14 Caeleste Cvba Global shutter high dynamic range sensor
US9848142B2 (en) 2015-07-10 2017-12-19 Semiconductor Components Industries, Llc Methods for clocking an image sensor
TWI704811B (zh) 2015-07-27 2020-09-11 日商新力股份有限公司 固體攝像裝置及其控制方法、以及電子機器
KR102460175B1 (ko) 2015-08-21 2022-10-28 삼성전자주식회사 쉐어드 픽셀 및 이를 포함하는 이미지 센서
US10014333B2 (en) 2015-08-26 2018-07-03 Semiconductor Components Industries, Llc Back-side illuminated pixels with interconnect layers
US9909922B2 (en) 2015-09-03 2018-03-06 Johnson & Johnson Vision Care, Inc. Anti-aliasing photodetector system
US9948875B2 (en) 2015-10-01 2018-04-17 Semiconductor Components Industries, Llc High dynamic range imaging pixels with improved readout
US11297258B2 (en) 2015-10-01 2022-04-05 Qualcomm Incorporated High dynamic range solid state image sensor and camera system
US9654712B2 (en) 2015-10-07 2017-05-16 Semiconductor Components Industries, Llc Pixels with a global shutter and high dynamic range
KR102433575B1 (ko) 2015-10-12 2022-08-19 삼성전자주식회사 이미지 센서
US9936151B2 (en) 2015-10-16 2018-04-03 Capsovision Inc Single image sensor for capturing mixed structured-light images and regular images
CN108391450B (zh) 2015-10-21 2022-07-01 赫普塔冈微光有限公司 解调像素元件、像素元件阵列以及结合它们的光电元件
US9818777B2 (en) 2015-11-12 2017-11-14 Stmicroelectronics (Research & Development) Limited Hybrid analog-digital pixel implemented in a stacked configuration
US9991306B2 (en) 2015-12-10 2018-06-05 Semiconductor Components Industries, Llc Hybrid bonded image sensor and method of operating such image sensor
US10998367B2 (en) * 2016-03-29 2021-05-04 Nikon Corporation Image sensor and image-capturing apparatus
CN108886048B (zh) 2016-03-31 2022-12-16 索尼公司 摄像装置、摄像装置的制造方法和电子装置
US10015416B2 (en) 2016-05-24 2018-07-03 Semiconductor Components Industries, Llc Imaging systems with high dynamic range and phase detection pixels
US9900117B2 (en) 2016-05-27 2018-02-20 Nxp Usa, Inc. Communication unit receiver, integrated circuit and method for ADC dynamic range selection
WO2017214391A1 (en) 2016-06-08 2017-12-14 Invisage Technologies, Inc. Image sensors with electronic shutter
EP3258683A1 (en) 2016-06-13 2017-12-20 ams AG Image sensor and method for operating an image sensor
US20170366766A1 (en) 2016-06-16 2017-12-21 Semiconductor Components Industries, Llc Image sensors having high dynamic range functionalities
US9967496B2 (en) 2016-06-30 2018-05-08 Sony Corporation Active reset circuit for reset spread reduction in single-slope ADC
JP7125345B2 (ja) 2016-07-06 2022-08-24 ソニーセミコンダクタソリューションズ株式会社 撮像素子、撮像素子の製造方法、及び、電子機器
IL246796B (en) 2016-07-14 2020-05-31 Semi Conductor Devices An Elbit Systems Rafael Partnership Two-color light sensor and method
US9979912B2 (en) 2016-09-12 2018-05-22 Semiconductor Components Industries, Llc Image sensors with power supply noise rejection capabilities
US9800260B1 (en) 2016-11-04 2017-10-24 Analog Devices Global Method and apparatus to increase dynamic range in delta-sigma ADC using internal feedback across all integrators in loop-filter
KR102694967B1 (ko) 2016-12-21 2024-08-14 에스케이하이닉스 주식회사 아날로그-디지털 변환 장치 및 그에 따른 씨모스 이미지 센서
EP3574470A4 (en) 2017-01-25 2020-07-29 BAE Systems Imaging Solutions Inc. EXTENDED DYNAMIC RANGE IMAGING NETWORK
US20180220093A1 (en) 2017-02-01 2018-08-02 Renesas Electronics Corporation Image sensor
US10419701B2 (en) 2017-06-26 2019-09-17 Facebook Technologies, Llc Digital pixel image sensor
US10686996B2 (en) 2017-06-26 2020-06-16 Facebook Technologies, Llc Digital pixel with extended dynamic range
US10750097B2 (en) 2017-08-14 2020-08-18 Facebooke Technologies, Llc Varying exposure time of pixels in photo sensor using motion prediction
US10825854B2 (en) 2017-08-16 2020-11-03 Facebook Technologies, Llc Stacked photo sensor assembly with pixel level interconnect
US10608101B2 (en) 2017-08-16 2020-03-31 Facebook Technologies, Llc Detection circuit for photo sensor with stacked substrates
US10598546B2 (en) 2017-08-17 2020-03-24 Facebook Technologies, Llc Detecting high intensity light in photo sensor
JP7039236B2 (ja) 2017-09-29 2022-03-22 キヤノン株式会社 逐次比較型ad変換器、撮像装置、撮像システム、移動体
JP6929750B2 (ja) 2017-09-29 2021-09-01 キヤノン株式会社 撮像装置、撮像システム、移動体
JP7100439B2 (ja) 2017-10-20 2022-07-13 ブリルニクス シンガポール プライベート リミテッド 固体撮像装置、固体撮像装置の駆動方法、および電子機器
US11393867B2 (en) 2017-12-06 2022-07-19 Facebook Technologies, Llc Multi-photodiode pixel cell
US10827142B2 (en) 2018-03-02 2020-11-03 Facebook Technologies, Llc Digital pixel array with adaptive exposure
US11233085B2 (en) 2018-05-09 2022-01-25 Facebook Technologies, Llc Multi-photo pixel cell having vertical gate structure
US10834344B2 (en) 2018-06-09 2020-11-10 Facebook Technologies, Llc Digital pixel with extended dynamic range
US11089210B2 (en) 2018-06-11 2021-08-10 Facebook Technologies, Llc Configurable image sensor
US11463636B2 (en) 2018-06-27 2022-10-04 Facebook Technologies, Llc Pixel sensor having multiple photodiodes
US11956413B2 (en) 2018-08-27 2024-04-09 Meta Platforms Technologies, Llc Pixel sensor having multiple photodiodes and shared comparator

Also Published As

Publication number Publication date
US20200007807A1 (en) 2020-01-02
US20180376090A1 (en) 2018-12-27
US10419701B2 (en) 2019-09-17
CN110999278A (zh) 2020-04-10
JP2020526098A (ja) 2020-08-27
CN110999278B (zh) 2022-06-21
KR102525828B1 (ko) 2023-04-26
EP3425353A1 (en) 2019-01-09
US10951849B2 (en) 2021-03-16
WO2019005749A1 (en) 2019-01-03
KR20200013792A (ko) 2020-02-07

Similar Documents

Publication Publication Date Title
JP2023029852A (ja) デジタル画素画像センサ
JP7237023B2 (ja) 拡張ダイナミックレンジを有するデジタルピクセル
TWI794508B (zh) 可組態影像感測器
CN112369013B (zh) 全局快门图像传感器
US11974044B2 (en) Pixel sensor having adaptive exposure time
JP7279082B2 (ja) 拡張されたダイナミックレンジをもつデジタルピクセル
EP3815354A1 (en) Pixel sensor having multiple photodiodes
US11943561B2 (en) Non-linear quantization at pixel sensor
TWI810312B (zh) 用於量測具有經擴展之動態範圍的數位像素之光強度的設備和方法
WO2020046862A1 (en) Pixel sensor having multiple photodiodes and shared comparator
WO2020097004A1 (en) Image sensor post processing
TW202011735A (zh) 影像感測器後處理
TWI772462B (zh) 數位像素影像感測器

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221216

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240227

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240917