JP2021526323A - 画像センサー後処理 - Google Patents

Abstract

一例では、装置が提供される。本装置は、第１の関係に基づいて、入射光の第１の強度を表すための第１の生出力を生成することと、第２の関係に基づいて、入射光の第２の強度を表すための第２の生出力を生成することとを行うように構成された画像センサーを備える。本装置は、第１の生出力に基づいておよび第１の関係に基づいて、第１の後処理された出力を生成することであって、したがって、第１の後処理された出力が、第３の関係に基づいて第１の強度に線形的に関係付けられる、第１の後処理された出力を生成することと、第２の生出力に基づいておよび第２の関係に基づいて、第２の後処理された出力を生成することであって、したがって、第２の後処理された出力が、第３の関係に基づいて第２の強度に線形的に関係付けられる、第２の後処理された出力を生成することとを行うように構成されたポストプロセッサをさらに備える。【選択図】図１７

Description

関連出願
本特許出願は、その全体がすべての目的のために参照により本明細書に組み込まれる、２０１８年６月８日に出願された、「ＭＥＴＨＯＤ ＡＮＤ ＳＹＳＴＥＭ ＦＯＲ ＰＲＯＣＥＳＳＩＮＧ ＮＯＮ−ＬＩＮＥＡＲ ＯＵＴＰＵＴ ＯＦ ＰＩＸＥＬ ＳＥＮＳＯＲＳ」と題する米国仮特許出願第６２／６８２，６２７号、および２０１９年６月５日に出願された、「ＩＭＡＧＥ ＳＥＮＳＯＲ ＰＯＳＴ ＰＲＯＣＥＳＳＩＮＧ」と題する米国特許出願第１６／４３２，０７２号の優先権を主張する。

本開示は、一般に画像センサーに関し、より詳細には、画像生成のために光強度を決定するためのインターフェース回路要素を含むピクセルセル構造に関する。

一般的な画像センサーは、光子を電荷（たとえば、電子または正孔）に変換することによって入射光を検知するためのフォトダイオードを含む。画像センサーは、積分期間中にフォトダイオードによって生成された電荷を収集するためのキャパシタとして構成されたフローティングノードをさらに含む。収集された電荷は、キャパシタにおいて電圧を生じさせることができる。電圧は、バッファされ、アナログデジタル変換器（ＡＤＣ）に与えられ得、ＡＤＣは、電圧を、入射光の強度を表すデジタル値に量子化することができる。画像センサーは、異なる光強度のための複数のデジタル値を生成することができる。デジタル値は、画像特徴抽出、深度検知、ロケーション決定など、様々なアプリケーションをサポートするために提供され得る。

本開示は、画像センサーに関する。より詳細には、限定はしないが、本開示は、ピクセルセルに関する。本開示はまた、ピクセルセルによって生成されたデータの後処理に関する。

本開示は、入射光の強度を測定するための装置を提供する。一例では、本装置は、画像センサーとポストプロセッサとを備える。画像センサーは、第１の関係に基づいて、入射光の第１の強度を表すための第１の生出力を生成することと、第２の関係に基づいて、入射光の第２の強度を表すための第２の生出力を生成することとを行うように構成される。ポストプロセッサは、第１の生出力に基づいておよび第１の関係に基づいて、第１の後処理された出力を生成することであって、したがって、第１の後処理された出力が、第３の関係に基づいて第１の強度に線形的に関係付けられる、第１の後処理された出力を生成することと、第２の生出力に基づいておよび第２の関係に基づいて、第２の後処理された出力を生成することであって、したがって、第２の後処理された出力が、第３の関係に基づいて第２の強度に線形的に関係付けられる、第２の後処理された出力を生成することとを行うように構成される。

いくつかの態様では、第１の生出力と第１の強度との間の第１の関係は、第１の強度範囲に関連付けられる。第２の生出力と第２の強度との間の第２の関係は、第２の強度範囲に関連付けられる。第３の関係は、第１の強度範囲と第２の強度範囲とを含む第３の強度範囲に関連付けられる。

いくつかの態様では、画像センサーは、フォトダイオードと電荷貯蔵ユニットとを備える。フォトダイオードは、積分期間内に、入射光に応答して電荷を生成することと、フォトダイオードが飽和するまで、電荷の少なくとも一部を残留電荷として蓄積することとを行うように構成される。電荷貯蔵ユニットは、電荷貯蔵ユニットが飽和するまで、残りの電荷をオーバーフロー電荷として蓄積するように構成される。

いくつかの態様では、第３の関係は、積分期間内にフォトダイオードによって生成された電荷の推定された量に、後処理された出力を線形的に関係付ける。

いくつかの態様では、第１の生出力は、積分期間が終了する前に電荷貯蔵ユニットが飽和する飽和時間を測定する。第２の生出力は、積分期間内に電荷貯蔵ユニットによって蓄積されたオーバーフロー電荷の量を測定する。

いくつかの態様では、ポストプロセッサは、飽和時間に基づいて、電荷貯蔵ユニットによるオーバーフロー電荷の蓄積のレートを決定することと、オーバーフロー電荷の蓄積のレートと積分期間とに基づいて、積分期間内にフォトダイオードによって生成された電荷の推定された量を決定することと、電荷の推定された量に基づいて第１の後処理された出力を決定することとを行うように構成される。

いくつかの態様では、ポストプロセッサは、積分期間内に電荷貯蔵ユニットによって受け取られた暗電流の第１の量とフォトダイオードによって受け取られた暗電流の第２の量とに基づいて、電荷の推定された量を決定するように構成される。

いくつかの態様では、ポストプロセッサは、電荷貯蔵ユニットの第１の電荷貯蔵容量とフォトダイオードの第２の電荷貯蔵容量とに基づいて、オーバーフロー電荷の蓄積のレートを決定するように構成される。

いくつかの態様では、ポストプロセッサは、第２の生出力とフォトダイオードの電荷貯蔵容量とに基づいて、電荷の推定された量を決定することと、電荷の推定された量に基づいて第２の後処理された出力を決定することとを行うように構成される。

いくつかの態様では、ポストプロセッサは、積分期間内に電荷貯蔵ユニットによって受け取られた暗電流の第１の量とフォトダイオードによって受け取られた暗電流の第２の量とに基づいて、電荷の推定された量を決定するように構成される。

いくつかの態様では、第１の生出力は、積分期間内に電荷貯蔵ユニットによって蓄積されたオーバーフロー電荷の量を測定する。第２の生出力は、積分期間内にフォトダイオードによって蓄積された残留電荷の量を測定する。

いくつかの態様では、画像センサーは、入射光の第３の強度を表すための第３の生出力を生成することであって、第３の生出力は、電荷貯蔵ユニットが飽和する飽和時間を測定し、第４の関係に基づいて入射光の第３の強度に関係付けられる、第３の生出力を生成することを行うように構成される。ポストプロセッサは、第３の生出力に基づいておよび第４の関係に基づいて、第３の後処理された出力を生成することであって、したがって、第３の後処理された出力が、第３の関係に基づいて第３の強度に線形的に関係付けられる、第３の後処理された出力を生成することを行うように構成される。

いくつかの態様では、電荷貯蔵ユニットは、構成可能な電荷貯蔵容量を有する。画像センサーは、第１の生出力を生成するために、第１の電荷貯蔵容量を有する電荷貯蔵ユニットにおいてオーバーフロー電荷を貯蔵するように構成される。画像センサーは、第２の生出力を生成するために、フォトダイオードから、第２の電荷貯蔵容量を有する電荷貯蔵ユニットに残留電荷を転送するように構成される。第１の後処理された出力は、第１の電荷貯蔵容量と第２の電荷貯蔵容量とに基づいて生成される。

いくつかの態様では、第１の後処理された出力は、積分期間内に電荷貯蔵ユニットによって受け取られた暗電流の第１の量とフォトダイオードによって受け取られた暗電流の第２の量とに基づいて生成される。第２の後処理された出力は、積分期間内にフォトダイオードによって受け取られた暗電流の第２の量に基づいて生成される。

いくつかの態様では、ポストプロセッサは、第１の生出力を第１の後処理された出力にマッピングし、第２の生出力を第２の後処理された出力にマッピングする、１つまたは複数のルックアップテーブルを備える。ポストプロセッサは、１つまたは複数のルックアップテーブルに基づいて第１の後処理された出力と第２の後処理された出力とを生成するように構成される。

いくつかの態様では、１つまたは複数のルックアップテーブルは、第１の生出力を第１の後処理された出力にマッピングする第１のルックアップテーブルと、第２の生出力を第２の後処理された出力にマッピングする第２のルックアップテーブルとを含む。ポストプロセッサは、第１の強度に基づいて第１のルックアップテーブルを選択し、第２の強度に基づいて第２のルックアップテーブルを選択するように構成される。

いくつかの態様では、第１の生出力および第２の生出力は、非一様量子化プロセスに基づいて生成される。

いくつかの例では、方法が提供される。本方法は、画像センサーによって、第１の関係に基づいて、入射光の第１の強度を表すための第１の生出力を生成することと、画像センサーによって、第２の関係に基づいて、入射光の第２の強度を表すための第２の生出力を生成することと、ポストプロセッサによって、第１の生出力に基づいておよび第１の関係に基づいて、第１の後処理された出力を生成することであって、したがって、第１の後処理された出力が、第３の関係に基づいて第１の強度に線形的に関係付けられる、第１の後処理された出力を生成することと、ポストプロセッサによって、第２の生出力に基づいておよび第２の関係に基づいて、第２の後処理された出力を生成することであって、したがって、第２の後処理された出力が、第３の関係に基づいて第２の強度に線形的に関係付けられる、第２の後処理された出力を生成することとを含む。

いくつかの態様では、本方法は、画像センサーによって、入射光の第３の強度を表すための第３の生出力を生成することであって、第３の生出力は、画像センサーの電荷貯蔵ユニットが飽和する飽和時間を測定し、第４の関係に基づいて入射光の第３の強度に関係付けられる、第３の生出力を生成することと、ポストプロセッサによって、第３の生出力に基づいておよび第４の関係に基づいて、第３の後処理された出力を生成することであって、したがって、第３の後処理された出力が、第３の関係に基づいて第３の強度に線形的に関係付けられる、第３の後処理された出力を生成することとをさらに含む。

いくつかの例では、非一時的コンピュータ可読媒体が提供される。本非一時的コンピュータ可読媒体は、ハードウェアプロセッサによって実行されたとき、ハードウェアプロセッサに、画像センサーから、第１の関係に基づいて、入射光の第１の強度を表すための第１の生出力を受け取ることと、画像センサーから、第２の関係に基づいて、入射光の第２の強度を表すための第２の生出力を受け取ることと、第１の生出力に基づいておよび第１の関係に基づいて、第１の後処理された出力を生成することであって、したがって、第１の後処理された出力が、第３の関係に基づいて第１の強度に線形的に関係付けられる、第１の後処理された出力を生成することと、第２の生出力に基づいておよび第２の関係に基づいて、第２の後処理された出力を生成することであって、したがって、第２の後処理された出力が、第３の関係に基づいて第２の強度に線形的に関係付けられる、第２の後処理された出力を生成することとを行わせる、命令を記憶する。

以下の図を参照しながら、例示的な実施形態が説明される。

ニアアイディスプレイ（ｎｅａｒ−ｅｙｅ ｄｉｓｐｌａｙ）の一実施形態の図である。 ニアアイディスプレイの断面の一実施形態の図である。 単一のソースアセンブリ（ｓｏｕｒｃｅ ａｓｓｅｍｂｌｙ）をもつ導波路ディスプレイ（ｗａｖｅｇｕｉｄｅ ｄｉｓｐｌａｙ）の一実施形態の等角図である。 導波路ディスプレイの一実施形態の断面を示す図である。 ニアアイディスプレイを含むシステムの一実施形態のブロック図である。 ピクセルセルの実施形態のブロック図である。 図６の実施形態による、異なる範囲の光強度を決定するための動作を示す図である。 図６のピクセルセルの内部構成要素の例を示す図である。 光強度を決定するための例示的な方法を示す図である。 量子化を実施するための技法を示す図である。 ピクセルセルの一実施形態のブロック図である。 光強度測定を実施するための制御信号の例示的なシーケンスを示す図である。 画像センサーの出力と入射光強度との間の関係の例を示す図である。 画像センサー出力の後処理を実施するための例示的なシステムを示す図である。 様々な測定モードについて、蓄積された電荷の量と時間との間の関係の例を示す図である。 画像センサー出力を後処理するためのシステムの例を示す図である。 光強度を測定するための例示的なプロセスのフローチャートである。

図は、単に説明の目的で本開示の実施形態を示す。本開示の原理またはうたわれている利益から逸脱することなく、示される構造および方法の代替実施形態が採用され得ることを、当業者は以下の説明から容易に認識されよう。

添付の図において、同様の構成要素および／または特徴は、同じ参照ラベルを有し得る。さらに、同じタイプの様々な構成要素は、同様の構成要素間を区別するダッシュおよび第２のラベルを参照ラベルの後に続けることによって区別され得る。第１の参照ラベルのみが明細書において使用される場合、説明は、第２の参照ラベルには関係なく同じ第１の参照ラベルを有する同様の構成要素のいずれか１つに適用可能である。

以下の説明では、説明の目的で、いくつかの発明の実施形態の完全な理解を提供するために、具体的な詳細が記載される。ただし、様々な実施形態がこれらの具体的な詳細なしに実施され得ることは明らかであろう。図および説明は、限定するものではない。

一般的な画像センサーは、光子を電荷（たとえば、電子または正孔）に変換することによって入射光を検知するためのフォトダイオードを含む。画像センサーは、積分期間中にフォトダイオードによって生成された電荷を収集するためのキャパシタとして構成されたフローティングノードをさらに含む。収集された電荷は、キャパシタにおいて電圧を生じさせることができる。電圧は、バッファされ、アナログデジタル変換器（ＡＤＣ）に与えられ得、ＡＤＣは、電圧を、入射光の強度を表すデジタル値に変換することができる。

ある期間内にフローティングノードにおいて貯蔵された電荷の量を反映する、ＡＤＣによって生成されたデジタル値は、入射光の強度に相関し得る。しかしながら、相関の程度は、異なる要因によって影響を及ぼされ得る。第１に、フローティングノードに貯蔵された電荷の量は、フローティングノードが飽和限界に達するまで、入射光の強度に直接関係し得る。飽和限界を超えると、フローティングノードは、フォトダイオードによって生成された追加の電荷を受け入れることができないことがあり、追加の電荷は、漏洩され、貯蔵されないことがある。その結果、フローティングノードにおいて貯蔵された電荷の量は、フォトダイオードによって実際に生成された電荷の量よりも少なくなり得る。飽和限界は、画像センサーの測定可能な光強度の上限を決定し得る。

また、様々な要因が、画像センサーの測定可能な光強度の下限を設定することがある。たとえば、フローティングノードにおいて収集された電荷は、入射光の強度に関係しない雑音電荷、ならびに暗電流によってもたらされる暗電荷を含み得る。暗電流は、結晶欠陥により、フォトダイオードのｐｎ接合においておよびキャパシタに接続された他の半導体デバイスのｐｎ接合において生成される、漏洩電流を含むことがある。暗電流は、キャパシタ中に流れ、入射光の強度に相関されない電荷を追加することがある。フォトダイオードにおいて生成される暗電流は、一般的に、他の半導体デバイスにおいて生成される暗電流よりも小さい。雑音電荷の別のソースは、他の回路要素との容量結合であり得る。たとえば、ＡＤＣ回路要素が、フローティングノードに貯蔵された電荷の量を決定するための読取り動作を実施するとき、ＡＤＣ回路要素は、容量結合を通してフローティングノードに雑音電荷を導入することがある。

雑音電荷のほかに、ＡＤＣは、電荷の量を決定する際の測定誤差をも導入することがある。測定誤差は、デジタル出力と入射光の強度との間の相関の程度を低下させることがある。測定誤差の１つのソースは量子化誤差である。量子化プロセスにおいて、電荷の量の連続セットを表すために、量レベルの離散セットが使用され、各量レベルは、電荷の所定の量を表すことができる。ＡＤＣは、電荷の入力量を量レベルと比較し、入力量に最も近い量レベルを決定し、決定された量レベルを（たとえば、量レベルを表すデジタルコードの形式で）出力することができる。量子化誤差は、量レベルによって表される電荷の量と、量レベルにマッピングされる電荷の入力量との間に不一致があるとき、発生することがある。量子化誤差は、（たとえば、２つの隣接する量レベル間の電荷量の差を低減することによって）より小さい量子化ステップサイズを伴って低減され得る。測定誤差の他のソースは、たとえば、電荷の量の測定における不確実性を増やす、（たとえば、ＡＤＣ回路要素の）デバイス雑音と比較器オフセットとをも含み得る。雑音電荷、暗電荷、ならびにＡＤＣ測定誤差は、画像センサーの測定可能な光強度の下限を定義することがあるが、飽和限界は、画像センサーの測定可能な光強度の上限を決定し得る。上限と下限との間の比がダイナミックレンジを定義し、ダイナミックレンジは、画像センサーのための動作光強度の範囲を設定し得る。

画像センサーは、多くの異なるアプリケーションにおいて見られ得る。一例として、画像センサーは、デジタル撮像を提供するためのデジタル撮像デバイス（たとえば、デジタルカメラ、スマートフォンなど）中に含まれる。別の例として、画像センサーは、ウェアラブル仮想現実（ＶＲ）システムならびに／あるいは拡張現実（ＡＲ）および／または複合現実（ＭＲ）システム中のニアアイディスプレイのディスプレイコンテンツを制御するかまたはそのディスプレイコンテンツに影響を与えることなど、デバイスの動作を制御するかまたはデバイスの動作に影響を与えるための入力デバイスとして構成され得る。たとえば、画像センサーは、ユーザが位置する物理的環境の物理的画像データを生成するために使用され得る。物理的画像データは、たとえば、物理的環境におけるユーザのロケーション、ユーザの向き、および／またはユーザの移動の経路を追跡するための同時位置特定およびマッピング（ＳＬＡＭ：ｓｉｍｕｌｔａｎｅｏｕｓ ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ）アルゴリズムを動作させるロケーション追跡システムに提供され得る。画像センサーは、物理的環境におけるユーザと物体との間の距離を測定するためのステレオ深度情報を含む、物理的画像データを生成するためにも使用され得る。画像センサーはまた、近赤外（ＮＩＲ：ｎｅａｒ−ｉｎｆｒａｒｅｄ）センサーとして構成され得る。照明器が、ユーザの眼球にＮＩＲ光のパターンを投影し得る。眼球の内部構造（たとえば、瞳孔）が、ＮＩＲ光から反射パターンを生成し得る。画像センサーは、反射パターンの画像をキャプチャし、その画像を、ユーザの眼球の移動を追跡してユーザの注視点を決定するためのシステムに提供することができる。この物理的画像データに基づいて、ＶＲ／ＡＲ／ＭＲシステムは、ユーザにインタラクティブ体験を提供するために、ニアアイディスプレイを介してユーザに表示するための仮想画像データを生成および更新し得る。たとえば、ＶＲ／ＡＲ／ＭＲシステムは、（物体に対するユーザの関心をシグナリングし得る）ユーザの注視する方向、ユーザのロケーションなどに基づいて仮想画像データを更新し得る。

ウェアラブルＶＲ／ＡＲ／ＭＲシステムは、極めて広範囲の光強度を伴う環境において動作し得る。たとえば、ウェアラブルＶＲ／ＡＲ／ＭＲシステムは、屋内環境または屋外環境において、および／あるいは１日の異なる時間において動作することが可能であり得、ウェアラブルＶＲ／ＡＲ／ＭＲシステムの動作環境の光強度は大幅に変動し得る。その上、ウェアラブルＶＲ／ＡＲ／ＭＲシステムはまた、上述のＮＩＲ眼球追跡システムを含み得、これは、眼球に損傷を与えることを防ぐために、ユーザの眼球に極めて低い強度の光を投影することを必要とし得る。その結果、ウェアラブルＶＲ／ＡＲ／ＭＲシステムの画像センサーは、異なる動作環境に関連する極めて広範囲の光強度にわたって適切に動作すること（たとえば、入射光の強度と相関する出力を生成すること）が可能であるために、広いダイナミックレンジを有する必要があり得る。ウェアラブルＶＲ／ＡＲ／ＭＲシステムの画像センサーは、ユーザのロケーション、向き、注視点などの追跡を可能にするために十分高速で画像を生成する必要もあり得る。比較的限られたダイナミックレンジをもち、比較的低速で画像を生成する画像センサーは、そのようなウェアラブルＶＲ／ＡＲ／ＭＲシステムに好適でないことがある。

本開示は、拡張されたダイナミックレンジを提供することができるピクセルセルに関する。ピクセルセルは、フォトダイオードと、電荷貯蔵ユニットと、フォトダイオードと電荷貯蔵ユニットとの間の転送ゲートとして構成されたトランジスタと、処理回路とを含み得る。フォトダイオードは、積分期間内に、入射光に応答して電荷を生成し、フォトダイオードが飽和するまで、電荷の少なくとも一部を残留電荷として貯蔵することができる。電荷貯蔵ユニットは、トランジスタのフローティングドレイン、金属キャパシタ、金属酸化物半導体（ＭＯＳ）キャパシタ、またはそれらの任意の組合せであり得る。電荷貯蔵ユニットは、第１の電圧を生じさせるために、オーバーフロー電荷を貯蔵することができ、オーバーフロー電荷は、フォトダイオードが飽和し、追加の電荷を貯蔵することができないとき、フォトダイオードから転送される電荷である。電荷貯蔵ユニットはフローティングドレインノード（ｆｌｏａｔｉｎｇ ｄｒａｉｎ ｎｏｄｅ）を含み得る。

処理回路は、積分期間内にフォトダイオードによって受け取られた入射光の強度を、測定の複数のモードを実施することによって測定することができる。測定の第１のモードにおいて、処理回路は、第１の電圧を第１のランピングしきい値電圧と比較することによって量子化プロセスを実施して、第１の判定を生成することができる。第１の判定が、第１の電圧が第１のランピングしきい値電圧を越えることを指示するとき、第１のカウント値が、カウンタからキャプチャされ、メモリに記憶され得る。第１のカウント値は、第１のランピングしきい値電圧が第１の電圧を越えるのにかかった時間の測定値を表すことができ、これは、電荷貯蔵ユニットに貯蔵されたオーバーフロー電荷を量子化した結果をも表すことができる。オーバーフロー電荷の量は、入射光の強度に比例し得る。本開示の残部では、測定の第１のモードは「ＦＤ ＡＤＣ」動作と呼ばれることがある。

処理回路は、測定の第２のモードについて第２の電荷を生じさせるために、フォトダイオードから電荷貯蔵ユニットに残留電荷を転送することができる。測定の第２のモードにおいて、処理回路は、第２の電圧を第２のランピングしきい値電圧と比較することによって別の量子化プロセスを実施して、第２の判定を生成することができる。第２の判定が、第１が第２のランピング基準電圧を越えることを指示するとき、第２のカウント値が、カウンタからキャプチャされ、メモリに記憶され得る。第２のカウント値は、第２のランピングしきい値電圧が第２の電圧を越えるのにかかった時間の測定値を表すことができ、これは、電荷貯蔵ユニットに貯蔵された残留電荷を量子化した結果をも表す。残留電荷の量は、入射光の強度に比例し得る。いくつかの例では、量子化誤差を低減することができる電荷−電圧利得を増加させることを行うために、電荷貯蔵ユニットのキャパシタンスは、残留電荷を貯蔵するときに低減され得る。本開示の残部では、測定の第２のモードは「ＰＤ ＡＤＣ」動作と呼ばれることがある。

いくつかの実施形態では、処理回路は、測定の第３のモードをも実施することができる。測定の第３のモードにおいて、処理回路は、第１の電圧を、電荷貯蔵ユニットの飽和限界を表す静的しきい値電圧と比較して、第３の判定を生成することができる。第３の判定が、電荷貯蔵ユニットが飽和限界に達するかまたは飽和限界を超えることを指示するとき、第３のカウント値が、カウンタからキャプチャされ、メモリに記憶され得る。第３のカウント値は、電荷貯蔵ユニットが飽和されるのにかかった時間の測定値を表すことができ、持続時間は、入射光の強度に反比例し得る。本開示の残部では、測定の第３のモードは、飽和までの時間（ＴＴＳ：ｔｉｍｅ−ｔｏ−ｓａｔｕｒａｔｉｏｎ）測定動作と呼ばれることがある。いくつかの例では、測定の第３のモードは、測定の第１のモードの前に実施され得る。

測定の異なるモードは、異なる光強度範囲を対象にし得、処理回路は、入射光がどの光強度範囲に属するかに基づいて、入射光の強度を表すための、第１のカウント値、第２のカウント値、または第３のカウント値のうちの１つをメモリから出力することができる。測定の第１のモードは、フォトダイオードが全容量に達し、飽和することが予想される、中光強度範囲を対象とし得る。測定の第２のモードは、フォトダイオードが飽和することが予想されない、低光強度範囲を対象とし得る。測定の第３のモードは、電荷貯蔵ユニットが飽和する、高光強度範囲を対象とし得る。入射光の強度範囲に基づいて、処理回路は、入射光の強度を表すための、第１のカウント値、第２のカウント値、または第３のカウント値のうちの１つをメモリから選択することができる。

上記で説明されたマルチモード測定動作は、ピクセルセルによる光強度測定のダイナミックレンジを拡張することができる。詳細には、ＴＴＳ測定動作は、電荷貯蔵ユニットを飽和させる強度レベルを超える高光強度の測定を可能にし、これは、ダイナミックレンジの上限を拡張することができる。その上、ＰＤ ＡＤＣ動作は、低光強度について、フォトダイオードに貯蔵された残留電荷を測定する。フォトダイオードは、一般的に、ごくわずかな暗電流を受け取るので、暗電流によって引き起こされる暗電荷の大きさは、入射光によって引き起こされる実信号に対して小さいままであり得、これは、検出可能な入射光強度を低減し、ダイナミックレンジの下限を押し下げることができる。

マルチモード測定動作は、ピクセルセルのダイナミックレンジを拡張することができるが、測定動作の各モードからの、画像センサーの生出力（たとえば、カウント値）は、カウント値によって表される光強度に対して異なる関係を有することがある。たとえば、ＴＴＳモードからのカウント値は、飽和までの時間を表し、これは、一般的に、入射光強度に反比例するか、または入射光強度に対して少なくとも非線形であるが、ＦＤ ＡＤＣ動作およびＰＤ ＡＤＣ動作からのカウント値は、電荷の量を測定し、概して、入射光強度に対して線形である。その上、ＦＤ ＡＤＣ動作およびＰＤ ＡＤＣ動作からのカウント値は、入射光強度に対して異なる線形関係を有することがある。これは、たとえば、ＦＤ ＡＤＣ動作は、積分期間内にフォトダイオードによって生成された（残留電荷を含む）電荷の全体ではなくオーバーフロー電荷を測定するが、ＰＤ ＡＤＣ動作は、フォトダイオードが飽和しない場合、積分期間内にフォトダイオードによって生成された電荷の全体であり得る残留電荷を測定することによるものであり得る。その上、上記で説明されたように、ＰＤ ＡＤＣ動作のための電荷貯蔵ユニットのキャパシタンスは、電荷−電圧変換レートを増加させるために、および量子化誤差を低減するために、ＦＤ ＡＤＣ動作に対して低減され得る。ＦＤ ＡＤＣ動作とＰＤ ＡＤＣ動作の両方が、電荷貯蔵ユニットにおける電圧を量子化することに基づいて電荷を測定するので、電荷貯蔵ユニットの異なるキャパシタンスにより、ＦＤ ＡＤＣ動作およびＰＤ ＡＤＣ動作のための（光強度を反映する）電荷とカウント値との間に異なる線形関係が生じ得る。

異なる動作モードの間の、カウント値と光強度との間の異なる関係は、カウント値を使用して入射光強度を決定するアプリケーションにとって、問題を提起することがある。アプリケーションは、一般的に、カウント値のみを受け取り、カウント値がどの動作モード（またはどの光強度範囲）に属するかの他の指示を受け取らず、カウント値が、ダイナミックレンジ全体にわたって、光強度に対して一様な関係を有することに依拠し得る。その上、ＳＬＡＭなど、画像特徴抽出に依拠するいくつかのアプリケーションは、隣接ピクセルのカウント値間の差を決定するために、およびその差に基づいて画像特徴を抽出するために、カウント値が、光強度に対して一様な関係を有することに依拠し得る。そのようなアプリケーションは、追加の後処理なしに、上述のマルチモード測定動作から出力されたカウント値で適切に機能することが可能でないことがある。

本開示は、上記の問題点のうちの少なくともいくつかに対処することができるいくつかの技法を提案する。いくつかの例では、装置が、画像センサーとポストプロセッサとを備える。画像センサーは、積分期間内に、入射光に応答して電荷を生成することと、フォトダイオードが飽和するまで、電荷の少なくとも一部を残留電荷として蓄積することとを行うように構成されたフォトダイオードを含み得る。画像センサーは、電荷貯蔵デバイスが飽和するまで、残りの電荷をオーバーフロー電荷として蓄積するように構成された電荷貯蔵ユニットをさらに備え得る。画像センサーは、積分期間内に入射光の強度を表すための生出力を生成するために、残留電荷またはオーバーフロー電荷を量子化するための量子化器をも含み得る。量子化器は、第１の関係に基づいて、入射光の第１の強度を表すための第１の生出力を生成し、第２の関係に基づいて、入射光の第２の強度を表すための第２の生出力を生成することができる。第１の生出力は、たとえば、積分期間が終了する前に電荷貯蔵ユニットがオーバーフロー電荷によって飽和される飽和時間を測定することができ、飽和時間は、第１の関係に基づいて第１の強度に関係付けられる。第２の生出力は、積分期間内に蓄積された電荷の量（たとえば、電荷貯蔵ユニットによって蓄積されたオーバーフロー電荷の量、フォトダイオードによって蓄積された残留電荷の量など）を測定することができ、電荷の量は、第２の関係に基づいて第２の強度に関係付けられる。

ポストプロセッサは、第１の生出力に基づいておよび第１の関係に基づいて、第１の後処理された出力を生成することであって、したがって、第１の後処理された出力が、第３の関係に基づいて第１の強度に線形的に関係付けられる、第１の後処理された出力を生成することを行うことができる。ポストプロセッサは、第２の生出力に基づいておよび第２の関係に基づいて、第２の後処理された出力を生成することであって、したがって、第２の後処理された出力が、第３の関係に基づいて第２の強度に線形的に関係付けられる、第２の後処理された出力を生成することをも行うことができる。

詳細には、第３の関係は、積分期間内にフォトダイオードによって生成された電荷の推定された量に、後処理された出力を線形的に関係付けることができる。第１の後処理された出力を生成するために、ポストプロセッサは、画像センサーからの第１の生出力によって表される飽和時間に基づいて、電荷貯蔵ユニットによるオーバーフロー電荷の蓄積のレートを決定することと、次いで、オーバーフロー電荷の蓄積のレートと積分期間とに基づいて、積分期間内にフォトダイオードによって生成された電荷の推定された量を決定することとを行うことができる。次いで、第１の後処理された出力が、電荷の推定された量に基づいて決定され得る。その上、第２の生出力が、積分期間内に電荷貯蔵ユニットによって蓄積されたオーバーフロー電荷の測定値を表す場合、ポストプロセッサは、第２の生出力をフォトダイオードの電荷貯蔵容量と組み合わせることによって、積分期間内にフォトダイオードによって生成された電荷の推定された量を決定することができる。ポストプロセッサはまた、積分期間内に、電荷貯蔵ユニットによって蓄積された推定された暗電流の量とフォトダイオードによって蓄積された推定された暗電流の量とを加算すること基づいて、電荷の推定された量を決定することができる。その上、画像センサーが、残留電荷の読出しおよび量子化のために電荷貯蔵ユニットの電荷貯蔵容量を低減し、オーバーフロー電荷の読出しおよび量子化のために電荷貯蔵ユニットの電荷貯蔵容量を増加させる場合、オーバーフロー電荷の測定値に基づく生出力は、異なる電荷貯蔵容量を考慮するためにスケーリングされ得る。

いくつかの例では、ポストプロセッサは、上記で説明された技法に基づいて、第１および第２の後処理された出力を生成するためにソフトウェア命令を実行することができる、デジタル信号プロセッサ、汎用中央処理ユニット（ＣＰＵ）など、ハードウェア回路を含むことができる。いくつかの例では、ポストプロセッサは、異なる生出力を異なる後処理された出力にマッピングする１つまたは複数のルックアップテーブル（ＬＵＴ）を含むことができ、ポストプロセッサは、ルックアップテーブル中のマッピングに基づいて第１および第２の後処理された出力を提供することができる。ルックアップテーブルは、たとえば、量子化器が、第１および第２の生出力を生成するために非一様量子化プロセスを採用し、第１の関係と第２の関係とを第３の関係にマッピングするための閉形式解が存在しないとき、使用され得る。

本開示の例は、人工現実システムを含むか、または人工現実システムに関連して実装され得る。人工現実は、ユーザへの提示の前に何らかの様式で調整された形式の現実であり、これは、たとえば、仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）、ハイブリッド現実、あるいはそれらの何らかの組合せおよび／または派生物を含み得る。人工現実コンテンツは、完全に生成されたコンテンツ、またはキャプチャされた（たとえば、現実世界の）コンテンツと組み合わせられた生成されたコンテンツを含み得る。人工現実コンテンツは、ビデオ、オーディオ、触覚フィードバック、またはそれらの何らかの組合せを含み得、それらのいずれも、単一のチャネルまたは複数のチャネルにおいて提示され得る（観察者に３次元効果をもたらすステレオビデオなど）。加えて、いくつかの実施形態では、人工現実は、たとえば、人工現実におけるコンテンツを作り出すために使用される、および／または人工現実において別様に使用される（たとえば、人工現実におけるアクティビティを実施する）アプリケーション、製品、アクセサリ、サービス、またはそれらの何らかの組合せにも関連付けられ得る。人工現実コンテンツを提供する人工現実システムは、ホストコンピュータシステムに接続されたヘッドマウントディスプレイ（ＨＭＤ）、独立型ＨＭＤ、モバイルデバイスまたはコンピューティングシステム、あるいは、１人または複数の観察者に人工現実コンテンツを提供することが可能な任意の他のハードウェアプラットフォームを含む、様々なプラットフォーム上に実装され得る。

図１Ａは、ニアアイディスプレイ１００の一実施形態の図である。ニアアイディスプレイ１００は、ユーザにメディアを提示する。ニアアイディスプレイ１００によって提示されるメディアの例は、１つまたは複数の画像、ビデオ、および／またはオーディオを含む。いくつかの実施形態では、オーディオは、外部デバイス（たとえば、スピーカーおよび／またはヘッドフォン）を介して提示され、この外部デバイスは、ニアアイディスプレイ１００、コンソール、またはその両方からオーディオ情報を受け取り、そのオーディオ情報に基づいてオーディオデータを提示する。ニアアイディスプレイ１００は、概して、仮想現実（ＶＲ）ディスプレイとして動作するように構成される。いくつかの実施形態では、ニアアイディスプレイ１００は、拡張現実（ＡＲ）ディスプレイおよび／または複合現実（ＭＲ）ディスプレイとして動作するように変更される。

ニアアイディスプレイ１００は、フレーム１０５とディスプレイ１１０とを含む。フレーム１０５は、１つまたは複数の光学要素に結合される。ディスプレイ１１０は、ユーザがニアアイディスプレイ１００によって提示されたコンテンツを見るように構成される。いくつかの実施形態では、ディスプレイ１１０は、１つまたは複数の画像からの光をユーザの眼に向けるための導波路ディスプレイアセンブリを備える。

ニアアイディスプレイ１００は、画像センサー１２０ａ、１２０ｂ、１２０ｃ、および１２０ｄをさらに含む。画像センサー１２０ａ、１２０ｂ、１２０ｃ、および１２０ｄの各々は、異なる方向に沿った異なる視野を表す画像データを生成するように構成されたピクセルアレイを含み得る。たとえば、センサー１２０ａおよび１２０ｂは、Ｚ軸に沿った方向Ａに向かう２つの視野を表す画像データを提供するように構成され得、センサー１２０ｃは、Ｘ軸に沿った方向Ｂに向かう視野を表す画像データを提供するように構成され得、センサー１２０ｄは、Ｘ軸に沿った方向Ｃに向かう視野を表す画像データを提供するように構成され得る。

いくつかの実施形態では、センサー１２０ａ〜１２０ｄは、ニアアイディスプレイ１００を装着したユーザにインタラクティブＶＲ／ＡＲ／ＭＲ体験を提供するために、ニアアイディスプレイ１００のディスプレイコンテンツを制御するかまたはニアアイディスプレイ１００のディスプレイコンテンツに影響を与えるための入力デバイスとして構成され得る。たとえば、センサー１２０ａ〜１２０ｄは、ユーザが位置する物理的環境の物理的画像データを生成することができる。物理的画像データは、物理的環境におけるユーザのロケーションおよび／または移動の経路を追跡するためのロケーション追跡システムに提供され得る。システムは、次いで、インタラクティブ体験を提供するために、たとえば、ユーザのロケーションおよび向きに基づいて、ディスプレイ１１０に提供された画像データを更新することができる。いくつかの実施形態では、ロケーション追跡システムは、ユーザが物理的環境内を移動するにつれて、物理的環境におけるおよびユーザの視野内の物体のセットを追跡するために、ＳＬＡＭアルゴリズムを動作させ得る。ロケーション追跡システムは、物体のセットに基づいて物理的環境のマップを構築および更新し、マップ内のユーザのロケーションを追跡することができる。複数の視野に対応する画像データを提供することによって、センサー１２０ａ〜１２０ｄは、ロケーション追跡システムに物理的環境のより全体的なビューを提供することができ、これは、より多くの物体がマップの構築および更新に含まれることにつながり得る。そのような仕組みにより、物理的環境内のユーザのロケーションを追跡することの正確さおよびロバストネスが改善され得る。

いくつかの実施形態では、ニアアイディスプレイ１００は、物理的環境に光を投影するための１つまたは複数のアクティブ照明器１３０をさらに含み得る。投影された光は、異なる周波数スペクトル（たとえば、可視光、赤外光、紫外光など）に関連付けられ得、様々な目的を果たすことができる。たとえば、照明器１３０は、たとえば、ユーザのロケーション追跡を可能にするために、センサー１２０ａ〜１２０ｄが暗い環境内の異なる物体の画像をキャプチャするのを支援するために、暗い環境において（または、低強度の赤外光、紫外光などを伴う環境において）光を投影し得る。照明器１３０は、ロケーション追跡システムがマップ構築／更新のために物体を識別するのを支援するために、環境内の物体上にいくつかのマーカーを投影し得る。

いくつかの実施形態では、照明器１３０は、立体撮像をも可能にし得る。たとえば、センサー１２０ａまたは１２０ｂのうちの１つまたは複数は、可視光検知のための第１のピクセルアレイと赤外（ＩＲ）光検知のための第２のピクセルアレイの両方を含むことができる。第１のピクセルアレイは、カラーフィルタ（たとえば、バイエルフィルタ）で覆われ得、第１のピクセルアレイの各ピクセルが、特定の色（たとえば、赤色、緑色または青色のうちの１つ）に関連付けられた光の強度を測定するように構成される。また、（ＩＲ光検知のための）第２のピクセルアレイは、ＩＲ光の通過のみを可能にするフィルタで覆われ得、第２のピクセルアレイの各ピクセルが、ＩＲ光の強度を測定するように構成される。ピクセルアレイは、物体のＲＧＢ画像およびＩＲ画像を生成することができ、ＩＲ画像の各ピクセルが、ＲＧＢ画像の各ピクセルにマッピングされる。照明器１３０は、物体上にＩＲマーカーのセットを投影し得、その画像は、ＩＲピクセルアレイによってキャプチャされ得る。画像に示されている物体のＩＲマーカーの分布に基づいて、システムは、ＩＲピクセルアレイからの物体の異なる部分の距離を推定し、その距離に基づいて物体の立体画像を生成することができる。物体の立体画像に基づいて、システムは、たとえば、ユーザに対する物体の相対位置を決定することができ、インタラクティブ体験を提供するために、相対位置情報に基づいて、ディスプレイ１００に提供された画像データを更新することができる。

上記で説明されたように、ニアアイディスプレイ１００は、極めて広範囲の光強度に関連する環境において動作され得る。たとえば、ニアアイディスプレイ１００は、屋内環境または屋外環境において、および／あるいは１日の異なる時間において動作され得る。ニアアイディスプレイ１００はまた、アクティブ照明器１３０がオンにされていてもいなくても動作し得る。その結果、画像センサー１２０ａ〜１２０ｄは、ニアアイディスプレイ１００のための異なる動作環境に関連する極めて広範囲の光強度にわたって適切に動作すること（たとえば、入射光の強度と相関する出力を生成すること）が可能であるために、広いダイナミックレンジを有する必要があり得る。

図１Ｂは、ニアアイディスプレイ１００の別の実施形態の図である。図１Ｂは、ニアアイディスプレイ１００を装着したユーザの（１つまたは複数の）眼球１３５に面するニアアイディスプレイ１００の側面を示す。図１Ｂに示されているように、ニアアイディスプレイ１００は、複数の照明器１４０ａ、１４０ｂ、１４０ｃ、１４０ｄ、１４０ｅ、および１４０ｆをさらに含み得る。ニアアイディスプレイ１００は、複数の画像センサー１５０ａおよび１５０ｂをさらに含む。照明器１４０ａ、１４０ｂ、および１４０ｃは、（図１Ａの方向Ａと反対である）方向Ｄに向かってある周波数範囲（たとえば、ＮＩＲ）の光を放出し得る。放出された光は、あるパターンに関連付けられ得、ユーザの左眼球によって反射され得る。センサー１５０ａは、反射光を受け取り、反射パターンの画像を生成するためのピクセルアレイを含み得る。同様に、照明器１４０ｄ、１４０ｅ、および１４０ｆは、パターンを搬送するＮＩＲ光を放出し得る。ＮＩＲ光は、ユーザの右眼球によって反射され得、センサー１５０ｂによって受け取られ得る。センサー１５０ｂも、反射パターンの画像を生成するためのピクセルアレイを含み得る。センサー１５０ａおよび１５０ｂからの反射パターンの画像に基づいて、システムは、ユーザの注視点を決定し、ユーザにインタラクティブ体験を提供するために、決定された注視点に基づいて、ディスプレイ１００に提供された画像データを更新することができる。

上記で説明されたように、ユーザの眼球に損傷を与えることを回避するために、照明器１４０ａ、１４０ｂ、１４０ｃ、１４０ｄ、１４０ｅ、および１４０ｆは、一般的に、極めて低強度の光を出力するように構成される。画像センサー１５０ａおよび１５０ｂが図１Ａの画像センサー１２０ａ〜１２０ｄと同じセンサーデバイスを備える場合、画像センサー１２０ａ〜１２０ｄは、入射光の強度が極めて低いときに入射光の強度と相関する出力を生成することが可能である必要があり得、これは、画像センサーのダイナミックレンジ要件をさらに増加させ得る。

その上、画像センサー１２０ａ〜１２０ｄは、眼球の移動を追跡するために高速で出力を生成することが可能である必要があり得る。たとえば、ユーザの眼球は、ある眼球位置から別の眼球位置への素早いジャンプがあり得る極めて急速な移動（たとえば、サッカード運動（ｓａｃｃａｄｅ ｍｏｖｅｍｅｎｔ））を実施することができる。ユーザの眼球の急速な移動を追跡するために、画像センサー１２０ａ〜１２０ｄは、高速で眼球の画像を生成する必要がある。たとえば、画像センサーが画像フレームを生成するレート（フレームレート）は、少なくとも、眼球の移動の速度に一致する必要がある。高いフレームレートは、画像フレームを生成することに関与するピクセルセルのすべてについての短い総露光時間、ならびに、画像生成のためにセンサー出力をデジタル値に変換するための高い速度を必要とする。その上、上記で説明されたように、画像センサーは、低光強度を伴う環境において動作することが可能である必要もある。

図２は、図１に示されているニアアイディスプレイ１００の断面２００の一実施形態である。ディスプレイ１１０が、少なくとも１つの導波路ディスプレイアセンブリ２１０を含む。射出瞳２３０は、ユーザがニアアイディスプレイ１００を装着したときにユーザの単一の眼球２２０がアイボックス（ｅｙｅｂｏｘ）領域中に配置されるロケーションである。説明の目的で、図２は、眼球２２０と単一の導波路ディスプレイアセンブリ２１０に関連する断面２００を示すが、第２の導波路ディスプレイがユーザの第２の眼のために使用される。

導波路ディスプレイアセンブリ２１０は、画像光を、射出瞳２３０に位置するアイボックスに、および眼球２２０に向けるように構成される。導波路ディスプレイアセンブリ２１０は、１つまたは複数の屈折率をもつ１つまたは複数の材料（たとえば、プラスチック、ガラスなど）から構成され得る。いくつかの実施形態では、ニアアイディスプレイ１００は、導波路ディスプレイアセンブリ２１０と眼球２２０との間に１つまたは複数の光学要素を含む。

いくつかの実施形態では、導波路ディスプレイアセンブリ２１０は、制限はしないが、積層導波路ディスプレイ、可変焦点導波路ディスプレイなどを含む、１つまたは複数の導波路ディスプレイのスタックを含む。積層導波路ディスプレイは、それぞれの単色ソースが異なる色のものである導波路ディスプレイを積層することによって作り出された多色ディスプレイ（たとえば、赤緑青（ＲＧＢ）ディスプレイ）である。積層導波路ディスプレイは、複数の平面上に投影され得る多色ディスプレイ（たとえば、多平面カラーディスプレイ）でもある。いくつかの構成では、積層導波路ディスプレイは、複数の平面上に投影され得る単色ディスプレイ（たとえば、多平面単色ディスプレイ）である。可変焦点導波路ディスプレイは、導波路ディスプレイから放出された画像光の焦点位置を調整することができるディスプレイである。代替実施形態では、導波路ディスプレイアセンブリ２１０は、積層導波路ディスプレイと可変焦点導波路ディスプレイとを含み得る。

図３は、導波路ディスプレイ３００の一実施形態の等角図を示す。いくつかの実施形態では、導波路ディスプレイ３００は、ニアアイディスプレイ１００の構成要素（たとえば、導波路ディスプレイアセンブリ２１０）である。いくつかの実施形態では、導波路ディスプレイ３００は、画像光を特定のロケーションに向ける何らかの他のニアアイディスプレイまたは他のシステムの一部である。

導波路ディスプレイ３００は、ソースアセンブリ３１０と、出力導波路３２０と、コントローラ３３０とを含む。説明の目的で、図３は、単一の眼球２２０に関連付けられた導波路ディスプレイ３００を示すが、いくつかの実施形態では、導波路ディスプレイ３００とは別個の、または部分的に別個の別の導波路ディスプレイが、ユーザの別の眼に画像光を提供する。

ソースアセンブリ３１０は、画像光３５５を生成する。ソースアセンブリ３１０は、画像光３５５を生成し、出力導波路３２０の第１の側面３７０−１上に位置する結合要素３５０に出力する。出力導波路３２０は、拡大された画像光３４０をユーザの眼球２２０に出力する光導波路である。出力導波路３２０は、第１の側面３７０−１上に位置する１つまたは複数の結合要素３５０において画像光３５５を受け取り、受け取られた入力画像光３５５を方向付け要素３６０に導く。いくつかの実施形態では、結合要素３５０は、ソースアセンブリ３１０からの画像光３５５を出力導波路３２０に結合する。結合要素３５０は、たとえば、回折格子、ホログラフィック格子、１つまたは複数のカスケード型反射器、１つまたは複数のプリズム表面要素、および／またはホログラフィック反射器のアレイであり得る。

方向付け要素３６０は、受け取られた入力画像光３５５が分離要素３６５を介して出力導波路３２０から分離されるように、受け取られた入力画像光３５５を分離要素３６５に向け直す。方向付け要素３６０は、出力導波路３２０の第１の側面３７０−１の一部であるか、または出力導波路３２０の第１の側面３７０−１に取り付けられる。分離要素３６５は、方向付け要素３６０が分離要素３６５に対向するように、出力導波路３２０の第２の側面３７０−２の一部であるか、または出力導波路３２０の第２の側面３７０−２に取り付けられる。方向付け要素３６０および／または分離要素３６５は、たとえば、回折格子、ホログラフィック格子、１つまたは複数のカスケード型反射器、１つまたは複数のプリズム表面要素、および／またはホログラフィック反射器のアレイであり得る。

第２の側面３７０−２は、ｘ次元およびｙ次元に沿った平面を表す。出力導波路３２０は、画像光３５５の内部全反射を促進する１つまたは複数の材料から構成され得る。出力導波路３２０は、たとえば、シリコン、プラスチック、ガラス、および／またはポリマーから構成され得る。出力導波路３２０は、比較的小さいフォームファクタを有する。たとえば、出力導波路３２０は、ｘ次元に沿って幅約５０ｍｍ、ｙ次元に沿って長さ約３０ｍｍ、およびｚ次元に沿って厚さ約０．５〜１ｍｍであり得る。

コントローラ３３０は、ソースアセンブリ３１０のスキャン動作を制御する。コントローラ３３０は、ソースアセンブリ３１０のためのスキャン命令を決定する。いくつかの実施形態では、出力導波路３２０は、拡大された画像光３４０を大きい視野（ＦＯＶ）でユーザの眼球２２０に出力する。たとえば、拡大された画像光３４０は、６０度のおよび／またはそれよりも大きい、ならびに／あるいは１５０度のおよび／またはそれよりも小さい（ｘおよびｙにおける）対角ＦＯＶでユーザの眼球２２０に提供される。出力導波路３２０は、２０ｍｍ以上および／または５０ｍｍ以下の長さ、ならびに／あるいは１０ｍｍ以上および／または５０ｍｍ以下の幅をもつアイボックスを提供するように構成される。

その上、コントローラ３３０は、画像センサー３７０によって提供される画像データに基づいて、ソースアセンブリ３１０によって生成される画像光３５５をも制御する。画像センサー３７０は、第１の側面３７０−１上に位置し得、たとえば、（たとえば、ロケーション決定のための）ユーザの前にある物理的環境の画像データを生成するために図１Ａの画像センサー１２０ａ〜１２０ｄを含み得る。画像センサー３７０はまた、第２の側面３７０−２上に位置し得、ユーザの（たとえば、注視点決定のための）眼球２２０の画像データを生成するために図１Ｂの画像センサー１５０ａおよび１５０ｂを含み得る。画像センサー３７０は、導波路ディスプレイ３００内に位置しないリモートコンソールとインターフェースし得る。画像センサー３７０は、画像データをリモートコンソールに提供し得、リモートコンソールは、たとえば、ユーザのロケーション、ユーザの注視点などを決定し、ユーザに表示されるべき画像のコンテンツを決定し得る。リモートコンソールは、決定されたコンテンツに関係する命令をコントローラ３３０に送信することができる。命令に基づいて、コントローラ３３０は、ソースアセンブリ３１０による画像光３５５の生成および出力を制御することができる。

図４は、導波路ディスプレイ３００の断面４００の一実施形態を示す。断面４００は、ソースアセンブリ３１０と、出力導波路３２０と、画像センサー３７０とを含む。図４の例では、画像センサー３７０は、ユーザの前にある物理的環境の画像を生成するために、第１の側面３７０−１上に位置するピクセルセル４０２のセットを含み得る。いくつかの実施形態では、ピクセルセル４０２のセットの露光を制御するために、ピクセルセル４０２のセットと物理的環境との間に挿入された機械的シャッター４０４があり得る。いくつかの実施形態では、機械的シャッター４０４は、以下で説明されるように、電子シャッターゲートと置き換えられ得る。ピクセルセル４０２の各々は、画像の１つのピクセルに対応し得る。図４には示されていないが、ピクセルセルによって検知されるべき光の周波数範囲を制御するために、ピクセルセル４０２の各々もフィルタで覆われ得ることを理解されたい。

リモートコンソールから命令を受け取った後に、機械的シャッター４０４は、積分期間において開き、ピクセルセル４０２のセットを露光することができる。積分期間中に、画像センサー３７０は、ピクセルセル４０２のセットに入射した光のサンプルを取得し、ピクセルセル４０２のセットによって検出された入射光サンプルの強度分布に基づいて画像データを生成することができる。画像センサー３７０は、次いで、画像データを、ディスプレイコンテンツを決定するリモートコンソールに提供し、ディスプレイコンテンツ情報をコントローラ３３０に提供することができる。コントローラ３３０は、次いで、ディスプレイコンテンツ情報に基づいて画像光３５５を決定することができる。

ソースアセンブリ３１０は、コントローラ３３０からの命令に従って画像光３５５を生成する。ソースアセンブリ３１０は、ソース４１０と光学システム４１５とを含む。ソース４１０は、コヒーレント光または部分的にコヒーレントな光を生成する光源である。ソース４１０は、たとえば、レーザーダイオード、垂直キャビティ面発光レーザー、および／または発光ダイオードであり得る。

光学システム４１５は、ソース４１０からの光を調節する１つまたは複数の光学的構成要素を含む。ソース４１０からの光を調節することは、たとえば、コントローラ３３０からの命令に従って拡大し、コリメートし、および／または向きを調整することを含み得る。１つまたは複数の光学的構成要素は、１つまたは複数のレンズ、液体レンズ、ミラー、開口、および／または格子を含み得る。いくつかの実施形態では、光学システム４１５は、光ビームを液体レンズ外の領域にシフトするためにしきい値のスキャン角度を伴う光ビームのスキャンを可能にする複数の電極をもつ液体レンズを含む。光学システム４１５（同じくソースアセンブリ３１０）から放出される光は、画像光３５５と呼ばれる。

出力導波路３２０は、画像光３５５を受け取る。結合要素３５０は、ソースアセンブリ３１０からの画像光３５５を出力導波路３２０に結合する。結合要素３５０が回折格子である実施形態では、内部全反射が出力導波路３２０中で発生し、画像光３５５が、分離要素３６５に向かって、（たとえば、内部全反射によって）出力導波路３２０中を内部的に伝搬するように、回折格子のピッチが選定される。

方向付け要素３６０は、出力導波路３２０から分離するために、画像光３５５を分離要素３６５のほうへ向け直す。方向付け要素３６０が回折格子である実施形態では、回折格子のピッチは、入射画像光３５５が、分離要素３６５の表面に対して（１つまたは複数の）傾斜角において出力導波路３２０を出ることを引き起こすように選定される。

いくつかの実施形態では、方向付け要素３６０および／または分離要素３６５は、構造的に同様である。出力導波路３２０を出た拡大された画像光３４０は、１つまたは複数の次元に沿って拡大される（たとえば、ｘ次元に沿って延長され得る）。いくつかの実施形態では、導波路ディスプレイ３００は、複数のソースアセンブリ３１０と複数の出力導波路３２０とを含む。ソースアセンブリ３１０の各々は、原色（たとえば、赤、緑、または青）に対応する、波長の特定の帯域の単色画像光を放出する。出力導波路３２０の各々は、多色である拡大された画像光３４０を出力するために、離間距離を伴って一緒に積層され得る。

図５は、ニアアイディスプレイ１００を含むシステム５００の一実施形態のブロック図である。システム５００は、各々制御回路要素５１０に結合された、ニアアイディスプレイ１００と、撮像デバイス５３５と、入出力インターフェース５４０と、画像センサー１２０ａ〜１２０ｄおよび１５０ａ〜１５０ｂとを備える。システム５００は、ヘッドマウントデバイス、ウェアラブルデバイスなどとして構成され得る。

ニアアイディスプレイ１００は、ユーザにメディアを提示するディスプレイである。ニアアイディスプレイ１００によって提示されるメディアの例は、１つまたは複数の画像、ビデオ、および／またはオーディオを含む。いくつかの実施形態では、オーディオは、外部デバイス（たとえば、スピーカーおよび／またはヘッドフォン）を介して提示され、この外部デバイスは、ニアアイディスプレイ１００および／または制御回路要素５１０からオーディオ情報を受け取り、そのオーディオ情報に基づいてオーディオデータをユーザに提示する。いくつかの実施形態では、ニアアイディスプレイ１００はまた、ＡＲアイウェアグラスとして働き得る。いくつかの実施形態では、ニアアイディスプレイ１００は、コンピュータ生成された要素（たとえば、画像、ビデオ、音など）を用いて、物理的現実世界の環境のビューを増強する。

ニアアイディスプレイ１００は、導波路ディスプレイアセンブリ２１０、１つまたは複数の位置センサー５２５、および／または慣性測定ユニット（ＩＭＵ）５３０を含む。導波路ディスプレイアセンブリ２１０は、ソースアセンブリ３１０と、出力導波路３２０と、コントローラ３３０とを含む。

ＩＭＵ５３０は、位置センサー５２５のうちの１つまたは複数から受け取られた測定信号に基づいて、ニアアイディスプレイ１００の初期位置に対するニアアイディスプレイ１００の推定位置を指示する高速較正データを生成する電子デバイスである。

撮像デバイス５３５は、様々なアプリケーションのための画像データを生成し得る。たとえば、撮像デバイス５３５は、制御回路要素５１０から受け取られた較正パラメータに従って低速較正データを提供するために画像データを生成し得る。撮像デバイス５３５は、たとえば、ユーザのロケーション追跡を実施するために、ユーザが位置する物理的環境の画像データを生成するために図１Ａの画像センサー１２０ａ〜１２０ｄを含み得る。撮像デバイス５３５は、たとえば、ユーザの関心物体を識別するために、ユーザの注視点を決定するための画像データを生成するために、図１Ｂの画像センサー１５０ａ〜１５０ｂをさらに含み得る。

入出力インターフェース５４０は、ユーザが制御回路要素５１０にアクション要求を送ることを可能にするデバイスである。アクション要求は、特定のアクションを実施するための要求である。たとえば、アクション要求は、アプリケーションを開始または終了するためのものであるか、あるいはアプリケーション内で特定のアクションを実施するためのものであり得る。

制御回路要素５１０は、撮像デバイス５３５、ニアアイディスプレイ１００、および入出力インターフェース５４０のうちの１つまたは複数から受け取られた情報に従って、ユーザへの提示のためのメディアをニアアイディスプレイ１００に提供する。いくつかの例では、制御回路要素５１０は、ヘッドマウントデバイスとして構成されたシステム５００内に収容され得る。いくつかの例では、制御回路要素５１０は、システム５００の他の構成要素と通信可能に結合された独立型コンソールデバイスであり得る。図５に示されている例では、制御回路要素５１０は、アプリケーションストア５４５と、追跡モジュール５５０と、エンジン５５５とを含む。

アプリケーションストア５４５は、制御回路要素５１０が実行するための１つまたは複数のアプリケーションを記憶する。アプリケーションは、プロセッサによって実行されたとき、ユーザへの提示のためのコンテンツを生成する命令のグループである。アプリケーションの例は、ゲームアプリケーション、会議アプリケーション、ビデオ再生アプリケーション、または他の好適なアプリケーションを含む。

追跡モジュール５５０は、１つまたは複数の較正パラメータを使用してシステム５００を較正し、ニアアイディスプレイ１００の位置の決定における誤差を低減するために、１つまたは複数の較正パラメータを調整し得る。

追跡モジュール５５０は、撮像デバイス５３５からの低速較正情報を使用して、ニアアイディスプレイ１００の移動を追跡する。追跡モジュール５５０はまた、高速較正情報からの位置情報を使用して、ニアアイディスプレイ１００の基準点の位置を決定する。

エンジン５５５は、システム５００内でアプリケーションを実行し、追跡モジュール５５０から、ニアアイディスプレイ１００の位置情報、加速度情報、速度情報、および／または予測された将来の位置を受け取る。いくつかの実施形態では、エンジン５５５によって受け取られた情報は、ユーザに提示されるコンテンツのタイプを決定する導波路ディスプレイアセンブリ２１０への信号（たとえば、ディスプレイ命令）をもたらすために使用され得る。たとえば、インタラクティブ体験を提供するために、エンジン５５５は、（たとえば、追跡モジュール５５０によって提供される）ユーザのロケーション、または（たとえば、撮像デバイス５３５によって提供される画像データに基づく）ユーザの注視点、（たとえば、撮像デバイス５３５によって提供される画像データに基づく）物体とユーザとの間の距離に基づいて、ユーザに提示されるべきコンテンツを決定し得る。

図６は、ピクセルセル６００の一例を示す。ピクセルセル６００は、ピクセルアレイの一部であり得、画像のピクセルに対応するデジタル強度データを生成することができる。たとえば、ピクセルセル６００は、図４のピクセルセル４０２の一部であり得る。図６に示されているように、ピクセルセル６００は、フォトダイオード６０２、ならびに、シャッタースイッチ６０４と、転送ゲート６０６と、リセットスイッチ６０７と、電荷貯蔵ユニット６０８と、バッファ６０９と、ピクセルＡＤＣ６１０とを含む処理回路を含み得る。

いくつかの実施形態では、フォトダイオード６０２は、たとえば、Ｐ−Ｎダイオード、Ｐ−Ｉ−Ｎダイオード、ピン止め（ｐｉｎｎｅｄ）ダイオードなどを含み得る。フォトダイオード６０２は、光を受け取ると電荷を生成することができ、生成される電荷の量は、光の強度に比例し得る。フォトダイオード６０２はまた、フォトダイオードのウェル容量（ｗｅｌｌ ｃａｐａｃｉｔｙ）に達したときに発生する、フォトダイオードの飽和まで、生成された電荷の一部を貯蔵することができる。その上、シャッタースイッチ６０４、転送ゲート６０６、およびリセットスイッチ６０７の各々は、トランジスタを含むことができる。トランジスタは、たとえば、金属酸化物半導体電界効果トランジスタ（ＭＯＳＦＥＴ）、バイポーラ接合トランジスタ（ＢＪＴ）などを含み得る。シャッタースイッチ６０４は、ピクセルセル６００の積分期間を制御するための電子シャッターゲートとして（図４の機械的シャッター４０４の代わりに、または機械的シャッター４０４と組み合わせて）働くことができる。積分期間中に、シャッタースイッチ６０４は、露光イネーブル信号６１１によって無効化され（オフにされ）得、これは、フォトダイオード６０２が生成された電荷を貯蔵することを可能にし、フォトダイオード６０２が飽和したとき、オーバーフロー電荷が電荷貯蔵ユニット６０８に流れることを可能にする。積分期間の終了時に、シャッタースイッチ６０４は有効化されて、フォトダイオード６０２によって生成された電荷をフォトダイオード電流シンク６１７に誘導する（ｓｔｅｅｒ）ことができる。その上、リセットスイッチ６０７が、リセット信号６１８によって同じく無効化され（オフにされ）得、これは、電荷貯蔵ユニット６０８が電荷を蓄積することを可能にする。電荷貯蔵ユニット６０８は、転送ゲート６０６のフローティング端子におけるデバイスキャパシタ、金属キャパシタ、ＭＯＳキャパシタ、またはそれらの任意の組合せであり得る。電荷貯蔵ユニット６０８は、入射光強度を表すデジタル出力を提供するためにピクセルＡＤＣ６１０によって測定され得る電荷の量を貯蔵するために使用され得る。測定のモードが完了した後に、リセットスイッチ６０７は有効化されて、電荷貯蔵ユニット６０８において貯蔵された電荷を空にして電荷シンク６２０に移して、電荷貯蔵ユニット６０８を次の測定のために利用可能にすることができる。

次に図７を参照すると、図７は、異なる光強度範囲についての時間に対する蓄積された電荷の量を示す。特定の時点において蓄積された電荷の総量は、積分期間中にフォトダイオード６０２に入射する光の強度を反映することができる。上記量は、積分期間が終了したときに測定され得る。入射光の強度についての低光強度範囲７０６、中光強度範囲７０８、および高光強度範囲７１０を定義する電荷のしきい値の量について、しきい値７０２およびしきい値７０４が定義され得る。たとえば、総蓄積電荷（ｔｏｔａｌ ａｃｃｕｍｕｌａｔｅｄ ｃｈａｒｇｅ）がしきい値７０２未満である場合（たとえば、Ｑ１）、入射光強度は低光強度範囲７０６内にある。総蓄積電荷がしきい値７０４としきい値７０２との間にある場合（たとえば、Ｑ２）、入射光強度は中光強度範囲７０８内にある。総蓄積電荷がしきい値７０４を超える場合、入射光強度は高光強度範囲７１０内にある。低光強度範囲および中光強度範囲についての、蓄積された電荷の量は、フォトダイオードが低光強度範囲７０６全体内で飽和せず、測定キャパシタが中光強度範囲７０８全体内で飽和しない場合、入射光の強度と相関することができる。

低光強度範囲７０６および中光強度範囲７０８、ならびにしきい値７０２および７０４の定義は、フォトダイオード６０２および電荷貯蔵ユニット６０８の貯蔵容量に基づき得る。たとえば、低光強度範囲７０６は、積分期間の終了時の、フォトダイオード６０２に貯蔵された電荷の総量が、フォトダイオードの貯蔵容量を下回るかまたはそれに等しくなるように定義され得、しきい値７０２は、フォトダイオード６０２の貯蔵容量に基づき得る。以下で説明されるように、しきい値７０２は、フォトダイオード６０２の潜在的容量変動を考慮するために、フォトダイオードのスケーリングされた貯蔵容量に基づいて設定され得る。そのような仕組みは、フォトダイオード６０２に貯蔵された電荷の量が強度決定のために測定されたとき、フォトダイオードが飽和せず、測定された量が入射光強度に関係することを保証することができる。その上、中光強度範囲７０８は、積分期間の終了時の、電荷貯蔵ユニット６０８に貯蔵された電荷の総量が、測定キャパシタの貯蔵容量を下回るかまたはそれに等しくなるように定義され得、しきい値７０４は、電荷貯蔵ユニット６０８の貯蔵容量に基づき得る。一般的に、しきい値７０４も、電荷貯蔵ユニット６０８に貯蔵された電荷の量が強度決定のために測定されたとき、測定キャパシタが飽和せず、測定された量が同じく入射光強度に関係することを保証するために、電荷貯蔵ユニット６０８のスケーリングされた貯蔵容量に基づくように設定される。以下で説明されるように、しきい値７０２および７０４は、フォトダイオード６０２および電荷貯蔵ユニット６０８が飽和したかどうかを検出するために使用され得、これは、出力されるべき入射光の強度範囲および測定結果を決定することができる。

さらに、入射光強度が高光強度範囲７１０内にある場合、電荷貯蔵ユニット６０８において蓄積された総オーバーフロー電荷は、積分期間が終了する前にしきい値７０４を超え得る。追加の電荷が蓄積されるにつれて、電荷貯蔵ユニット６０８は、積分期間の終了の前に全容量に達し得、電荷漏洩が発生し得る。電荷貯蔵ユニット６０８が全容量に達したことにより引き起こされる測定誤差を回避するために、電荷貯蔵ユニット６０８において蓄積された総オーバーフロー電荷がしきい値７０４に達するのにかかる持続時間を測定するために、飽和までの時間測定が実施され得る。電荷貯蔵ユニット６０８における電荷蓄積のレートは、しきい値７０４と飽和までの時間との間の比に基づいて決定され得、（キャパシタが無限の容量を有する場合に）積分期間の終了時に電荷貯蔵ユニット６０８において蓄積され得る電荷の仮定量（Ｑ３）は、電荷蓄積のレートに従って外挿法によって決定され得る。電荷の仮定量（Ｑ３）は、高光強度範囲７１０内の入射光強度の合理的に正確な表現を提供することができる。

再び図６を参照すると、転送ゲート６０６は、上記で説明されたように、異なる光強度範囲について、残留電荷キャパシタ６０３および電荷貯蔵ユニット６０８における電荷蓄積を制御するために測定制御信号６１２によって制御され得る。高光強度範囲７１０と中光強度範囲７０８とを測定するために、転送ゲート６０６は、部分的にオンにされた状態において動作するように制御され得る。たとえば、転送ゲート６０６のゲート電圧は、フォトダイオード６０２の電荷貯蔵容量に対応する、フォトダイオードにおいて生じた電圧に基づいて設定され得る。そのような仕組みにより、（高光強度範囲７１０について）飽和までの時間、および（中光強度範囲７０８について）電荷貯蔵ユニット６０８に貯蔵された電荷の量を測定するために、オーバーフロー電荷（たとえば、フォトダイオードが飽和した後にフォトダイオードによって生成された電荷）のみが、転送ゲート６０６を通って移って電荷貯蔵ユニット６０８に達する。その上、低光強度範囲７０６を測定するために、転送ゲート６０６は、フォトダイオード６０２に貯蔵された電荷の量を測定するために、フォトダイオード６０２に貯蔵された電荷を電荷貯蔵ユニット６０８に転送するように、完全にオンにされた状態において制御され得る。

電荷貯蔵ユニット６０８において蓄積された電荷は、バッファ６０９によって検知されて、アナログ出力ノード６１４におけるアナログ電圧の複製（ただし、より大きい駆動の強さをもつ）が生成され得る。アナログ出力ノード６１４におけるアナログ電圧は、ピクセルＡＤＣ６１０によって（たとえば、論理１および０を備える）デジタルデータのセットに変換され得る。電荷貯蔵ユニット６０８において生じたアナログ電圧がサンプリングされ得、デジタル出力が、（たとえば、中光強度範囲７０８および高光強度範囲７１０について）積分期間の終了の前に、または（低光強度範囲７０６について）積分期間の後に生成され得る。デジタルデータは、積分期間中の光強度を表すために、たとえば、図５の制御回路要素５１０に、ピクセル出力バス６１６のセットによって送信され得る。

いくつかの例では、電荷貯蔵ユニット６０８のキャパシタンスは、低光強度範囲についての光強度決定の正確さを改善するように構成可能であり得る。たとえば、残留電荷キャパシタ６０３において貯蔵された残留電荷を測定するために電荷貯蔵ユニット６０８が使用されるとき、電荷貯蔵ユニット６０８のキャパシタンスは低減され得る。電荷貯蔵ユニット６０８のキャパシタンスの低減は、ある量の貯蔵された電荷についてより高い電圧を生じさせることができるように、電荷貯蔵ユニット６０８における電荷−電圧変換比を増加させることができる。より高い電荷−電圧変換比は、低光強度決定の正確さに対するピクセルＡＤＣ６１０によって導入される測定誤差（たとえば、量子化誤差、比較器オフセットなど）の効果を低減することができる。測定誤差は、ピクセルＡＤＣ６１０によって検出および／または弁別され得る最小電圧差に対する限界を設定することができる。電荷−電圧変換比を増加させることによって、最小電圧差に対応する電荷の量は低減され得、これは、ピクセルセル６００による測定可能な光強度の下限を低減し、ダイナミックレンジを拡張する。一方、中光強度では、電荷貯蔵ユニット６０８のキャパシタンスは、電荷貯蔵ユニット６０８が、たとえば、しきい値７０４によって定義される量までの電荷の量を貯蔵するのに十分な容量を有することを保証するために、増加され得る。

図８は、ピクセルＡＤＣ６１０の内部構成要素の一例を示す。図８に示されているように、ピクセルＡＤＣ６１０は、しきい値生成器８０２と、比較器８０４と、デジタル出力生成器８０６とを含む。デジタル出力生成器８０６は、カウンタ８０８とメモリ８１０とをさらに含み得る。カウンタ８０８は、自走クロック信号８１２に基づいてカウント値のセットを生成することができ、メモリ８１０は、カウンタ８０８によって生成されたカウント値のうちの少なくともいくつか（たとえば、最新のカウント値）を記憶することができる。いくつかの実施形態では、メモリ８１０は、カウンタ８０８の一部であり得る。メモリ８１０は、たとえば、以下で説明されるように、ローカルピクセル値に基づいてカウンタ値を記憶するためのラッチ回路であり得る。しきい値生成器８０２は、デジタル値のセットを受け付け、デジタル値のセットを表す基準電圧（ＶＲＥＦ）８１５を出力することができる、デジタルアナログ変換器（ＤＡＣ）８１３を含む。以下でより詳細に説明されるように、しきい値生成器８０２は、静的デジタル値を受け付けて、固定しきい値を生成するか、またはカウンタ８０８の出力８１４を受け付けて、ランピングしきい値を生成し得る。

図８は、ＤＡＣ８１３（およびしきい値生成器８０２）がピクセルＡＤＣ６１０の一部であることを示しているが、ＤＡＣ８１３（およびしきい値生成器８０２）は異なるピクセルセルからの複数のデジタル出力生成器８０６と結合され得ることを理解されたい。その上、カウンタ８０８など、デジタル出力生成器８０６の少なくとも一部は、デジタル値を生成するために複数のピクセルセルの間で共有され得る。

比較器８０４は、アナログ出力ノード６１４において生じたアナログ電圧をしきい値生成器８０２によって提供されたしきい値と比較し、比較結果に基づいて判定８１６を生成することができる。たとえば、比較器８０４は、アナログ出力ノード６１４におけるアナログ電圧がしきい値生成器８０２によって生成されたしきい値に等しいかまたはそのしきい値を超える場合、判定８１６について論理１を生成することができる。比較器８０４はまた、アナログ電圧がしきい値を下回る場合、判定８１６について論理０を生成することができる。判定８１６は、アナログ出力ノード６１４におけるランピングアナログ電圧の上述の飽和の時間（ｔｉｍｅ−ｏｆ−ｓａｔｕｒａｔｉｏｎ）測定、ならびに入射光強度決定のためのアナログ出力ノード６１４におけるアナログ電圧の量子化処理を実施するために、カウンタ８０８のカウンティング動作および／またはメモリ８１０に記憶されたカウント値を制御することができる。

図９Ａは、ピクセルＡＤＣ６１０による飽和までの時間測定の一例を示す。飽和までの時間測定を実施するために、しきい値生成器８０２は、固定ＶＲＥＦ８１５を生成するようにＤＡＣ８１３を制御することができる。固定ＶＲＥＦ８１５は、電荷貯蔵ユニット６０８の飽和についての電荷量しきい値（たとえば、図７のしきい値７０４）に対応する電圧に設定され得る。カウンタ８０８は、積分期間が開始した直後に（たとえば、シャッタースイッチ６０４が無効化された直後に）カウントすることを開始することができる。アナログ出力ノード６１４におけるアナログ電圧がランプダウンする（または実装形態に応じてランプアップする）とき、クロック信号８１２は、カウンタ８０８におけるカウント値を更新するようにトグルし続ける。アナログ電圧は、ある時点において固定しきい値に達し得、これは、比較器８０４による判定８１６が反転することを引き起こす。判定８１６の反転はカウンタ８０８のカウンティングを停止し得、カウンタ８０８におけるカウント値は飽和までの時間を表し得る。飽和までの時間測定の分解能は、たとえば、カウンタ８０８がカウント値を更新する頻度に基づいて、定義され得る。以下でより詳細に説明されるように、持続時間に基づいて電荷貯蔵ユニット６０８における電荷蓄積のレートも決定され得、電荷蓄積のレートに基づいて入射光強度が決定され得る。

図９Ｂは、ピクセルＡＤＣ６１０によってアナログ電圧を量子化することの一例を示す。測定が開始した後に、ＤＡＣ８１３は、（図９Ｂの例において）ランプアップするかまたは実装形態に応じてランプダウンすることができるランピングＶＲＥＦ８１５を生成するように、カウンタ出力８１４によってプログラムされ得る。ランピングＶＲＥＦ８１５の電圧範囲は、しきい値７０４（電荷貯蔵ユニット６０８の飽和についての電荷量しきい値）としきい値７０２（フォトダイオード６０２の飽和についての電荷量しきい値）との間にあり得、これは、中光強度範囲を定義することができる。図９Ｂの例では、量子化プロセスは、ＶＲＥＦ８１５がクロック信号８１２の各クロックサイクルについて同じ量だけ増加（または減少）する、一様量子化ステップで実施され得る。ＶＲＥＦ８１５の増加（または減少）の量は量子化ステップに対応する。ＶＲＥＦ８１５がアナログ出力ノード６１４におけるアナログ電圧の１つの量子化ステップ内に達したとき、比較器８０４による判定８１６が、負から正に反転する。判定８１６の反転は、カウンタ８０８のカウンティングを停止し得、カウント値は、１つの量子化ステップ内でアナログ電圧に一致するように蓄積された量子化ステップの総数に対応することができる。カウント値は、ＶＲＥＦ８１５がアナログ電圧に達するのにかかった時間の測定値に対応し、電荷貯蔵ユニット６０８において貯蔵された電荷の量のデジタル表現、ならびに入射光強度のデジタル表現であり得る。上記で説明されたように、アナログ電圧の量子化は、（たとえば、中光強度範囲７０８について）積分期間中に、および（たとえば、低光強度範囲７０６について）積分期間の後に行われ得る。

上記で説明されたように、ＡＤＣ６１０は、（たとえば、量子化ステップの総数によって表される）ＡＤＣ６１０によって出力された量レベルによって表される電荷の量と、ＡＤＣ６１０による量レベルにマッピングされる電荷の実際の入力量との間に不一致があるとき、量子化誤差を導入することがある。量子化誤差は、より小さい量子化ステップサイズを使用することによって低減され得る。図９Ｂの例では、量子化ステップサイズは、たとえば、（しきい値７０２としきい値７０４との間の）量子化動作の入力範囲９０２を低減すること、カウンタ８０８によって測定されるべき時間の対応する範囲を低減すること、クロック信号８１２のクロック周波数を増加させること、または、それらの任意の組合せに基づいて、クロックサイクルごとにＶＲＥＦ８１５の増加（または減少）の量だけ低減され得る。

量子化誤差は、より小さい量子化ステップサイズを使用することによって低減され得るが、エリアおよび実施速度は、量子化ステップがどの程度低減され得るかを限定し得る。たとえば、クロック信号８１２のクロック周波数が増加され、入力範囲９０２が同じままである場合、電荷量（および光強度）の特定の範囲を表すために必要とされる量子化ステップの総数は、増加し得る。増加された数の量子化ステップを表すためにより多数のデータビット（たとえば、２５５個のステップを表すために８ビット、１２７個のステップを表すために７ビットなど）が必要とされ得る。より多数のデータビットは、追加のバスがピクセル出力バス６１６に追加されることを必要とし得、これは、ピクセルセル６００が、ヘッドマウントデバイスまたはごく限られたスペースをもつ他のウェアラブルデバイス上で使用される場合、実現可能でないことがある。その上、より多数の量子化ステップサイズの場合、ＡＤＣ６１０は、（１つの量子化ステップと）一致する量レベルを見つける前により多数の量子化ステップを循環する必要があり得、これは、処理電力消費量および時間の増加、ならびに画像データを生成するレートの低減につながる。レートの低減は、高いフレームレートを必要とするいくつかのアプリケーション（たとえば、眼球の移動を追跡するアプリケーション）にとって許容できないことがある。

量子化誤差を低減するための１つのやり方は、量子化ステップが入力範囲にわたって一様でない非一様量子化方式を採用することによるものである。図１０Ａは、非一様量子化プロセスおよび一様量子化プロセスについてのＡＤＣコード（量子化プロセスの出力）と入力電荷量レベルとの間のマッピングの一例を示す。点線は、非一様量子化プロセスについてのマッピングを示し、実線は、一様量子化プロセスについてのマッピングを示す。一様量子化プロセスでは、（Δ_１によって示される）量子化ステップサイズは、入力電荷量の範囲全体について同等である。対照的に、非一様量子化プロセスでは、量子化ステップサイズは、入力電荷量に応じて異なる。たとえば、（Δ_Ｓによって示される）低入力電荷量についての量子化ステップサイズは、（Δ_Ｌによって示される）大きい入力電荷量についての量子化ステップサイズよりも小さい。その上、同じ低入力電荷量について、非一様量子化プロセスについての量子化ステップサイズ（Δ_Ｓ）は、一様量子化プロセスについての量子化ステップサイズ（Δ_１）よりも小さくされ得る。

非一様量子化方式を採用することの１つの利点は、低入力電荷量を量子化するための量子化ステップが低減され得、これが、低入力電荷量を量子化する際の量子化誤差を低減し、ＡＤＣ６１０によって弁別され得る最小入力電荷量が低減され得ることである。したがって、低減された量子化誤差は、画像センサーの測定可能な光強度の下限を押し下げることができ、ダイナミックレンジが増加され得る。その上、量子化誤差は高入力電荷量について増加されるが、量子化誤差は、高入力電荷量と比較して小さいままであり得る。したがって、電荷の測定に導入される全体的な量子化誤差は低減され得る。一方、入力電荷量の範囲全体をカバーする量子化ステップの総数は、同じ（さらには低減された）ままであり得、量子化ステップの数を増加させることに関連する上述の潜在的問題（たとえば、エリアの増加、処理速度の低減など）は、回避され得る。

図１０Ｂは、非一様量子化プロセスを使用してピクセルＡＤＣ６１０によってアナログ電圧を量子化することの一例を示す。（一様量子化プロセスを採用する）図９Ｂと比較して、ＶＲＥＦ８１５は、最初により緩やかな傾きで、および後でより急な傾きで、各クロックサイクルに関して非線形様式で増加する。傾きの差は、不均一な量子化ステップサイズに起因する。（より低い入力量範囲に対応する）より低いカウンタカウント値では、量子化ステップはより小さくされ、したがって、ＶＲＥＦ８１５は、より遅いレートで増加する。（より高い入力量範囲に対応する）より高いカウンタカウント値では、量子化ステップはより大きくされ、したがって、ＶＲＥＦ８１５は、より高いレートで増加する。ＶＲＥＦ８１５における不均一な量子化ステップは、異なる方式を使用して導入され得る。たとえば、上記で説明されたように、ＤＡＣ８１３は、（カウンタ８０８からの）異なるカウンタカウント値について電圧を出力するように構成される。ＤＡＣ８１３は、（量子化ステップサイズを定義する）２つの隣接するカウンタカウント値間の出力電圧の差が、異なるカウンタカウント値について異なるように構成され得る。別の例として、カウンタ８０８はまた、同じカウントステップだけ増加または減少する代わりに、カウンタカウント値の跳びを生成して、不均一な量子化ステップを生成するように構成され得る。いくつかの例では、図１０Ｂの非一様量子化プロセスは、低光強度範囲７０６および中光強度範囲７０８についての光強度決定のために採用され得る。

次に図１１を参照すると、図１１は、ピクセルセル１１００の一例を示し、ピクセルセル１１００は、図６のピクセルセル６００の一実施形態であり得る。図１１の例では、ＰＤがフォトダイオード６０２に対応することができ、トランジスタＭ０がシャッタースイッチ６０４に対応することができ、トランジスタＭ１が転送ゲート６０６に対応することができ、トランジスタＭ２がリセットスイッチ６０７に対応することができる。その上、ＣＯＦキャパシタとＣＥＸＴキャパシタとの組合せが電荷貯蔵ユニット６０８に対応することができる。ＣＯＦキャパシタは、フローティングドレインノードの寄生キャパシタであり得る。電荷貯蔵ユニット６０８のキャパシタンスは、信号ＬＧによって構成可能である。ＬＧが有効化されたとき、電荷貯蔵ユニット６０８は、ＣＯＦキャパシタとＣＥＸＴキャパシタとの組み合わせられた容量を提供する。ＬＧが無効化されたとき、ＣＥＸＴキャパシタは、並列の組合せから切断され得、電荷貯蔵ユニット６０８は、ＣＯＦキャパシタのみ（および他の寄生キャパシタンス）を備える。上記で説明されたように、電荷貯蔵ユニット６０８のキャパシタンスは、低光強度決定のための電荷−電圧変換比を増加させるために低減され得、中光強度決定のための必須の容量を提供するために増加され得る。

ピクセルセル１１００は、バッファ６０９の一例と、ピクセルＡＤＣ６１０の一例とをさらに含む。たとえば、トランジスタＭ３およびＭ４は、ＣＯＦキャパシタにおいて（またはＣＯＦキャパシタおよびＣＥＸＴキャパシタにおいて）貯蔵された電荷の量を表す、ＯＦノードにおいて生じたアナログ電圧をバッファするための、図６のバッファ６０９であり得るソースフォロワを形成する。さらに、ＣＣキャパシタ、比較器１１０２、トランジスタＭ５、ＮＯＲゲート１１１６が、メモリ８１０とともに、ＯＦノードにおけるアナログ電圧を表すデジタル出力を生成するためのピクセルＡＤＣ６１０の一部であり得る。上記で説明されたように、量子化は、ＯＦノードにおいて生じたアナログ電圧とＶＲＥＦと間の、比較器１１０２によって生成された比較結果（ＶＯＵＴ）に基づき得る。ここで、ＣＣキャパシタは、バッファ６０９の出力を追跡する（比較器１１０２の１つの入力における）ＶＩＮ電圧を生成するように構成され、ＶＩＮ電圧を比較器１１０２に提供して、ＶＲＥＦと比較する。ＶＲＥＦは、（高光強度範囲についての）飽和の時間測定のための静的電圧または（低光強度範囲および中光強度範囲についての）アナログ電圧の量子化のためのランピング電圧であり得る。ＡＤＣコードは自走カウンタ（たとえば、カウンタ８０８）によって生成され得、比較器１１０２によって生成された比較結果は、メモリ８１０に記憶され、入射光強度のデジタル表現として出力されるべき、ＡＤＣコードを決定することができる。いくつかの例では、低光強度決定および中光強度決定のためのＶＲＥＦの生成は、図１０Ａおよび図１０Ｂで説明されたように、非一様量子化方式に基づき得る。

ピクセルセル１１００は、上記で開示された技法に加えて、入射光強度決定の正確さをさらに改善することができる技法を含む。たとえば、ＣＣキャパシタとトランジスタＭ５との組合せは、比較器１１０２の正確さが改善され得るように、比較器１１０２によって導入される測定誤差（たとえば、比較器オフセット）、ならびに比較器１１０２に導入される他の誤差信号を補償するために使用され得る。雑音信号は、たとえば、リセットスイッチ６０７によって導入されるリセット雑音電荷、ソースフォロワしきい値不一致によるバッファ６０９の出力における雑音信号などを含み得る。比較器オフセットならびに誤差信号を反映する量の電荷が、トランジスタＭ２とトランジスタＭ５の両方が有効化されたとき、リセット段階中にＣＣキャパシタにおいて貯蔵され得る。貯蔵された電荷により、リセット段階中にＣＣキャパシタにわたる電圧差も生じ得る。測定段階中に、ＣＣキャパシタにわたる電圧差は残っており、ＣＣキャパシタは、ＶＩＮを生成するために、電圧差を減算（または加算）することによってバッファ６０９の出力電圧を追跡することができる。その結果、ＶＩＮ電圧は、測定誤差および誤差信号について補償され得、これは、ＶＩＮとＶＲＥＦとの間の比較と、その後の量子化との正確さを改善する。

加えて、ピクセルセル１１００は、コントローラ１１１０をさらに含む。コントローラ１１１０は、図７の３つの光強度範囲（たとえば、低光強度範囲７０６、中光強度範囲７０８、および高光強度範囲７１０）に対応する３段階測定動作を実施するようにピクセルセル１１００を動作させるために、シャッター、ＴＸ、ＲＳＴ１、ＲＳＴ２など、制御信号のシーケンスを生成することができる。各段階において、ピクセルセル１１００は、対応する光強度範囲を対象とする測定モードにおいて動作され、比較器１１０２の判定出力（ＶＯＵＴ）に基づいて、入射光強度が、対応する光強度範囲内に入るかどうかを決定することができる。ピクセルセル１１００は、段階のうちのいくつかの判定出力をＦＬＡＧ＿１信号およびＦＬＡＧ＿２信号として記憶するためのレジスタのセットをさらに含む。ＦＬＡＧ＿１信号およびＦＬＡＧ＿２信号に基づいて、コントローラ１１１０は、入射光強度を表すために、３つの段階のうちの１つからＡＤＣコードを選択することができる。選択されたＡＤＣコードはメモリ８１０に記憶され得、メモリ８１０は、後続の測定段階がメモリ８１０中の選択されたＡＤＣコード出力を上書きするのを防ぐために、ＮＯＲゲート１１１６によってＦＬＡＧ＿１信号とＦＬＡＧ＿２信号との組合せに基づいてロックされ得る。３段階測定プロセスの終了時に、コントローラ１１１０は、メモリ８１０に記憶されたＡＤＣコードを取り出し、そのＡＤＣコードを、入射光強度を表すデジタル出力として提供することができる。

次に図１２を参照すると、図１２は、時間に対する３段階測定動作についてのピクセルセル１１００の制御信号のシーケンスを示す。図１２を参照すると、Ｔ０’とＴ０との間の時間は第１のリセット段階に対応する。Ｔ０とＴ１との間の時間期間は、積分期間、および飽和までの時間測定モードに対応する。Ｔ１とＴ２との間の時間期間は、フローティングドレインに貯蔵されたオーバーフロー電荷の量を測定するための測定モードに対応する。オーバーフロー電荷の測定のための測定モードは、図１２では「ＦＤ ＡＤＣ」と標示されており、中光強度範囲７０８を測定するために使用され得る。さらに、Ｔ２とＴ３との間の時間期間は第２のリセット段階を含み、その後に、フローティングドレインへのフォトダイオード６０２に貯蔵された電荷の転送が続く。その上、Ｔ３とＴ４との間の時間期間は、フォトダイオードに貯蔵され、フローティングドレインに転送された電荷の量を測定するための測定モードに対応する。フォトダイオードに貯蔵された電荷を測定するための測定モードは、図１２では「ＰＤ ＡＤＣ」と標示されており、低光強度範囲７０６を測定するために使用され得る。ピクセルセル１１００は、時間Ｔ４において入射光強度を表すデジタル出力を提供し、次いで、次の３段階測定動作を開始することができる。

図１２に示されているように、Ｔ０の前に、ＲＳＴ１信号およびＲＳＴ２信号と、ＬＧ信号と、シャッター信号とはアサートされるが、ＴＸ信号は電圧Ｖ_ＬＯＷにおいてバイアスされる。Ｖ_ＬＯＷは、（もしあれば）オーバーフロー電荷のみがフォトダイオードＰＤからトランジスタＭ１を介してＣＥＸＴキャパシタおよびＣＯＦキャパシタに流れることを可能にするために、フォトダイオードＰＤの電荷容量に対応することができる。そのような仕組みにより、フォトダイオードＰＤ、ならびにＣＥＸＴキャパシタおよびＣＯＦキャパシタの両方が、リセットされ得る。その上、フォトダイオードＰＤによって生成された電荷はトランジスタＭ０によって迂回されるので、電荷はキャパシタに追加されない。フォトダイオードＰＤ、ならびにＯＦノードにわたる電圧は、フォトダイオードＰＤとＣＥＸＴキャパシタとＣＯＦキャパシタとが電荷を貯蔵しない状態を表すことができる、Ｖ_{ＲＥＳＥＴ}に等しい電圧に設定され得る。さらに、比較器１１０２もリセット段階にあり、ＣＣキャパシタは、Ｍ２によって導入されたリセット雑音、比較器オフセット、バッファ６０９のしきい値不一致などを反映する、電荷を貯蔵することができる。さらに、ＶＲＥＦも、Ｖ_{ＲＥＳＥＴ}に等しい値に設定され得る。いくつかの例では、Ｖ_{ＲＥＳＥＴ}は、ピクセルセル１１００への電源電圧（たとえば、ＶＤＤ）に等しくなり得る。その上、カウンタ８０８はリセット状態にあり得る。

時間Ｔ０において、カウンタ８０８は、初期値（たとえば、０）からカウントすることを開始することができる。Ｔ０とＴ１との間の時間期間中に、シャッター信号はアサート解除されるが、ＬＧ信号はアサートされたままであり、ＴＸ信号はＶ_ＬＯＷのままである。Ｔ０とＴ１との間の時間期間は積分期間であり得る。ＶＲＥＦは、ＣＥＸＴキャパシタとＣＯＦキャパシタの両方の容量がいっぱいであるときのＯＦノードの電圧に対応することができる、Ｖ_{ＦＤＳＡＴ}に等しい値に設定され得る。Ｖ_{ＦＤＳＡＴ}とＶ_{ＲＥＳＥＴ}との間の差は、たとえば、図７のしきい値７０４に対応することができる。Ｔ０とＴ１との間の時間期間中に、飽和までの時間（ＴＴＳ）測定が実施され得、この測定において、オーバーフロー電荷が、フォトダイオードＰＤからトランジスタＭ１を介してＣＯＦキャパシタおよびＣＥＸＴキャパシタに流れて、ＯＦノードにおいてランピング電圧を生じさせる。ＯＦノードにおけるアナログ電圧（ＶＩＮ）のバッファされ、誤差補償されたバージョンは、カウンタ８０８が自走している間、Ｖ_{ＦＤＳＡＴ}と比較され得る。ＣＯＦキャパシタおよびＣＥＸＴキャパシタにおいて貯蔵された総電荷が（ＯＦノード電圧に基づく）しきい値７０４を超える場合、比較器１１０２の出力は反転することができ、これは、入射光が高強度範囲中にあり、ＴＴＳ測定結果が、入射光の強度を表すために使用され得ることを指示する。したがって、反転の時間においてカウンタ８０８によって生成されたカウント値は、メモリ８１０に記憶され得る。比較器１１０２の出力の検査１２０２が時間Ｔ１において行われ得、比較器１１０２の反転はまた、コントローラ１１１０がレジスタ１１１２中のＦＬＡＧ＿１信号をアサートすることを引き起こす。非０ＦＬＡＧ＿１信号値は、ＮＯＲゲート１１１６の出力が、ＮＯＲゲートへの他の入力にかかわらず低いままであることを引き起こすことができ、メモリをロックし、後続の測定段階がカウント値を上書きするのを防ぐことができる。一方、比較器１１０２がＴ１とＴ２との間の時間期間中に決して反転しない場合、これは、入射光強度が高光強度範囲よりも低いことを指示し、ＦＬＡＧ＿１信号は０にとどまる。コントローラ１１１０は、時間期間Ｔ０〜Ｔ１の間にレジスタ１１１４に記憶されたＦＬＡＧ＿２値を更新せず、ＦＬＡＧ＿２値は０のままであり得る。

時間Ｔ１において、カウンタ８０８は、その初期値（たとえば、０）からカウントすることを再開することができる。Ｔ１とＴ２との間の時間期間中に、ＦＤ ＡＤＣ動作が実施され得、ＯＦノードにおけるアナログ電圧は、ＣＥＸＴキャパシタおよびＣＯＦキャパシタに貯蔵されたオーバーフロー電荷の量を測定するために、ＡＤＣ６１０によって量子化され得る。いくつかの例では、時間期間Ｔ１〜Ｔ２中に、フォトダイオードＰＤは、ＣＥＸＴキャパシタおよびＣＯＦキャパシタに貯蔵された総オーバーフロー電荷と、ＯＦノードにおけるアナログ電圧とが一定のままであるように、（たとえば、機械的シャッター４０４によって）入射光から遮蔽され得る。（図１２で「第１のランピングＶＲＥＦ」と標示された）第１のランピングしきい値電圧が、ＯＦノードにおけるアナログ電圧（ＶＩＮ）のバッファされ、誤差補償されたバージョンと比較されるように、比較器１１０２に供給され得る。いくつかの例では、第１のランピングＶＲＥＦは、自走カウンタからのカウント値に基づいてＤＡＣによって生成され得る。ランピングＶＲＥＦが（１つの量子化ステップ内で）ＶＩＮに一致する場合、比較器１１０２の出力は反転することができ、（ＦＬＡＧ＿１信号の０値によって指示されるように）測定の第１の段階によってメモリがロックされない場合、反転の時間においてカウンタ８０８によって生成されたカウント値は、メモリ８１０に記憶され得る。メモリがロックされる場合、カウント値はメモリ８１０に記憶されない。

いくつかの例では、図１２に示されているように、第１のランピングＶＲＥＦの電圧範囲は、Ｖ_{ＦＤＳＡＴ}とＶ_{ＲＥＳＥＴ}との間にあり得る。Ｖ_{ＦＤＳＡＴ}は、（ＣＥＸＴキャパシタおよびＣＯＦキャパシタが飽和状態に近いときの）ＣＥＸＴキャパシタおよびＣＯＦキャパシタに貯蔵される総オーバーフロー電荷の上限を定義することができ、Ｖ_{ＲＥＳＥＴ}は、（オーバーフロー電荷がなく、したがって、ＯＦノードの電圧がＶ_{ＲＥＳＥＴ}のままであるときの）キャパシタに貯蔵される総オーバーフロー電荷の下限を定義することができる。ＦＤ ＡＤＣ段階における比較器１１０２の反転は、ＯＦノード電圧がＶ_{ＲＥＳＥＴ}よりも低いことを指示することができ、これは、キャパシタに貯蔵された総オーバーフロー電荷が下限を超えることを意味し得る。したがって、ＦＤ ＡＤＣ段階における比較器１１０２の反転は、フォトダイオードＰＤが飽和し、したがって、キャパシタに貯蔵されたオーバーフロー電荷があり、オーバーフロー電荷の量子化結果が入射光の強度を表すことができることを、指示することができる。比較器１１０２の出力の検査１２０４が、ＦＤ ＡＤＣ段階の後に時間Ｔ２において行われ得、コントローラ１１１０は、比較器１１０２の反転に基づいてレジスタ１１１４中のＦＬＡＧ＿２信号をアサートして、メモリ８１０に記憶されたカウント値をロックすることができ、これは、後続の段階がメモリ８１０に別のカウント値を記憶するのを防ぐ。

Ｔ２とＴ３との間の時間期間の始まりにおいて、ＲＳＴ１信号とＲＳＴ２信号の両方が第２のリセット段階のために再びアサートされ得る。第２のリセット段階の目的は、ＣＥＸＴキャパシタとＣＯＦキャパシタとをリセットすること、および（低光強度範囲についての）測定の第３の段階においてＰＤＣＡＰキャパシタから転送された電荷を貯蔵するためにＣＯＦキャパシタを準備することである。また、ＬＧ信号は、ＣＯＦキャパシタからＣＥＸＴキャパシタを切断し、測定キャパシタのキャパシタンスを低減するために、アサート解除され得る。キャパシタンスの低減は、上記で説明されたように、電荷−電圧変換比を増加させて、低光強度決定を改善することになる。比較器１１０２もリセット状態に入れられ、ここで、ＣＥＸＴキャパシタおよびＣＯＦキャパシタをリセットすることによって生成された雑音電荷を貯蔵するためにＣＣキャパシタが使用され得る。時間Ｔ３に向かって、リセットが完了した後に、ＲＳＴ１信号とＲＳＴ２信号とはアサート解除されるが、バイアスＴＸはＶ_ＨＩＧＨまで増加して、トランジスタＭ１を完全にオンにすることができる。フォトダイオードＰＤに貯蔵された電荷は、次いで、Ｍ１を介してＣＯＦキャパシタに移動することができる。

時間Ｔ３において、カウンタ８０８は、その初期値（たとえば、０）からカウントすることを再開することができる。Ｔ３とＴ４との間の時間期間中に、ＰＤ ＡＤＣ動作が、低光強度範囲について実施され得る。その期間中に、シャッター信号はアサートされるが、ＴＸ信号は、アサート解除される（たとえば、０への設定）かまたはＶ_ＬＯＷに設定されて、ＣＯＦキャパシタにおいて貯蔵された電荷がＭ１を介して漏洩するのを防ぐ。（図１２で「第２のランピングＶＲＥＦ」と標示された）第２のランピングしきい値電圧が、ＯＦノードにおけるアナログ電圧（ＶＩＮ）のバッファされ、誤差補償されたバージョンと比較されるように、比較器１１０２に供給され得る。第２のランピングＶＲＥＦは、フォトダイオードＰＤを飽和させる残留電荷の量をＣＯＦキャパシタが貯蔵するときのＣＯＦキャパシタにおける電圧を表すＶ_{ＰＤＳＡＴ}と、Ｖ_{ＲＥＳＥＴ}との間の電圧範囲を有することができる。第２のランピングＶＲＥＦが（１つの量子化ステップ内で）ＶＩＮに一致する場合、比較器１１０２の出力は反転し得、（ＦＬＡＧ＿１信号の０値によって指示されるように）測定の第１の段階によってまたは（ＦＬＡＧ＿２信号の０値によって指示されるように）測定の第２の段階によってメモリがロックされない場合、反転の時間においてカウンタ８０８によって生成されたカウント値は、メモリ８１０に記憶され得る。

図１２は、入射光強度を測定するための３段階測定動作を示すが、それらの段階のうちの１つまたは複数が、たとえば、動作環境についての予想される入射光強度範囲に基づいて、スキップされることを理解されたい。たとえば、ピクセルセルが、低い周辺光を伴う環境において（たとえば、夜間において）動作する場合、高光強度を対象とする測定の第１の段階はスキップされ得る。その上、ピクセルセルが、中程度のまたは強い周辺光を伴う環境において（たとえば、昼間において）動作する場合、低光強度を対象とする測定の第３の段階はスキップされ得る。

図１３Ａは、ピクセルセル１１００によって出力されるカウント値と入射光強度との間の関係の一例を示す。図１３Ａでは、ｘ軸は、ＴＴＳ動作についての強度範囲と、ＦＤ ＡＤＣ動作についての強度範囲と、ＰＤ ＡＤＣ動作についての強度範囲とを含む入射光強度の範囲を対数スケールで表し、ｙ軸は、入射光強度の範囲について出力されるカウント値を線形スケールで表す。図１３Ａに示されているように、カウント値は、異なる強度範囲についての入射光強度に対して異なる関係を有することがある。たとえば、ＰＤ ＡＤＣにおいて、カウント値は、ＦＤ ＡＤＣよりも高いレートで入射光強度に対して変化する。これは、電荷−電圧変換利得を増加させるために、ＰＤ ＡＤＣにおいて、電荷貯蔵ユニット６０８の電荷貯蔵容量が低減されることによるものであり得る。その結果、ＰＤ ＡＤＣカウント値の所与の範囲が、ＦＤ ＡＤＣカウント値の同じ範囲よりも小さい強度範囲をカバーすることができ、ＰＤ ＡＤＣについての量子化分解能（ｑｕａｎｔｉｚａｔｉｏｎ ｒｅｓｏｌｕｔｉｏｎ）が改善され得る。その上、ＴＴＳにおいて、カウント値は、ＦＤ ＡＤＣ（およびＰＤ ＡＤＣ）よりもさらに高いレートで入射光強度に対して変化する。これは、ＴＴＳが、ＦＤ ＡＤＣ動作およびＰＤ ＡＤＣ動作の場合のような電荷の量ではなく、飽和までの時間を測定するということによるものであり得る。

図１３Ｂは、図１０Ａおよび図１０Ｂの非一様量子化方式が使用される、ピクセルセル１１００によって出力されるカウント値と入射光強度との間の関係の別の例を示す。図１３Ｂでは、ｘ軸は、たとえば、ＦＤ ＡＤＣ動作についての強度範囲を含む入射光強度の範囲を線形スケールで表し、ｙ軸は、入射光強度の範囲について出力されるカウント値を線形スケールで表す。図１３Ｂに示されているように、カウント値は、非一様量子化方式により、入射光強度に線形的に関係付けられない。強度範囲の下端に向かって、入射光強度に対するカウント値の変化レートは、より小さい量子化ステップにより、より高くなり得る。その上、強度範囲の上端に向かって、入射光強度に対するカウント値の変化レートは、より大きい量子化ステップにより、より低くなり得る。

カウント値と光強度との間の変動する関係は、カウント値を使用して入射光強度を決定するアプリケーションにとって、問題を提起することがある。アプリケーションは、一般に、カウント値のみを受け取り、どの（１つまたは複数の）動作モードがカウント値を生成するか、量子化分解能など、画像センサーの動作の他の情報を有しない。アプリケーションは、カウント値が、ダイナミックレンジ全体にわたって、光強度に対して一様な関係を有するという予想に基づいて、カウント値に基づいて動作し得る。その上、ＳＬＡＭなど、画像特徴抽出に依拠するいくつかのアプリケーションは、隣接ピクセルのカウント値間の差を決定するために、およびその差に基づいて画像特徴を抽出するために、カウント値が、図１３Ｃに示されている関係など、光強度に対して一様な関係を有することを必要とし得る。そのようなアプリケーションは、追加の後処理なしに、上述のマルチモード測定動作から出力されたカウント値で適切に機能することが可能でないことがある。

図１４は、入射光強度に対して一様な関係を有する画像センサー出力を提供することができる、例示的なシステム１４００を示す。図１４に示されているように、システム１４００は、ピクセルセル６００と後処理モジュール１４０２とを含む。ピクセルセル６００は入射光１４０１を受け取り、入射光１４０１の異なる強度を表すための生出力１４０４および１４０６（たとえば、カウント値）を生成することができる。生出力１４０４および１４０６は、それらの生出力によって表される光強度に対して異なる関係を有し得る。たとえば、生出力１４０４はＴＴＳ動作から生成され得るが、生出力１４０６は、ＦＤ ＡＤＣ動作またはＰＤ ＡＤＣ動作から生成され得る。

後処理モジュール１４０２は、生出力１４０４および１４０６に対して後処理動作を実施して、それぞれ、後処理された出力１４０４および１４０６を生成することができ、それらの後処理された出力は、図１３Ｃに示されている関係など、後処理された出力によって表される光強度に対して同じ関係を有する。いくつかの例では、後処理モジュール１４０２は、後処理動作を実施するためのソフトウェア命令を実行するためのハードウェアプロセッサ（たとえば、汎用中央処理ユニット、デジタル信号プロセッサなど）を含むことができる。いくつかの例では、後処理モジュール１４０２は、後処理を実施するための論理回路を含むことができる、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などを含むことができる。

さらに、図１４に示されているように、ピクセルセル６００と後処理モジュール１４０２の両方がプログラミングデータ１４３０を受け取ることができる。プログラミングデータ１４３０は、アナログデジタル変換利得（ＡＤＣ利得）、積分期間など、ピクセルセル６００における生出力の生成の様々な態様を構成することができる。ＡＤＣ利得は、カウント値と（電荷貯蔵ユニット６０８に貯蔵された電荷の量を表す）ＯＦ電圧との間の関係を定義することができ、積分期間は、フォトダイオードによって生成され、電荷貯蔵ユニットに貯蔵された電荷の量と、光強度との間の関係を定義することができる。プログラミングデータ１４３０に基づいて、後処理モジュール１４０２はまた、後処理動作を実施するために、生出力と光強度との間の関係を決定することができる。

再び図１３Ｃを参照すると、入射光強度と、積分期間内に入射光に応答してフォトダイオードＰＤによって生成される電荷の量との間に、一様な関係が存在し得る。したがって、生出力からの後処理された出力を決定するために、後処理モジュール１４０２は、ＦＤ ＡＤＣ動作およびＰＤ ＡＤＣ動作について、積分期間内にフォトダイオードＰＤによって生成された電荷の量を推定することができる。ＴＴＳ動作について、生出力が飽和までの時間を測定し、電荷貯蔵ユニット６０８が、積分期間が終了する前に、電荷を蓄積することを停止し得るとすれば、後処理モジュール１４０２は、積分期間内にフォトダイオードＰＤによって生成されたであろう電荷の量をも推定することができる。後処理モジュール１４０２は、次いで、電荷の量に基づいて、後処理された出力を決定することができる。後処理モジュール１４０２はまた、後処理された出力と光強度との間の関係の一様性をさらに改善するために、フォトダイオードＰＤにおけるおよびフローティングドレインノードにおける暗電流によって生成された暗電荷など、他の雑音電荷を加算または減算するように電荷の量を調整することができる。

図１５Ａ、図１５Ｂ、および図１５Ｃは、後処理モジュール１４０２における後処理動作のための基礎として役立つことができる、異なる測定動作における、電荷と時間との間の例示的な関係を示す。図１５Ａは、ＰＤ ＡＤＣ測定動作についての例示的な関係を示す。図１５Ａに示されているように、積分期間内に、フォトダイオードＰＤは、蓄積された残留電荷の量がフォトダイオードフルウェル容量ＦＷ_ＰＤに等しいとき、フォトダイオードＰＤが飽和する前に、ある量の残留電荷Ｑ_ＰＤを蓄積することができる。Ｑ_ＰＤの一部は、入射光に応答してフォトダイオードＰＤによって生成され、入射光の強度に線形的に関係付けられる、Ｑ_{ＰＤ＿ｌｉｇｈｔ＿ＰＤＡＤＣ}である。残りは、以下のように、積分期間Ｔ_ｉｎｔ内の、フォトダイオードＰＤにおける暗電流ＤＣ_ＰＤの積分からの暗電荷Ｑ_{Ｄａｒｋ＿ＰＤＡＤＣ}である。
Ｑ_{ＰＤ＿ｌｉｇｈｔ＿ＰＤＡＤＣ}＝Ｑ_ＰＤ−Ｑ_{Ｄａｒｋ＿ＰＤＡＤＣ}＝Ｑ_ＰＤ−ＤＣ_ＰＤ×Ｔ_ｉｎｔ （式１）

上記で説明されたように、ＰＤ ＡＤＣ動作中に、残留電荷Ｑ_ＰＤは、電圧を生じさせるために電荷貯蔵ユニット６０８に転送され、その電圧は、量子化器（たとえば、比較器１１０２、カウンタ８０８、およびメモリ８１０）によってカウント値Ｄ_{ｏｕｔ＿ＰＤ}に量子化され得る。Ｖ_{ＲＥＳＥＴ}と、Ｄ_{ｏｕｔ＿ＰＤ}によって表される電圧との間の電圧差は、Ｑ_ＰＤの（ＡＤＣ利得Ｇを伴う）量子化表現を表すことができる。式１は、以下のように書き直され得る。

上記の式２では、Ｖ_{ＲＥＳＥＴ＿Ｑ}は、アナログリセット電圧Ｖ_{ＲＥＳＥＴ}の量子化バージョンを表す。Ｃ_ＨＧは、電荷を量子化値に変換するための、単位ｅ−／ＬＳＢでの、高利得モードにおける変換係数を表し、ＰＤ ＡＤＣ測定について高利得モードにおける電荷貯蔵ユニット６０８のキャパシタンスに基づく。Ｄ_{ｏｕｔ＿ＰＤ}の後処理された出力Ｄ_{ｏｕｔ＿ＰＤ＿ｐｏｓｔ}は、以下のように、ＡＤＣ利得Ｇの量子化器を用いて、高利得モードにおいてＱ_{ＰＤ＿ｌｉｇｈｔ＿ＰＤＡＤＣ}を電荷貯蔵ユニット６０８に貯蔵することで生じた電圧を量子化した結果を表すことができる。

ピクセルセル６００からのカウント値がＰＤ ＡＤＣ動作からのものであるという指示に基づいて（たとえば、カウント値が、ＰＤ ＡＤＣに関連付けられたカウント値の範囲内にあることに基づいて、またはピクセルセル６００からの他の信号に基づいて）、ポストプロセッサ１４０２は、式３を使用して、生出力Ｄ_{ｏｕｔ＿ＰＤ}からの後処理された出力Ｄ_{ｏｕｔ＿ＰＤ＿ｐｏｓｔ}を計算することができる。ポストプロセッサ１４０２はまた、プログラミングデータ１４３０から、ＡＤＣ利得Ｇ、積分期間Ｔ_ｉｎｔ、量子化リセット電圧Ｖ_{ＲＥＳＥＴ−Ｑ}、暗電流、フォトダイオードのフルウェル容量などを取得することができる。

図１５Ｂは、ＦＤ ＡＤＣ測定動作についての、電荷と時間との間の例示的な関係を示す。図１５Ｂに示されているように、積分期間内に、フォトダイオードＰＤは、フォトダイオードＰＤが飽和するとき、（ｅ−の単位の）フォトダイオードフルウェル容量ＦＷ_ＰＤに等しい量の残留電荷を蓄積することができる。飽和点を超えると、積分期間が終了するまで、オーバーフロー電荷Ｑ_ｏｖが電荷貯蔵ユニット６０８において蓄積することができる。積分期間内に光に応答してフォトダイオードＰＤによって生成された総電荷Ｑ_{ＰＤ＿ｌｉｇｈｔ＿ＦＤＡＤＣ}は、以下のように、ＦＷ_ＰＤとＱ_ＯＶとの和であり、ただし、積分期間Ｔ_ｉｎｔ内の、フォトダイオードＰＤにおける暗電流ＤＣ_ＰＤの積分とフローティングドレインノードにおける暗電流ＤＣ_ＦＤの積分とからの暗電荷Ｑ_{Ｄａｒｋ＿ＦＤＡＤＣ}によってオフセットされ得る。
Ｑ_{ＰＤ＿ｌｉｇｈｔ＿ＦＤＡＤＣ}＝Ｑ_ｏｖ＋ＦＷ_ＰＤ−Ｑ_{Ｄａｒｋ＿ＦＤＡＤＣ}
＝Ｑ_ｏｖ＋ＦＷ_ＰＤ−（ＤＣ_ＰＤ＋ＤＣ_ＦＤ）×Ｔ_ｉｎｔ （式４）

上記で説明されたように、ＦＤ ＡＤＣ動作中に、オーバーフロー電荷Ｑ_ＦＤは、電圧を生じさせるために電荷貯蔵ユニット６０８において蓄積され、その電圧は、量子化器（たとえば、比較器１１０２、カウンタ８０８、およびメモリ８１０）によってカウント値Ｄ_{ｏｕｔ＿ＦＤ}に量子化され得る。Ｖ_{ＲＥＳＥＴ}と、Ｄ_{ｏｕｔ＿ＦＤ}によって表される電圧との間の電圧差は、Ｑ_ＦＤの（ＡＤＣ利得Ｇを伴う）量子化表現を表すことができる。式４は、以下のように書き直され得る。

上記の式５では、Ｃ_ＬＧは、ｅ−／ＬＳＢ単位での、低利得モードにおける、変換係数を表し、低利得モードにおける、電荷貯蔵ユニット６０８のキャパシタンスに基づき、ここで、電荷貯蔵ユニット６０８のキャパシタンスはＰＤ ＡＤＣに関して増加する。Ｄ_{ｏｕｔ＿ＦＤ}の後処理された出力Ｄ_{ｏｕｔ＿ＦＤ＿ｐｏｓｔ}は、以下のように、ＡＤＣ利得Ｇの量子化器を用いて、（ＰＤ ＡＤＣと同じスケールを有すべき）Ｃ_ＨＧでＱ_{ＰＤ＿ｌｉｇｈｔ＿ＰＤＡＤＣ}を貯蔵することで生じた電圧を量子化した結果を表すことができる。

ピクセルセル６００からのカウント値がＦＤ ＡＤＣ動作からのものであるという指示に基づいて（たとえば、カウント値が、ＦＤ ＡＤＣに関連付けられたカウント値の範囲内にあることに基づいて、またはピクセルセル６００からの他の信号に基づいて）、ポストプロセッサ１４０２は、式６を使用して、生出力Ｄ_{ｏｕｔ＿ＦＤ}からの後処理された出力Ｄ_{ｏｕｔ＿ＦＤ＿ｐｏｓｔ}を計算することができる。ポストプロセッサ１４０２はまた、プログラミングデータ１４３０から、ＡＤＣ利得Ｇ、積分期間Ｔ_ｉｎｔ、量子化リセット電圧Ｖ_{ＲＥＳＥＴ−Ｑ}、暗電流、フォトダイオードのフルウェル容量などを取得することができる。

図１５Ｃは、ＴＴＳ測定動作についての、電荷と時間との間の例示的な関係を示す。図１５Ｃに示されているように、積分期間が終了する前に、オーバーフロー電荷は（積分期間の開始に対する）時間Ｔｓにおいて飽和し得る。積分期間が開始したときから時間Ｔｓまでにフォトダイオードによって生成された電荷の総量は、ＦＷ_ＰＤ（フォトダイオードＰＤのフルウェル容量）と、Ｑ_{ｏｖ＿ｓａｔｕｒａｔｅ}、すなわち、（Ｖ_{ＲＥＳＥＴ}−Ｖ_{ＦＤＳＡＴ}）×Ｃ_ＬＧによって与えられ得る、低利得モードにおいて電荷貯蔵デバイス６０８を飽和させるオーバーフロー電荷の量との和に等しい。時間Ｔｓは、カウンタ８０８によって測定および量子化されて、カウント値Ｄ_{ｏｕｔ＿ＴＴＳ}を生成することができる。積分期間の終了は、カウント値Ｄ_{ＯＵＴ＿ＭＡＸ}によって表され得る。（ＰＤ ＡＤＣについて）式３の場合および（ＦＤ ＡＤＣについて）式６の場合と同じ、電荷と光強度との間の一様な関係を作り出すために、後処理モジュール１４０２は、以下の式に基づいて、ＴＴＳ動作について、積分期間内に高利得モードにおいて電荷貯蔵デバイス６０８において貯蔵されたであろう電荷の量Ｑ_{ＴＴＳ＿ｅｘｔｒａｐｏｌａｔｅ}を外挿することができる。

さらに、積分期間が開始したときとＴｓとの間に、フォトダイオードＰＤおよびフローティングドレインノードは、以下のように、ある量の暗電荷Ｑ_{Ｄａｒｋ＿ＴＴＳ}を蓄積することができる。

外挿された電荷Ｑ_{ＴＴＳ＿ｅｘｔｒａｐｏｌａｔｅ}は、以下のように、Ｑ_{Ｄａｒｋ−ＴＴＳ}によってオフセットされてＱ_{ＰＤ−ＴＴＳ}を取得することができ、これは、入射光に応答してフォトダイオードによって生成された電荷の一部に対応する。
Ｑ_{ＰＤ＿ｌｉｇｈｔ＿ＴＴＳ}＝Ｑ_{ＴＴＳ＿ｅｘｔｒａｐｏｌａｔｅ}−Ｑ_{Ｄａｒｋ−ＴＴＳ} （式９）

式９は、以下のように、Ｄ_{ｏｕｔ＿ＴＴＳ}に関して書き直され得る。

Ｄ_{ｏｕｔ＿ＴＴＳ}の後処理された出力Ｄ_{ｏｕｔ＿ＴＴＳ＿ｐｏｓｔ}は、以下のように、ＡＤＣ利得Ｇの量子化器を用いて、（ＰＤ ＡＤＣおよびＦＤ ＡＤＣと同じスケールを有すべき）Ｃ_ＨＧでＱ_{ＰＤ−ｌｉｇｈｔ}を貯蔵することで生じた電圧を量子化した結果を表すことができる。

式１１は、以下のように、式１０と組み合わせられ得る。

ピクセルセル６００からのカウント値がＴＴＳ動作からのものであるという指示に基づいて（たとえば、カウント値が、ＴＴＳに関連付けられたカウント値の範囲内にあることに基づいて、またはピクセルセル６００からの他の信号に基づいて）、ポストプロセッサ１４０２は、式１２を使用して、生出力Ｄ_{ｏｕｔ＿ＴＴＳ}からの後処理された出力Ｄ_{ｏｕｔ＿ＴＴＳ＿ｐｏｓｔ}を計算することができる。ポストプロセッサ１４０２はまた、プログラミングデータ１４３０から、ＡＤＣ利得Ｇ、積分期間Ｔ_ｉｎｔ、低利得モードにおける電荷貯蔵ユニット６０８の（電荷に換算した）電荷貯蔵容量、暗電流、フォトダイオードのフルウェル容量などを取得することができる。

上式中の、フォトダイオードＰＤのフルウェル容量、暗電流、ＡＤＣ利得、変換利得などのパラメータは、較正プロセスにおいて測定され得る。また、これらのパラメータのうちのいくつかは、（暗電流に影響を及ぼすことがある）温度など、異なる環境条件について測定され得る。次いで、後処理された出力と異なる光強度との間の関係の一様性をさらに改善するために、特定の温度に対応するパラメータのセットが、その特定の温度において取得されたカウント値の後処理動作を実施するために後処理モジュール１４０２に提供され得る。

いくつかのシナリオでは、生出力を後処理された出力にマッピングすることについての、式３、６、および１２などの閉形式式が存在しない。１つの例示的なシナリオは、非一様量子化が使用されるときである。そのような場合、後処理動作を実施するために、１つまたは複数のルックアップテーブルが後処理モジュール１４０２において実装され得る。図１６Ａおよび図１６Ｂは、後処理モジュール１４０２の一部であり得るルックアップテーブルの例を示す。図１６Ａに示されているように、ルックアップテーブル１６０２は、カウント値（たとえば、００００、０００１、０００２など）のセットを、後処理された出力として提供されるべき強度値のセットにマッピングすることができる。カウント値は、非一様量子化方式から生成され得、したがって、より低い値がより細かい量子化ステップを表し、より高い値がより粗い量子化ステップを表し、これは、対応する強度値間の間隔によって反映される。

いくつかの例では、図１６Ｂに示されているように、後処理モジュール１４０２は、ルックアップテーブル１６１０、１６１２、および１６１４など、複数のルックアップテーブルを含み得る。各ルックアップテーブルは、特定の測定モード（たとえば、ＴＴＳ、ＰＤ ＡＤＣ、ＦＤ ＡＤＣ）、特定の環境条件（たとえば、温度）についてのものであり得、それらの各々が、生入力と後処理された出力との間の異なるマッピングを必要とし得る。後処理モジュール１４０２は、ルーティング論理１６１６と出力論理１６２０とをさらに含む。ルーティング論理１６１６は、ピクセルセル６００からの生出力１６２４、ならびにプログラミングデータ１４３０を受け取り、ルックアップテーブル１６１０、１６１２、または１６１４のうちのどれに生出力１６２４をルーティングすべきかを決定することができる。その決定は、たとえば、生出力１６２４が、ＴＴＳ動作、ＰＤ ＡＤＣ動作、またはＦＤ ＡＤＣ動作からのものであるという指示（たとえば、生出力が、ＴＴＳ、ＰＤ ＡＤＣ、またはＦＤ ＡＤＣに関連付けられたカウント値の範囲内にあることに基づく、あるいはピクセルセル６００からの他の信号に基づく）、（たとえば、プログラミングデータ１４３０からの）環境条件などに基づき得る。ルーティング論理１６１６はまた、生出力１６２４を後処理するためにどのルックアップテーブルが選択されるかに関する指示を、出力論理１６２０に送信することができる。その指示に基づいて、出力論理１６２０は、選択されたルックアップテーブルからの出力を、後処理された出力１６３０としてフォワーディングすることができる。

図１７は、光強度を測定する例示的な方法１７００のフローチャートを示す。方法１７００は、たとえば、画像センサー（たとえば、ピクセルセル６００）と後処理モジュール１４０２とを含むシステム１４００によって実施され得る。

ステップ１７０２において、画像センサーは、第１の関係に基づいて、入射光の第１の強度を表すための第１の生出力を生成することができる。第１の関係は、ＴＴＳ動作についての強度範囲など、第１の強度範囲に関連付けられ得、ここで、第１の生出力は、ピクセルセル６００の電荷貯蔵ユニット６０８の飽和の時間を測定することができる。

ステップ１７０４において、画像センサーは、第２の関係に基づいて、入射光の第２の強度を表すための第２の生出力を生成することができる。第２の関係は、第１の強度範囲とは異なる第２の強度範囲に関連付けられ得る。たとえば、第２の強度範囲は、ＦＤ ＡＤＣ動作についてのまたはＰＤ ＡＤＣ動作についての強度範囲であり得る。ＦＤ ＡＤＣ動作の場合、第２の生出力は、電荷貯蔵ユニット６０８が（たとえば、増加されたキャパシタンスを有する）低利得モードにおいて動作するとき、フォトダイオードが飽和した後に電荷貯蔵ユニット６０８に貯蔵されたオーバーフロー電荷の量を測定することができる。ＰＤ ＡＤＣ動作の場合、第２の生出力は、（たとえば、低減されたキャパシタンスを有する）高利得モードにおいてフォトダイオードから電荷貯蔵ユニット６０８に転送された残留電荷の量を測定することができる。

ステップ１７０６において、ポストプロセッサは、第１の生出力に基づいておよび第１の関係に基づいて、第１の後処理された出力を生成することができ、したがって、第１の後処理された出力は、第３の関係に基づいて第１の強度に線形的に関係付けられる。第３の関係は、図１３Ｃに示されている関係など、光強度に対する、フォトダイオードによって生成された電荷の量の推定値など、カウント値と光強度との間の線形および一様な関係であり得る。第１の後処理された出力は、ＴＴＳ動作について図１５Ｃおよび式１２において説明されるように、第１の関係と第３の関係との間のマッピングに基づいて決定され得る。

ステップ１７０８において、ポストプロセッサは、第２の生出力に基づいておよび第２の関係に基づいて、第２の後処理された出力を生成することができ、したがって、第２の後処理された出力は、第３の関係に基づいて第２の強度に線形的に関係付けられる。第２の後処理された出力は、ＰＤ ＡＤＣ動作について図１５Ａおよび式３において説明されるように、またはＦＤ ＡＤＣ動作について図１５Ｂおよび式６において説明されるように、第１の関係と第３の関係との間のマッピングに基づいて決定され得る。

本開示の実施形態の上記の説明は、説明の目的で提示されており、網羅的であること、または開示される正確な形態に本開示を限定することは意図されない。当業者は、上記の開示に照らして多くの修正および変形が可能であることを諒解することができる。

本明細書のいくつかの部分は、情報に関する動作のアルゴリズムおよび記号表現に関して本開示の実施形態について説明する。これらのアルゴリズム説明および表現は、データ処理技術分野の当業者が、他の当業者に自身の仕事の本質を効果的に伝えるために通常使用される。これらの動作は、機能的に、計算量的に、または論理的に説明されるが、コンピュータプログラムまたは等価な電気回路、マイクロコードなどによって実装されることが理解される。さらに、一般性の喪失なしに、動作のこれらの仕組みをモジュールと呼ぶことが時々好都合であることも証明された。説明される動作およびそれらの関連するモジュールは、ソフトウェア、ファームウェア、および／またはハードウェアにおいて具現され得る。

説明されるステップ、動作、またはプロセスは、１つまたは複数のハードウェアまたはソフトウェアモジュールで、単独でまたは他のデバイスとの組合せで実施または実装され得る。いくつかの実施形態では、ソフトウェアモジュールは、コンピュータプログラムコードを含んでいるコンピュータ可読媒体を備えるコンピュータプログラム製品で実装され、コンピュータプログラムコードは、説明されるステップ、動作、またはプロセスのいずれかまたはすべてを実施するためにコンピュータプロセッサによって実行され得る。

本開示の実施形態はまた、説明される動作を実施するための装置に関し得る。本装置は、必要とされる目的のために特別に構築され得、および／あるいは、本装置は、コンピュータに記憶されたコンピュータプログラムによって選択的にアクティブ化または再構成される汎用コンピューティングデバイスを備え得る。そのようなコンピュータプログラムは、非一時的有形コンピュータ可読記憶媒体、または、コンピュータシステムバスに結合され得る、電子命令を記憶するのに好適な任意のタイプのメディアに記憶され得る。さらに、本明細書で言及される任意のコンピューティングシステムは、単一のプロセッサを含み得るか、または、増加された計算能力のために複数のプロセッサ設計を採用するアーキテクチャであり得る。

本開示の実施形態はまた、本明細書で説明されるコンピューティングプロセスによって製造される製品に関し得る。そのような製品は、コンピューティングプロセスから生じる情報を備え得、その情報は、非一時的有形コンピュータ可読記憶媒体に記憶され、本明細書で説明されるコンピュータプログラム製品または他のデータ組合せの任意の実施形態を含み得る。

本明細書で使用される言い回しは、主に読みやすさおよび教授の目的で選択されており、その言い回しは、本発明の主題を画定または制限するために選択されていないことがある。したがって、本開示の範囲はこの詳細な説明によって限定されるのではなく、むしろ、本明細書に基づく出願に関して生じる請求項によって限定されることが意図される。したがって、実施形態の開示は、以下の特許請求の範囲に記載される本開示の範囲を例示するものであり、限定するものではない。

Claims (20)

1. 第１の関係に基づいて、入射光の第１の強度を表すための第１の生出力を生成することと、
   第２の関係に基づいて、入射光の第２の強度を表すための第２の生出力を生成することと
   を行うように構成された画像センサーと、
   前記第１の生出力に基づいておよび前記第１の関係に基づいて、第１の後処理された出力を生成することであって、したがって、前記第１の後処理された出力が、第３の関係に基づいて前記第１の強度に線形的に関係付けられる、第１の後処理された出力を生成することと、
   前記第２の生出力に基づいておよび前記第２の関係に基づいて、第２の後処理された出力を生成することであって、したがって、前記第２の後処理された出力が、前記第３の関係に基づいて前記第２の強度に線形的に関係付けられる、第２の後処理された出力を生成することと
   を行うように構成されたポストプロセッサと
   を備える、装置。
2. 前記第１の生出力と前記第１の強度との間の前記第１の関係が、第１の強度範囲に関連付けられ、
   前記第２の生出力と前記第２の強度との間の前記第２の関係が、第２の強度範囲に関連付けられ、
   前記第３の関係が、前記第１の強度範囲と前記第２の強度範囲とを含む第３の強度範囲に関連付けられる、
   請求項１に記載の装置。
3. 前記画像センサーは、
   フォトダイオードであって、
   積分期間内に、入射光に応答して電荷を生成することと、
   前記フォトダイオードが飽和するまで、前記電荷の少なくとも一部を残留電荷として蓄積することと
   を行うように構成された、フォトダイオードと、
   電荷貯蔵ユニットであって、前記電荷貯蔵ユニットが飽和するまで、残りの電荷をオーバーフロー電荷として蓄積するように構成された、電荷貯蔵ユニットと
   を備える、請求項２に記載の装置。
4. 前記第３の関係が、前記積分期間内に前記フォトダイオードによって生成された電荷の推定された量に、後処理された出力を線形的に関係付ける、請求項３に記載の装置。
5. 前記第１の生出力は、前記積分期間が終了する前に前記電荷貯蔵ユニットが飽和する飽和時間を測定し、
   前記第２の生出力が、前記積分期間内に前記電荷貯蔵ユニットによって蓄積された前記オーバーフロー電荷の量を測定する、
   請求項４に記載の装置。
6. 前記ポストプロセッサが、
   前記飽和時間に基づいて、前記電荷貯蔵ユニットによる前記オーバーフロー電荷の蓄積のレートを決定することと、
   前記オーバーフロー電荷の蓄積の前記レートと前記積分期間とに基づいて、前記積分期間内に前記フォトダイオードによって生成された電荷の前記推定された量を決定することと、
   電荷の前記推定された量に基づいて前記第１の後処理された出力を決定することと
   を行うように構成された、請求項５に記載の装置。
7. 前記ポストプロセッサが、前記積分期間内に前記電荷貯蔵ユニットによって受け取られた暗電流の第１の量と前記フォトダイオードによって受け取られた暗電流の第２の量とに基づいて、電荷の前記推定された量を決定するように構成された、請求項６に記載の装置。
8. 前記ポストプロセッサが、前記電荷貯蔵ユニットの第１の電荷貯蔵容量と前記フォトダイオードの第２の電荷貯蔵容量とに基づいて、前記オーバーフロー電荷の蓄積の前記レートを決定するように構成された、請求項６に記載の装置。
9. 前記ポストプロセッサが、
   前記第２の生出力と前記フォトダイオードの電荷貯蔵容量とに基づいて、電荷の前記推定された量を決定することと、
   電荷の前記推定された量に基づいて前記第２の後処理された出力を決定することと
   を行うように構成された、請求項４に記載の装置。
10. 前記ポストプロセッサが、前記積分期間内に前記電荷貯蔵ユニットによって受け取られた暗電流の第１の量と前記フォトダイオードによって受け取られた暗電流の第２の量とに基づいて、電荷の前記推定された量を決定するように構成された、請求項９に記載の装置。
11. 前記第１の生出力が、前記積分期間内に前記電荷貯蔵ユニットによって蓄積された前記オーバーフロー電荷の量を測定し、
    前記第２の生出力が、前記積分期間内に前記フォトダイオードによって蓄積された前記残留電荷の量を測定する、
    請求項３に記載の装置。
12. 前記画像センサーが、入射光の第３の強度を表すための第３の生出力を生成するように構成され、前記第３の生出力は、前記電荷貯蔵ユニットが飽和する飽和時間を測定し、第４の関係に基づいて前記入射光の前記第３の強度に関係付けられ、
    前記ポストプロセッサが、前記第３の生出力に基づいておよび前記第４の関係に基づいて、第３の後処理された出力を生成することであって、したがって、前記第３の後処理された出力が、前記第３の関係に基づいて前記第３の強度に線形的に関係付けられる、第３の後処理された出力を生成することを行うように構成された、
    請求項１１に記載の装置。
13. 前記電荷貯蔵ユニットが、構成可能な電荷貯蔵容量を有し、
    前記画像センサーが、前記第１の生出力を生成するために、第１の電荷貯蔵容量を有する前記電荷貯蔵ユニットにおいて前記オーバーフロー電荷を貯蔵するように構成され、
    前記画像センサーが、前記第２の生出力を生成するために、前記フォトダイオードから、第２の電荷貯蔵容量を有する前記電荷貯蔵ユニットに前記残留電荷を転送するように構成され、
    前記第１の後処理された出力が、前記第１の電荷貯蔵容量と前記第２の電荷貯蔵容量とに基づいて生成される、
    請求項１１に記載の装置。
14. 前記第１の後処理された出力が、前記積分期間内に前記電荷貯蔵ユニットによって受け取られた暗電流の第１の量と前記フォトダイオードによって受け取られた暗電流の第２の量とに基づいて生成され、
    前記第２の後処理された出力が、前記積分期間内に前記フォトダイオードによって受け取られた暗電流の前記第２の量に基づいて生成される、
    請求項１３に記載の装置。
15. 前記ポストプロセッサが、前記第１の生出力を前記第１の後処理された出力にマッピングし、前記第２の生出力を前記第２の後処理された出力にマッピングする、１つまたは複数のルックアップテーブルを備え、
    前記ポストプロセッサが、前記１つまたは複数のルックアップテーブルに基づいて前記第１の後処理された出力と前記第２の後処理された出力とを生成するように構成された、
    請求項１に記載の装置。
16. 前記１つまたは複数のルックアップテーブルが、前記第１の生出力を前記第１の後処理された出力にマッピングする第１のルックアップテーブルと、前記第２の生出力を前記第２の後処理された出力にマッピングする第２のルックアップテーブルとを含み、
    前記ポストプロセッサが、前記第１の強度に基づいて前記第１のルックアップテーブルを選択し、前記第２の強度に基づいて前記第２のルックアップテーブルを選択するように構成された、
    請求項１５に記載の装置。
17. 前記第１の生出力および前記第２の生出力が、非一様量子化プロセスに基づいて生成される、請求項１６に記載の装置。
18. 画像センサーによって、第１の関係に基づいて、入射光の第１の強度を表すための第１の生出力を生成することと、
    前記画像センサーによって、第２の関係に基づいて、前記入射光の第２の強度を表すための第２の生出力を生成することと、
    ポストプロセッサによって、前記第１の生出力に基づいておよび前記第１の関係に基づいて、第１の後処理された出力を生成することであって、したがって、前記第１の後処理された出力が、第３の関係に基づいて前記第１の強度に線形的に関係付けられる、第１の後処理された出力を生成することと、
    前記ポストプロセッサによって、前記第２の生出力に基づいておよび前記第２の関係に基づいて、第２の後処理された出力を生成することであって、したがって、前記第２の後処理された出力が、前記第３の関係に基づいて前記第２の強度に線形的に関係付けられる、第２の後処理された出力を生成することと
    を含む、方法。
19. 前記画像センサーによって、入射光の第３の強度を表すための第３の生出力を生成することであって、前記第３の生出力は、前記画像センサーの電荷貯蔵ユニットが飽和する飽和時間を測定し、第４の関係に基づいて前記入射光の前記第３の強度に関係付けられる、第３の生出力を生成することと、
    前記ポストプロセッサによって、前記第３の生出力に基づいておよび前記第４の関係に基づいて、第３の後処理された出力を生成することであって、したがって、前記第３の後処理された出力が、前記第３の関係に基づいて前記第３の強度に線形的に関係付けられる、第３の後処理された出力を生成することと
    をさらに含む、請求項１８に記載の方法。
20. 命令を記憶する非一時的コンピュータ可読媒体であって、前記命令は、ハードウェアプロセッサによって実行されたとき、前記ハードウェアプロセッサに、
    画像センサーから、第１の関係に基づいて、入射光の第１の強度を表すための第１の生出力を受け取ることと、
    前記画像センサーから、第２の関係に基づいて、前記入射光の第２の強度を表すための第２の生出力を受け取ることと、
    前記第１の生出力に基づいておよび前記第１の関係に基づいて、第１の後処理された出力を生成することであって、したがって、前記第１の後処理された出力が、第３の関係に基づいて前記第１の強度に線形的に関係付けられる、第１の後処理された出力を生成することと、
    前記第２の生出力に基づいておよび前記第２の関係に基づいて、第２の後処理された出力を生成することであって、したがって、前記第２の後処理された出力が、前記第３の関係に基づいて前記第２の強度に線形的に関係付けられる、第２の後処理された出力を生成することと
    を行わせる、非一時的コンピュータ可読媒体。

Images