JP2021515481A - 適応露光を伴うデジタルピクセルアレイ - Google Patents

Abstract

光検知のための方法およびシステムが提供される。一例では、装置が、ピクセルセルのアレイと、コントローラとを備える。ピクセルセルのアレイの各ピクセルセルは、入射光を受け取ると電荷を生成するように構成されたフォトダイオードと、フォトダイオードによって生成された電荷を蓄積するように構成されたキャパシタとを含む。コントローラは、ピクセルセルにおいて電荷を蓄積するために露光期間を開始することと、少なくとも１つのピクセルセルによって蓄積された電荷の量が所定のしきい値を超えたという決定に基づいて、ピクセルセルのアレイのキャパシタが電荷を蓄積することを停止することを引き起こすために露光期間を終了することと、露光期間内に各ピクセルセルのキャパシタにおいて蓄積された電荷に基づいて各ピクセルセルについての出力ピクセル値を生成することと、画像フレームを生成するために出力ピクセル値を提供することとを行うように構成される。【選択図】図１５

Description

本開示は、一般に画像センサーに関し、より詳細には、画像生成のために光強度を決定するためのインターフェース回路要素を含むピクセルセル構造に関する。

一般的な画像センサーは、光子を電荷（たとえば、電子または正孔）に変換することによって入射光を検知するためのフォトダイオードを含む。画像センサーは、露光期間中にフォトダイオードによって生成された電荷を収集するためのキャパシタとして構成されたフローティングノードをさらに含む。収集された電荷は、キャパシタにおいて電圧を生じさせることができる。電圧は、バッファされ、アナログデジタル変換器（ＡＤＣ）に与えられ得、ＡＤＣは、電圧を、入射光の強度を表すデジタル値に変換することができる。

本開示は、画像センサーに関する。より詳細には、限定はしないが、本開示は、画像フレームを生成するための露光期間における多段読出しをサポートするピクセルセルアレイに関する。

一例では、装置が提供される。本装置は、ピクセルセルのアレイであって、各ピクセルセルが、入射光を受け取ると電荷を生成するように構成されたフォトダイオードと、フォトダイオードによって生成された電荷を蓄積するように構成されたキャパシタとを含む、ピクセルセルのアレイを備える。本装置は、ピクセルセルのアレイのキャパシタが電荷を蓄積することを可能にするために露光期間を開始することと、
ピクセルセルのアレイの少なくとも１つのピクセルセルによって蓄積された電荷の量が所定のしきい値を超えたかどうかを決定することと、少なくとも１つのピクセルセルによって蓄積された電荷の量が所定のしきい値を超えたという決定に基づいて、ピクセルセルのアレイのキャパシタが電荷を蓄積することを停止することを引き起こすために露光期間を終了することと、露光期間内に各ピクセルセルのキャパシタにおいて蓄積された電荷に基づいて各ピクセルセルについての出力ピクセル値を生成することと、画像フレームの生成のために出力ピクセル値を提供することとを行うように構成されたコントローラをさらに備える。

いくつかの態様では、コントローラは、露光期間内に各ピクセルセルのキャパシタにおいて蓄積された電荷に基づいて各ピクセルセルについての中間ピクセル値を決定することと、終了された露光期間の持続時間に基づいてスケール値を決定することと、出力ピクセル値を生成するためにスケール値を使用して中間ピクセル値の各々をスケーリングすることとを行うようにさらに構成される。

いくつかの態様では、所定のしきい値は、少なくとも１つのピクセルセルを飽和させる入射光の強度範囲に基づいて設定される。いくつかの態様では、所定のしきい値は、電荷を蓄積するための、少なくとも１つのピクセルセルのキャパシタの容量に基づいて設定される。

いくつかの態様では、本装置は、ピクセルセルのキャパシタが所定のしきい値に等しい電荷の量を蓄積するための時間の測定値、または、露光期間が終了したときにキャパシタにおいて蓄積された電荷の量の測定値のうちの少なくとも１つに基づいて、デジタルピクセル値を生成するように構成された１つまたは複数のアナログデジタル変換器（ＡＤＣ）と、ピクセルセルのアレイの各ピクセルセルのフォトダイオードにおいて蓄積された電荷に基づいて各ピクセルセルについてのデジタルピクセル値を生成するために、各ピクセルセルを１つまたは複数のＡＤＣに順次結合するように構成された選択モジュールとをさらに備える。

いくつかの態様では、コントローラは、複数の露光期間の各露光期間において、少なくとも１つのピクセルセルとしてピクセルセルのアレイからピクセルセルを選択することと、選択されたピクセルセルにおいて蓄積された電荷の量が所定のしきい値を超えたかどうかを決定するために、選択されたピクセルセルを１つまたは複数のＡＤＣに結合するように選択モジュールを制御することと、選択されたピクセルセルにおいて蓄積された電荷の量が所定のしきい値を超えたと決定したことに応答して、各露光期間を終了することとを行うように構成される。

いくつかの態様では、コントローラは、複数の露光期間の各露光期間において同じピクセルセルを選択するように構成される。いくつかの態様では、コントローラは、複数の露光期間のうちの第１の露光期間と第２の露光期間とにおいて異なるピクセルセルを選択するように構成される。いくつかの態様では、コントローラはまた、ピクセルセルのデジタルピクセル値が前の露光期間において所定のしきい値を超えたことに基づいて、現在の露光期間においてピクセルセルを選択するように構成される。いくつかの態様では、コントローラは、ランダム関数に基づいてピクセルセルを選択するように構成される。

いくつかの態様では、本装置の各ピクセルセルは、各ピクセルセルのキャパシタが所定のしきい値に等しい電荷の量を蓄積するための時間の測定値、または、露光期間が終了したときにキャパシタにおいて蓄積された電荷の量の測定値のうちの少なくとも１つに基づいて、各ピクセルセルについてのデジタルピクセル値を生成するように構成されたアナログデジタル変換器（ＡＤＣ）を含み得る。コントローラは、ピクセルセルのうちの少なくとも１つにおいて蓄積された電荷の量が所定のしきい値を超えたという指示をモニタし、指示を受け取ったことに基づいて各ピクセルセルについての露光期間を終了し得る。

いくつかの態様では、露光期間はデフォルト終了時間を有し得る。コントローラは、少なくとも１つのピクセルセルによって蓄積された電荷の量が所定のしきい値を超えたという決定に基づいてデフォルト終了時間の前に露光期間を終了し得る。デフォルト終了時間は、周辺光強度に基づいてあらかじめ設定され得る。

いくつかの態様では、本装置のピクセルセルのアレイはピクセルセルの第１のアレイである。本装置はピクセルセルの第２のアレイをさらに備え得る。コントローラは、第１のアレイについて、および第２のアレイについて、第１の時間において露光期間を開始し、第１のアレイについて、第２の時間において露光期間を終了し、第２のアレイについて、第２の時間とは異なる第３の時間において露光期間を終了し得る。

一例では、方法が提供される。本方法は、ピクセルセルのアレイの各ピクセルセルのキャパシタが、各ピクセルセル中に含まれるフォトダイオードによって生成された電荷を蓄積することを可能にするために、露光期間を開始することと、ピクセルセルのアレイの少なくとも１つのピクセルセルによって蓄積された電荷の量が所定のしきい値を超えたかどうかを決定することと、少なくとも１つのピクセルセルによって蓄積された電荷の量が所定のしきい値を超えたと決定したことに基づいて、ピクセルセルのアレイのキャパシタが電荷を蓄積することを停止することを引き起こすために露光期間を終了することと、露光期間内に各ピクセルセルのキャパシタにおいて蓄積された電荷に基づいて各ピクセルセルについての出力ピクセル値を生成することと、画像フレームの生成のために出力ピクセル値を提供することとを含み得る。

いくつかの態様では、本方法は、露光期間内に各ピクセルセルのキャパシタにおいて蓄積された電荷に基づいて各ピクセルセルについての中間ピクセル値を決定することと、終了された露光期間の持続時間に基づいてスケール値を決定することと、出力ピクセル値を生成するためにスケール値を使用して中間ピクセル値の各々をスケーリングすることとをさらに含む。

いくつかの態様では、本方法は、各ピクセルセルのキャパシタが所定のしきい値に等しい電荷の量を蓄積するための時間の測定値、または、露光期間が終了したときに各ピクセルセルのキャパシタにおいて蓄積された電荷の量の測定値のうちの少なくとも１つに基づいて、ＡＤＣを使用して、各ピクセルセルについてのデジタルピクセル値を生成することをさらに含む。

いくつかの態様では、本方法は、複数の露光期間の各露光期間において、少なくとも１つのピクセルセルとしてピクセルセルのアレイからピクセルセルを選択することと、選択されたピクセルセルにおいて蓄積された電荷の量が所定のしきい値を超えたかどうかを決定するようにＡＤＣを制御することと、選択されたピクセルセルにおいて蓄積された電荷の量が所定のしきい値を超えたと決定したことに応答して、各露光期間を終了することとをさらに含む。いくつかの態様では、同じピクセルセルが、複数の露光期間の各露光期間において選択される。いくつかの態様では、第１の露光期間における異なるピクセルセルが、複数の露光期間のうちの第１の露光期間と第２の露光期間とにおいて選択される。いくつかの態様では、ピクセルセルは、ピクセルセルのデジタルピクセル値が前の露光期間において所定のしきい値を超えたことに基づいて、現在の露光期間において選択される。いくつかの態様では、ピクセルセルはランダム関数に基づいて選択される。

以下の図を参照しながら、例示的な実施形態が説明される。

ニアアイディスプレイ（ｎｅａｒ−ｅｙｅ ｄｉｓｐｌａｙ）の一実施形態の図である。 ニアアイディスプレイ（ｎｅａｒ−ｅｙｅ ｄｉｓｐｌａｙ）の一実施形態の図である。 ニアアイディスプレイの断面の一実施形態の図である。 単一のソースアセンブリ（ｓｏｕｒｃｅ ａｓｓｅｍｂｌｙ）をもつ導波路ディスプレイ（ｗａｖｅｇｕｉｄｅ ｄｉｓｐｌａｙ）の一実施形態の等角図である。 導波路ディスプレイの一実施形態の断面を示す図である。 ニアアイディスプレイを含むシステムの一実施形態のブロック図である。 図５のニアアイディスプレイによって実施され得る露光時間調整の例を示す図である。 図５のニアアイディスプレイによって実施され得る露光時間調整の例を示す図である。 画像センサーの実施形態のブロック図である。 画像センサーの実施形態のブロック図である。 図７Ａおよび図７Ｂの実施形態による、異なる範囲の光強度を決定するための動作を示す図である。 図７のピクセルセルの内部構成要素の例を示す図である。 光強度を量子化するための技法を示す図である。 光強度を量子化するための技法を示す図である。 ピクセルセルの一実施形態のブロック図である。 光強度を決定するための例示的な方法を示す図である。 光強度を決定するための例示的な方法を示す図である。 光強度を決定するための例示的な方法を示す図である。 光強度を決定するための例示的な方法を示す図である。 光強度を決定するための別の例示的な方法を示す図である。 光強度を決定するためのプロセスのフローチャートの一実施形態を示す図である。 ピクセルセルアレイを動作させるためのプロセスのフローチャートの一実施形態を示す図である。

図は、単に説明の目的で本開示の実施形態を示す。本開示の原理またはうたわれている利益から逸脱することなく、示される構造および方法の代替実施形態が採用され得ることを、当業者は以下の説明から容易に認識されよう。

添付の図において、同様の構成要素および／または特徴は、同じ参照ラベルを有し得る。さらに、同じタイプの様々な構成要素は、同様の構成要素間を区別するダッシュおよび第２のラベルを参照ラベルの後に続けることによって区別され得る。第１の参照ラベルのみが明細書において使用される場合、説明は、第２の参照ラベルには関係なく同じ第１の参照ラベルを有する同様の構成要素のいずれか１つに適用可能である。

以下の説明では、説明の目的で、いくつかの発明の実施形態の完全な理解を提供するために、具体的な詳細が記載される。ただし、様々な実施形態がこれらの具体的な詳細なしに実施され得ることは明らかであろう。図および説明は、限定するものではない。

一般的な画像センサーは、光子を電荷（たとえば、電子または正孔）に変換することによって入射光を検知するためのフォトダイオードを含む。画像センサーは、露光期間中にフォトダイオードによって生成された電荷を収集するためのキャパシタとして構成されたフローティングノードをさらに含む。収集された電荷は、キャパシタにおいて電圧を生じさせることができる。電圧は、バッファされ、アナログデジタル変換器（ＡＤＣ）に与えられ得、ＡＤＣは、電圧を、入射光の強度を表すデジタルピクセルデータに変換することができる。デジタル値の各々は、ＡＤＣの量子化分解能（ｑｕａｎｔｉｚａｔｉｏｎ ｒｅｓｏｌｕｔｉｏｎ）に基づいて決定されるビット深度（たとえば、８ビット、１６ビットなど）を有する。

画像センサーのアレイによって提供される強度データに基づいて画像が生成され得、各画像センサーが、画像のピクセルに対応するピクセルセルを形成する。ピクセルセルのアレイは行および列に配列され得、各ピクセルセルが、画像中の特定のロケーションに関連付けられたピクセルについての強度を表す電圧を生成する。アレイ中に含まれるピクセルの数が、生成された画像の分解能を決定することができる。ＡＤＣによって生成された各ピクセルのデジタル強度データに基づいて、画像が再構築され得る。画像フレームの各ピクセルのデジタル強度データは、後続の処理のためにフレームバッファに記憶され得る。

露光期間内にフローティングノードにおいて貯蔵された電荷の数を反映する、ＡＤＣによって生成されたデジタル値は、入射光の強度に相関し得る。しかしながら、相関の程度は、異なる要因によって影響を及ぼされ得る。たとえば、フローティングノードに貯蔵された電荷の量は、フローティングノードが飽和限界に達するまで、入射光の強度に直接関係し得る。飽和限界を超えると、フローティングノードは、フォトダイオードによって生成された追加の電荷を蓄積することができないことがあり、追加の電荷は、漏洩され、貯蔵されないことがある。その結果、フローティングノードにおいて貯蔵された電荷の量は、フォトダイオードによって実際に生成された電荷の量よりも少なくなり得る。飽和限界は、画像センサーの測定可能な光強度の上限を決定し得、画像センサーは、強い周辺光を伴う環境において動作できなくなり（または低品質画像を生成し）得る。

その上、ピクセルセルのフローティングノードを飽和させることは、ブルーミングなど、撮像の品質をさらに低下させ得る他の効果を引き起こし得る。ブルーミングは、画像センサーがシーン中の高強度光源（たとえば、電球）に露光されたときに発生し、これは、ピクセルセルのすべてではないがピクセルセルのうちのいくつかのフローティングノードを飽和させ得る。電荷が、飽和したピクセルセルから他の隣接するピクセルセル中に漏洩し、それらの隣接するピクセルセルに貯蔵された電荷を汚染し得る。その汚染は、入射光強度と、それらの隣接するピクセルセル中の蓄積された電荷との間の相関を低下させ得る。漏洩は、画像中のシーンの残部を不明瞭にし、シーンの撮像を低下させる一面の光（ａ ｂｌａｎｋｅｔ ｏｆ ｌｉｇｈｔ）の効果を作り出し得る。飽和およびブルーミングの効果のために、画像センサーはまた、高強度光源を含むシーンの画像をキャプチャするように動作できなくなり得る。

画像センサーは、多くの異なる用途において見られ得る。一例として、画像センサーは、デジタル撮像を提供するためのデジタル撮像デバイス（たとえば、デジタルカメラ、スマートフォンなど）中に含まれる。別の例として、画像センサーは、ウェアラブル仮想現実（ＶＲ）システムならびに／あるいは拡張現実（ＡＲ）および／または複合現実（ＭＲ）システム中のニアアイディスプレイのディスプレイコンテンツを制御するかまたはそのディスプレイコンテンツに影響を与えることなど、デバイスの動作を制御するかまたはデバイスの動作に影響を与えるための入力デバイスとして構成され得る。たとえば、画像センサーは、ユーザが位置する物理的環境の物理的画像データを生成するために使用され得る。物理的画像データは、ロケーション追跡システムに提供され得る。ロケーション追跡システムは、フレームバッファから画像フレームのデジタル強度データを取得し、画像中の１つまたは複数の物理的物体（ｐｈｙｓｉｃａｌ ｏｂｊｅｃｔ）を識別するためのいくつかの画像特徴を表す強度データのパターンを探索することができる。物理的物体の画像ロケーションは、（たとえば、三角測量を通して）環境における物理的物体のロケーションを決定するために追跡され得る。物理的物体のロケーション情報は、たとえば、物理的環境におけるユーザのロケーション、ユーザの向き、および／またはユーザの移動の経路を決定するための同時位置特定およびマッピング（ＳＬＡＭ：ｓｉｍｕｌｔａｎｅｏｕｓ ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ）アルゴリズムに提供され得る。画像データは、たとえば、物理的環境におけるユーザと物理的物体との間の距離を測定するためのステレオ深度情報を生成すること、物理的物体（たとえば、ユーザの眼球）の移動を追跡することなどを行うためにも使用され得る。すべてのこれらの例では、ＶＲ／ＡＲ／ＭＲシステムは、インタラクティブ体験を提供するために、物理的画像データから取得された情報（たとえば、ユーザのロケーション、注視点方向など）に基づいて仮想画像データを生成および／または更新し、ニアアイディスプレイを介してユーザに表示するための仮想画像データを提供することができる。

ウェアラブルＶＲ／ＡＲ／ＭＲシステムは、極めて広範囲の光強度を伴う環境において動作し得る。たとえば、ウェアラブルＶＲ／ＡＲ／ＭＲシステムは、屋内環境または屋外環境において、および／あるいは１日の異なる時間において動作することが可能であり得、ウェアラブルＶＲ／ＡＲ／ＭＲシステムの動作環境の光強度は大幅に変動し得る。その上、ウェアラブルＶＲ／ＡＲ／ＭＲシステムはまた、上述のＮＩＲ眼球追跡システムを含み得、これは、眼球に損傷を与えることを防ぐために、ユーザの眼球に極めて低い強度の光を投影することを必要とし得る。その結果、ウェアラブルＶＲ／ＡＲ／ＭＲシステムの画像センサーは、異なる動作環境に関連する極めて広範囲の光強度にわたって適切に動作すること（たとえば、入射光の強度と相関する出力を生成すること）が可能であるために、広いダイナミックレンジを有する必要があり得る。ウェアラブルＶＲ／ＡＲ／ＭＲシステムの画像センサーは、ユーザのロケーション、向き、注視点などの追跡を可能にするために十分高速で画像を生成する必要もあり得る。比較的限られたダイナミックレンジをもち、比較的低速で画像を生成する画像センサーは、そのようなウェアラブルＶＲ／ＡＲ／ＭＲシステムに好適でないことがある。しかしながら、上記で説明されたように、画像検知に対する飽和およびブルーミングの効果は、強い周辺光の環境におけるまたは高強度光源を伴う環境におけるウェアラブルＶＲ／ＡＲ／ＭＲシステムの用途を限定し得、これは、ユーザ体験を低下させ得る。

本開示は、画像センサーに関する。画像センサーは、ピクセルセルのアレイを含み得、各ピクセルセルが、入射光を受け取ると電荷を生成するように構成されたフォトダイオードと、フォトダイオードによって生成された電荷を蓄積するように構成されたキャパシタとを含む。画像センサーは、ピクセルセルのアレイのキャパシタが電荷を蓄積することを可能にするために露光期間を開始し、ピクセルセルのアレイの少なくとも１つのピクセルセルによって蓄積された電荷の量が所定のしきい値を超えたかどうかを決定するように構成されたコントローラをさらに含み得る。少なくとも１つのピクセルセルによって蓄積された電荷の量が所定のしきい値を超えたという決定に基づいて、コントローラは、ピクセルセルのアレイのキャパシタが電荷を蓄積することを停止することを引き起こすために露光期間を停止し、露光期間内に各ピクセルセルのキャパシタにおいて蓄積された電荷に基づいて各ピクセルセルについての出力ピクセル値を生成することができる。出力ピクセル値は、画像フレームを生成するために、たとえば、画像プロセッサに提供され得る。

開示される技法は、たとえば、ピクセルセルアレイが高強度光に露光された場合にピクセルセルを飽和させる可能性を低減するために、そのピクセルセルアレイについての露光期間を動的に調整することができ、これは、ブルーミングの可能性をも低減する。その上、動的調整は、単一の画像フレームの露光期間内に実施され得、これにより、調整は、たとえば、環境における物体および／または光源の移動、ピクセルセルアレイを組み込むウェアラブルＶＲ／ＡＲ／ＭＲシステムの移動などによって引き起こされる、ピクセルセルアレイによって受け取られた光の強度の変化により敏感であることが可能になる。これらすべては、ピクセルセルアレイのダイナミックレンジを拡張し、ウェアラブルＶＲ／ＡＲ／ＭＲシステムが、より広範囲の用途のために正確な画像検知を実施することを可能にし、それにより、ユーザ体験を改善することができる。

本開示の実施形態は、人工現実システムを含むか、または人工現実システムに関連して実装され得る。人工現実は、ユーザへの提示の前に何らかの様式で調整された形式の現実であり、これは、たとえば、仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）、ハイブリッド現実、あるいはそれらの何らかの組合せおよび／または派生物を含み得る。人工現実コンテンツは、完全に生成されたコンテンツ、またはキャプチャされた（たとえば、現実世界の）コンテンツと組み合わせられた生成されたコンテンツを含み得る。人工現実コンテンツは、ビデオ、オーディオ、触覚フィードバック、またはそれらの何らかの組合せを含み得、それらのいずれも、単一のチャネルまたは複数のチャネルにおいて提示され得る（観察者に３次元効果をもたらすステレオビデオなど）。加えて、いくつかの実施形態では、人工現実は、たとえば、人工現実におけるコンテンツを作り出すために使用される、および／または人工現実において別様に使用される（たとえば、人工現実におけるアクティビティを実施する）用途、製品、アクセサリ、サービス、またはそれらの何らかの組合せにも関連付けられ得る。人工現実コンテンツを提供する人工現実システムは、ホストコンピュータシステムに接続されたヘッドマウントディスプレイ（ＨＭＤ）、独立型ＨＭＤ、モバイルデバイスまたはコンピューティングシステム、あるいは、１人または複数の観察者に人工現実コンテンツを提供することが可能な任意の他のハードウェアプラットフォームを含む、様々なプラットフォーム上に実装され得る。

図１Ａは、ニアアイディスプレイ１００の一実施形態の図である。ニアアイディスプレイ１００は、ユーザにメディアを提示する。ニアアイディスプレイ１００によって提示されるメディアの例は、１つまたは複数の画像、ビデオ、および／またはオーディオを含む。いくつかの実施形態では、オーディオは、外部デバイス（たとえば、スピーカーおよび／またはヘッドフォン）を介して提示され、この外部デバイスは、ニアアイディスプレイ１００、コンソール、またはその両方からオーディオ情報を受け取り、そのオーディオ情報に基づいてオーディオデータを提示する。ニアアイディスプレイ１００は、概して、仮想現実（ＶＲ）ディスプレイとして動作するように構成される。いくつかの実施形態では、ニアアイディスプレイ１００は、拡張現実（ＡＲ）ディスプレイおよび／または複合現実（ＭＲ）ディスプレイとして動作するように変更される。

ニアアイディスプレイ１００は、フレーム１０５とディスプレイ１１０とを含む。フレーム１０５は、１つまたは複数の光学要素に結合される。ディスプレイ１１０は、ユーザがニアアイディスプレイ１００によって提示されたコンテンツを見るように構成される。いくつかの実施形態では、ディスプレイ１１０は、１つまたは複数の画像からの光をユーザの眼に向けるための導波路ディスプレイアセンブリを備える。

ニアアイディスプレイ１００は、画像センサー１２０ａ、１２０ｂ、１２０ｃ、および１２０ｄをさらに含む。画像センサー１２０ａ、１２０ｂ、１２０ｃ、および１２０ｄの各々は、異なる方向に沿った異なる視野を表す画像データを生成するように構成されたピクセルアレイを含み得る。たとえば、センサー１２０ａおよび１２０ｂは、Ｚ軸に沿った方向Ａに向かう２つの視野を表す画像データを提供するように構成され得、センサー１２０ｃは、Ｘ軸に沿った方向Ｂに向かう視野を表す画像データを提供するように構成され得、センサー１２０ｄは、Ｘ軸に沿った方向Ｃに向かう視野を表す画像データを提供するように構成され得る。

いくつかの実施形態では、センサー１２０ａ〜１２０ｄは、ニアアイディスプレイ１００を装着したユーザにインタラクティブＶＲ／ＡＲ／ＭＲ体験を提供するために、ニアアイディスプレイ１００のディスプレイコンテンツを制御するかまたはニアアイディスプレイ１００のディスプレイコンテンツに影響を与えるための入力デバイスとして構成され得る。たとえば、センサー１２０ａ〜１２０ｄは、ユーザが位置する物理的環境の物理的画像データを生成することができる。物理的画像データは、物理的環境におけるユーザのロケーションおよび／または移動の経路を追跡するためのロケーション追跡システムに提供され得る。システムは、次いで、インタラクティブ体験を提供するために、たとえば、ユーザのロケーションおよび向きに基づいて、ディスプレイ１１０に提供された画像データを更新することができる。いくつかの実施形態では、ロケーション追跡システムは、ユーザが物理的環境内を移動するにつれて、物理的環境におけるおよびユーザの視野内の物体のセットを追跡するために、ＳＬＡＭアルゴリズムを動作させ得る。ロケーション追跡システムは、物体のセットに基づいて物理的環境のマップを構築および更新し、マップ内のユーザのロケーションを追跡することができる。複数の視野に対応する画像データを提供することによって、センサー１２０ａ〜１２０ｄは、ロケーション追跡システムに物理的環境のより全体的なビューを提供することができ、これは、より多くの物体がマップの構築および更新に含まれることにつながり得る。そのような仕組みにより、物理的環境内のユーザのロケーションを追跡することの正確さおよびロバストネスが改善され得る。

いくつかの実施形態では、ニアアイディスプレイ１００は、物理的環境に光を投影するための１つまたは複数のアクティブ照明器１３０をさらに含み得る。投影された光は、異なる周波数スペクトル（たとえば、可視光、赤外光、紫外光など）に関連付けられ得、様々な目的を果たすことができる。たとえば、照明器１３０は、たとえば、ユーザのロケーション追跡を可能にするために、センサー１２０ａ〜１２０ｄが暗い環境内の異なる物体の画像をキャプチャするのを支援するために、暗い環境において（または、低い強度の赤外光、紫外光などを伴う環境において）光を投影し得る。照明器１３０は、ロケーション追跡システムがマップ構築／更新のために物体を識別するのを支援するために、環境内の物体上にいくつかのマーカーを投影し得る。

いくつかの実施形態では、照明器１３０は、立体視撮像をも可能にし得る。たとえば、センサー１２０ａまたは１２０ｂのうちの１つまたは複数は、可視光検知のための第１のピクセルアレイと赤外（ＩＲ）光検知のための第２のピクセルアレイの両方を含むことができる。第１のピクセルアレイは、カラーフィルタ（たとえば、バイエルフィルタ）で覆われ得、第１のピクセルアレイの各ピクセルが、特定の色（たとえば、赤色、緑色または青色のうちの１つ）に関連付けられた光の強度を測定するように構成される。また、（ＩＲ光検知のための）第２のピクセルアレイは、ＩＲ光の通過のみを可能にするフィルタで覆われ得、第２のピクセルアレイの各ピクセルが、ＩＲ光の強度を測定するように構成される。ピクセルアレイは、物体のＲＧＢ画像およびＩＲ画像を生成することができ、ＩＲ画像の各ピクセルが、ＲＧＢ画像の各ピクセルにマッピングされる。照明器１３０は、物体上にＩＲマーカーのセットを投影し得、その画像は、ＩＲピクセルアレイによってキャプチャされ得る。画像に示されている物体のＩＲマーカーの分布に基づいて、システムは、ＩＲピクセルアレイからの物体の異なる部分の距離を推定し、その距離に基づいて物体の立体視画像を生成することができる。物体の立体視画像に基づいて、システムは、たとえば、ユーザに対する物体の相対位置を決定することができ、インタラクティブ体験を提供するために、相対位置情報に基づいて、ディスプレイ１００に提供された画像データを更新することができる。

上記で説明されたように、ニアアイディスプレイ１００は、極めて広範囲の光強度に関連する環境において動作され得る。たとえば、ニアアイディスプレイ１００は、屋内環境または屋外環境において、および／あるいは１日の異なる時間において動作され得る。ニアアイディスプレイ１００はまた、アクティブ照明器１３０がオンにされていてもいなくても動作し得る。その結果、画像センサー１２０ａ〜１２０ｄは、ニアアイディスプレイ１００のための異なる動作環境に関連する極めて広範囲の光強度にわたって適切に動作すること（たとえば、入射光の強度と相関する出力を生成すること）が可能であるために、広いダイナミックレンジを有する必要があり得る。

図１Ｂは、ニアアイディスプレイ１００の別の実施形態の図である。図１Ｂは、ニアアイディスプレイ１００を装着したユーザの（１つまたは複数の）眼球１３５に面するニアアイディスプレイ１００の側面を示す。図１Ｂに示されているように、ニアアイディスプレイ１００は、複数の照明器１４０ａ、１４０ｂ、１４０ｃ、１４０ｄ、１４０ｅ、および１４０ｆをさらに含み得る。ニアアイディスプレイ１００は、複数の画像センサー１５０ａおよび１５０ｂをさらに含む。照明器１４０ａ、１４０ｂ、および１４０ｃは、（図１Ａの方向Ａと反対である）方向Ｄに向かってある周波数範囲（たとえば、ＮＩＲ）の光を放出し得る。放出された光は、あるパターンに関連付けられ得、ユーザの左眼球によって反射され得る。センサー１５０ａは、反射光を受け取り、反射パターンの画像を生成するためのピクセルアレイを含み得る。同様に、照明器１４０ｄ、１４０ｅ、および１４０ｆは、パターンを搬送するＮＩＲ光を放出し得る。ＮＩＲ光は、ユーザの右眼球によって反射され得、センサー１５０ｂによって受け取られ得る。センサー１５０ｂも、反射パターンの画像を生成するためのピクセルアレイを含み得る。センサー１５０ａおよび１５０ｂからの反射パターンの画像に基づいて、システムは、ユーザの注視点を決定し、ユーザにインタラクティブ体験を提供するために、決定された注視点に基づいて、ディスプレイ１００に提供された画像データを更新することができる。

上記で説明されたように、ユーザの眼球に損傷を与えることを回避するために、照明器１４０ａ、１４０ｂ、１４０ｃ、１４０ｄ、１４０ｅ、および１４０ｆは、一般的に、極めて低い強度の光を出力するように構成される。画像センサー１５０ａおよび１５０ｂが図１Ａの画像センサー１２０ａ〜１２０ｄと同じセンサーデバイスを備える場合、画像センサー１２０ａ〜１２０ｄは、入射光の強度が極めて低いときに入射光の強度と相関する出力を生成することが可能である必要があり得、これは、画像センサーのダイナミックレンジ要件をさらに増加させ得る。

その上、画像センサー１２０ａ〜１２０ｄは、眼球の移動を追跡するために高速で出力を生成することが可能である必要があり得る。たとえば、ユーザの眼球は、ある眼球位置から別の眼球位置への素早いジャンプがあり得る極めて急速な移動（たとえば、サッカード運動（ｓａｃｃａｄｅ ｍｏｖｅｍｅｎｔ））を実施することができる。ユーザの眼球の急速な移動を追跡するために、画像センサー１２０ａ〜１２０ｄは、高速で眼球の画像を生成する必要がある。たとえば、画像センサーが画像フレームを生成するレート（フレームレート）は、少なくとも、眼球の移動の速度に一致する必要がある。高いフレームレートは、画像フレームを生成することに関与するピクセルセルのすべてについての短い総露光期間、ならびに、画像生成のためにセンサー出力をデジタル値に変換するための高い速度を必要とする。その上、上記で説明されたように、画像センサーは、低い光強度を伴う環境において動作することが可能である必要もある。

図２は、図１Ａおよび図１Ｂに示されているニアアイディスプレイ１００の断面２００の一実施形態である。ディスプレイ１１０が、少なくとも１つの導波路ディスプレイアセンブリ２１０を含む。射出瞳２３０は、ユーザがニアアイディスプレイ１００を装着したときにユーザの単一の眼２２０がアイボックス（ｅｙｅｂｏｘ）領域中に配置されるロケーションである。説明の目的で、図２は、眼２２０と単一の導波路ディスプレイアセンブリ２１０とをもつ断面２００を示すが、第２の導波路ディスプレイがユーザの第２の眼のために使用される。

導波路ディスプレイアセンブリ２１０は、画像光を、射出瞳２３０に位置するアイボックスに、および眼２２０に向けるように構成される。導波路ディスプレイアセンブリ２１０は、１つまたは複数の屈折率をもつ１つまたは複数の材料（たとえば、プラスチック、ガラスなど）から構成され得る。いくつかの実施形態では、ニアアイディスプレイ１００は、導波路ディスプレイアセンブリ２１０と眼２２０との間に１つまたは複数の光学要素を含む。

いくつかの実施形態では、導波路ディスプレイアセンブリ２１０は、制限はしないが、積層導波路ディスプレイ、可変焦点導波路ディスプレイなどを含む、１つまたは複数の導波路ディスプレイのスタックを含む。積層導波路ディスプレイは、それぞれの単色ソース（ｓｏｕｒｃｅ）が異なる色のものである導波路ディスプレイを積層することによって作り出された多色ディスプレイ（たとえば、赤緑青（ＲＧＢ）ディスプレイ）である。積層導波路ディスプレイは、複数の平面上に投影され得る多色ディスプレイ（たとえば、多平面カラーディスプレイ）でもある。いくつかの構成では、積層導波路ディスプレイは、複数の平面上に投影され得る単色ディスプレイ（たとえば、多平面単色ディスプレイ）である。可変焦点導波路ディスプレイは、導波路ディスプレイから放出された画像光の焦点位置を調整することができるディスプレイである。代替実施形態では、導波路ディスプレイアセンブリ２１０は、積層導波路ディスプレイと可変焦点導波路ディスプレイとを含み得る。

図３は、導波路ディスプレイ３００の一実施形態の等角図を示す。いくつかの実施形態では、導波路ディスプレイ３００は、ニアアイディスプレイ１００の構成要素（たとえば、導波路ディスプレイアセンブリ２１０）である。いくつかの実施形態では、導波路ディスプレイ３００は、画像光を特定のロケーションに向ける何らかの他のニアアイディスプレイまたは他のシステムの一部である。

導波路ディスプレイ３００は、ソースアセンブリ３１０と、出力導波路３２０と、コントローラ３３０とを含む。説明の目的で、図３は、単一の眼２２０に関連付けられた導波路ディスプレイ３００を示すが、いくつかの実施形態では、導波路ディスプレイ３００とは別個の、または部分的に別個の別の導波路ディスプレイが、ユーザの別の眼に画像光を提供する。

ソースアセンブリ３１０は、画像光３５５を生成する。ソースアセンブリ３１０は、画像光３５５を生成し、出力導波路３２０の第１の側面３７０−１上に位置する結合要素３５０に出力する。出力導波路３２０は、拡大された画像光３４０をユーザの眼２２０に出力する光導波路である。出力導波路３２０は、第１の側面３７０−１上に位置する１つまたは複数の結合要素３５０において画像光３５５を受け取り、受け取られた入力画像光３５５を方向付け要素３６０に導く。いくつかの実施形態では、結合要素３５０は、ソースアセンブリ３１０からの画像光３５５を出力導波路３２０に結合する。結合要素３５０は、たとえば、回折格子、ホログラフィック格子、１つまたは複数のカスケード型反射器、１つまたは複数のプリズム表面要素、および／またはホログラフィック反射器のアレイであり得る。

方向付け要素３６０は、受け取られた入力画像光３５５が分離要素３６５を介して出力導波路３２０から分離されるように、受け取られた入力画像光３５５を分離要素３６５に向け直す。方向付け要素３６０は、出力導波路３２０の第１の側面３７０−１の一部であるか、または出力導波路３２０の第１の側面３７０−１に取り付けられる。分離要素３６５は、方向付け要素３６０が分離要素３６５に対向するように、出力導波路３２０の第２の側面３７０−２の一部であるか、または出力導波路３２０の第２の側面３７０−２に取り付けられる。方向付け要素３６０および／または分離要素３６５は、たとえば、回折格子、ホログラフィック格子、１つまたは複数のカスケード型反射器、１つまたは複数のプリズム表面要素、および／またはホログラフィック反射器のアレイであり得る。

第２の側面３７０−２は、ｘ次元およびｙ次元に沿った平面を表す。出力導波路３２０は、画像光３５５の内部全反射を促進する１つまたは複数の材料から構成され得る。出力導波路３２０は、たとえば、シリコン、プラスチック、ガラス、および／またはポリマーから構成され得る。出力導波路３２０は、比較的小さいフォームファクタを有する。たとえば、出力導波路３２０は、ｘ次元に沿って幅約５０ｍｍ、ｙ次元に沿って長さ約３０ｍｍ、およびｚ次元に沿って厚さ約０．５〜１ｍｍであり得る。

コントローラ３３０は、ソースアセンブリ３１０のスキャン動作を制御する。コントローラ３３０は、ソースアセンブリ３１０のためのスキャン命令を決定する。いくつかの実施形態では、出力導波路３２０は、拡大された画像光３４０を大きい視野（ＦＯＶ）でユーザの眼２２０に出力する。たとえば、拡大された画像光３４０は、６０度のおよび／またはそれよりも大きい、ならびに／あるいは１５０度のおよび／またはそれよりも小さい（ｘおよびｙにおける）対角ＦＯＶでユーザの眼２２０に提供される。出力導波路３２０は、２０ｍｍ以上および／または５０ｍｍ以下の長さ、ならびに／あるいは１０ｍｍ以上および／または５０ｍｍ以下の幅をもつアイボックスを提供するように構成される。

その上、コントローラ３３０は、画像センサー３７０によって提供される画像データに基づいて、ソースアセンブリ３１０によって生成される画像光３５５をも制御する。画像センサー３７０は、第１の側面３７０−１上に位置し得、たとえば、（たとえば、ロケーション決定のための）ユーザの前にある物理的環境の画像データを生成するために図１Ａの画像センサー１２０ａ〜１２０ｄを含み得る。画像センサー３７０はまた、第２の側面３７０−２上に位置し得、ユーザの（たとえば、注視点決定のための）眼２２０の画像データを生成するために図１Ｂの画像センサー１５０ａおよび１５０ｂを含み得る。画像センサー３７０は、導波路ディスプレイ３００内に位置しない（たとえば、リモートコンソール中の）制御回路要素とインターフェースし得る。画像センサー３７０は、画像データを制御回路要素に提供し得、制御回路要素は、たとえば、ユーザのロケーション、ユーザの注視点などを決定し、ユーザに表示されるべき画像のコンテンツを決定し得る。制御回路要素は、決定されたコンテンツに関係する命令をコントローラ３３０に送信することができる。命令に基づいて、コントローラ３３０は、ソースアセンブリ３１０による画像光３５５の生成および出力を制御することができる。

図４は、導波路ディスプレイ３００の断面４００の一実施形態を示す。断面４００は、ソースアセンブリ３１０と、出力導波路３２０と、画像センサー３７０とを含む。図４の例では、画像センサー３７０は、ユーザの前にある物理的環境の画像を生成するために、第１の側面３７０−１上に位置するピクセルセル４０２のセットを含み得る。いくつかの実施形態では、ピクセルセル４０２のセットの露光を制御するために、ピクセルセル４０２のセットと物理的環境との間に挿入された機械的シャッター４０４があり得る。いくつかの実施形態では、機械的シャッター４０４は、以下で説明されるように、電子シャッターゲートと置き換えられ得る。ピクセルセル４０２の各々は、画像の１つのピクセルに対応し得る。図４には示されていないが、ピクセルセルによって検知されるべき光の周波数範囲を制御するために、ピクセルセル４０２の各々もフィルタで覆われ得ることを理解されたい。

制御回路要素から命令を受け取った後に、機械的シャッター４０４は、露光期間において開き、ピクセルセル４０２のセットを露光することができる。露光期間中に、画像センサー３７０は、ピクセルセル４０２のセットに入射した光のサンプルを取得し、ピクセルセル４０２のセットによって検出された入射光サンプルの強度分布に基づいて画像データを生成することができる。画像センサー３７０は、次いで、画像データを、ディスプレイコンテンツを決定するリモートコンソールに提供し、ディスプレイコンテンツ情報をコントローラ３３０に提供することができる。コントローラ３３０は、次いで、ディスプレイコンテンツ情報に基づいて画像光３５５を決定することができる。

ソースアセンブリ３１０は、コントローラ３３０からの命令に従って画像光３５５を生成する。ソースアセンブリ３１０は、ソース４１０と光学システム４１５とを含む。ソース４１０は、コヒーレント光または部分的にコヒーレントな光を生成する光源である。ソース４１０は、たとえば、レーザーダイオード、垂直キャビティ面発光レーザー、および／または発光ダイオードであり得る。

光学システム４１５は、ソース４１０からの光を調節する１つまたは複数の光学的構成要素を含む。ソース４１０からの光を調節することは、たとえば、コントローラ３３０からの命令に従って拡大し、コリメートし、および／または向きを調整することを含み得る。１つまたは複数の光学的構成要素は、１つまたは複数のレンズ、液体レンズ、ミラー、開口、および／または格子を含み得る。いくつかの実施形態では、光学システム４１５は、光ビームを液体レンズ外の領域にシフトするためにしきい値のスキャン角度を伴う光ビームのスキャンを可能にする複数の電極をもつ液体レンズを含む。光学システム４１５（同じくソースアセンブリ３１０）から放出される光は、画像光３５５と呼ばれる。

出力導波路３２０は、画像光３５５を受け取る。結合要素３５０は、ソースアセンブリ３１０からの画像光３５５を出力導波路３２０に結合する。結合要素３５０が回折格子である実施形態では、内部全反射が出力導波路３２０中で発生し、画像光３５５が、分離要素３６５に向かって、（たとえば、内部全反射によって）出力導波路３２０中を内部的に伝搬するように、回折格子のピッチが選定される。

方向付け要素３６０は、出力導波路３２０から分離するために、画像光３５５を分離要素３６５のほうへ向け直す。方向付け要素３６０が回折格子である実施形態では、回折格子のピッチは、入射画像光３５５が、分離要素３６５の表面に対して（１つまたは複数の）傾斜角において出力導波路３２０を出ることを引き起こすように選定される。

いくつかの実施形態では、方向付け要素３６０および／または分離要素３６５は、構造的に同様である。出力導波路３２０を出た拡大された画像光３４０は、１つまたは複数の次元に沿って拡大される（たとえば、ｘ次元に沿って延長され得る）。いくつかの実施形態では、導波路ディスプレイ３００は、複数のソースアセンブリ３１０と複数の出力導波路３２０とを含む。ソースアセンブリ３１０の各々は、原色（たとえば、赤、緑、または青）に対応する、波長の特定の帯域の単色画像光を放出する。出力導波路３２０の各々は、多色である拡大された画像光３４０を出力するために、離間距離を伴って一緒に積層され得る。

図５は、ニアアイディスプレイ１００を含むシステム５００の一実施形態のブロック図である。システム５００は、各々制御回路要素５１０に結合された、ニアアイディスプレイ１００と、撮像デバイス５３５と、入出力インターフェース５４０と、画像センサー１２０ａ〜１２０ｄおよび１５０ａ〜１５０ｂとを備える。システム５００は、ヘッドマウントデバイス、ウェアラブルデバイスなどとして構成され得る。

ニアアイディスプレイ１００は、ユーザにメディアを提示するディスプレイである。ニアアイディスプレイ１００によって提示されるメディアの例は、１つまたは複数の画像、ビデオ、および／またはオーディオを含む。いくつかの実施形態では、オーディオは、外部デバイス（たとえば、スピーカーおよび／またはヘッドフォン）を介して提示され、この外部デバイスは、ニアアイディスプレイ１００および／または制御回路要素５１０からオーディオ情報を受け取り、そのオーディオ情報に基づいてオーディオデータをユーザに提示する。いくつかの実施形態では、ニアアイディスプレイ１００はまた、ＡＲアイウェアグラスとして働き得る。いくつかの実施形態では、ニアアイディスプレイ１００は、コンピュータ生成された要素（たとえば、画像、ビデオ、音など）を用いて、物理的現実世界の環境のビューを増強する。

ニアアイディスプレイ１００は、導波路ディスプレイアセンブリ２１０、１つまたは複数の位置センサー５２５、および／または慣性測定ユニット（ＩＭＵ）５３０を含む。導波路ディスプレイアセンブリ２１０は、ソースアセンブリ３１０と、出力導波路３２０と、コントローラ３３０とを含む。

ＩＭＵ５３０は、位置センサー５２５のうちの１つまたは複数から受け取られた測定信号に基づいて、ニアアイディスプレイ１００の初期位置に対するニアアイディスプレイ１００の推定位置を示す高速較正データを生成する電子デバイスである。

撮像デバイス５３５は、様々な用途のための画像データを生成し得る。たとえば、撮像デバイス５３５は、制御回路要素５１０から受け取られた較正パラメータに従って低速較正データを提供するために画像データを生成し得る。撮像デバイス５３５は、たとえば、ユーザのロケーション追跡を実施するために、ユーザが位置する物理的環境の画像データを生成するために図１Ａの画像センサー１２０ａ〜１２０ｄを含み得る。撮像デバイス５３５は、たとえば、ユーザの注視点を決定すること、ユーザの関心物体を識別することなどのために画像データを生成するために図１Ｂの画像センサー１５０ａ〜１５０ｂをさらに含み得る。

入出力インターフェース５４０は、ユーザが制御回路要素５１０にアクション要求を送ることを可能にするデバイスである。アクション要求は、特定のアクションを実施するための要求である。たとえば、アクション要求は、アプリケーションを開始または終了するためのものであるか、あるいはアプリケーション内で特定のアクションを実施するためのものであり得る。

制御回路要素５１０は、撮像デバイス５３５、ニアアイディスプレイ１００、および入出力インターフェース５４０のうちの１つまたは複数から受け取られた情報に従って、ユーザへの提示のためのメディアをニアアイディスプレイ１００に提供する。いくつかの例では、制御回路要素５１０は、ヘッドマウントデバイスとして構成されたシステム５００内に収容され得る。いくつかの例では、制御回路要素５１０は、システム５００の他の構成要素に通信可能に結合された独立型コンソールデバイスであり得る。図５に示されている例では、制御回路要素５１０は、アプリケーションストア５４５と、追跡モジュール５５０と、エンジン５５５とを含む。

アプリケーションストア５４５は、制御回路要素５１０が実行するための１つまたは複数のアプリケーションを記憶する。アプリケーションは、プロセッサによって実行されたとき、ユーザへの提示のためのコンテンツを生成する命令のグループである。アプリケーションの例は、ゲームアプリケーション、会議アプリケーション、ビデオ再生アプリケーション、または他の好適なアプリケーションを含む。

追跡モジュール５５０は、たとえば、撮像デバイス５３５からの画像日付を使用して、ニアアイディスプレイ１００の移動を追跡する。以下でより詳細に説明されるように、追跡モジュール５５０は、撮像デバイス５３５によってキャプチャされた画像フレームのピクセルデータを取得し、ピクセルデータに基づいて画像フレーム中の１つまたは複数の物体を識別し、複数の画像フレームにわたって１つまたは複数の物体の画像ロケーションを決定し、画像ロケーションに基づいて１つまたは複数の物体の物理的ロケーションを決定し得る。いくつかの例では、物理的ロケーション情報は、ニアアイディスプレイ１００の位置情報を生成するために追跡モジュール５５０において動作されるＳＬＡＭアルゴリズムに提供され得る。いくつかの例では、画像ロケーション情報は、識別された物体の位置情報を生成するために使用され得る。

エンジン５５５は、システム５００内でアプリケーションを実行し、追跡モジュール５５０から、ニアアイディスプレイ１００の位置情報、加速度情報、速度情報、および／または予測された将来の位置を受け取る。エンジン５５５は、追跡モジュール５５０から（ニアアイディスプレイ１００以外の）物理的物体の位置情報をも受け取ることができる。いくつかの実施形態では、エンジン５５５によって受け取られた情報は、ユーザに提示されるコンテンツのタイプを決定する導波路ディスプレイアセンブリ２１０への信号（たとえば、ディスプレイ命令）をもたらすために使用され得る。たとえば、インタラクティブ体験を提供するために、エンジン５５５は、（たとえば、追跡モジュール５５０によって提供される）ユーザのロケーションと、（たとえば、撮像デバイス５３５によって提供される画像データに基づく）ユーザの注視点と、（たとえば、撮像デバイス５３５によって提供される画像データに基づく）物体とユーザとの間の距離とに基づいて、ユーザに提示されるべきコンテンツを決定し得る。

図６Ａ〜図６Ｂは、画像センサー３７０のダイナミックレンジを拡張するために実施され得る動作の例を示す。画像センサー３７０は、ピクセルセル６００を含むピクセルセルアレイを含み得る。ピクセルセル６００は、フォトダイオード６０２とキャパシタ６０４とを含む。図６Ａの例では、画像センサー３７０は、光源６０６と物体６０８とを含むシーンの画像をキャプチャするために使用され得る。ピクセルセルアレイ内のピクセルセル６００のロケーションにより、ピクセルセル６００は、光源６０６から高強度光を受け取り得る。

図６Ｂは、フォトダイオード６０２が光に露光された時間に対するキャパシタ６０４において蓄積された電荷の量の変化を示すグラフ６１０を示す。図６Ｂに示されているように、始まりにおいて（たとえば、時間Ｔ１の前に）、キャパシタ６０４は、フォトダイオード６０２によって生成された電荷を蓄積するための容量を有し、電荷の量は時間とともに増加する。時間Ｔ１の前では、キャパシタ６０４において貯蔵される電荷の量と、電荷の量が増加するレートとは、フォトダイオード６０２によって受け取られる光の強度に相関され得る。一方、時間Ｔ１の後では、キャパシタ６０４はいっぱいになり、ピクセルセル６００についての飽和限界に達している。その結果、時間Ｔ１を超えると、キャパシタ６０４は電荷を蓄積することを停止し得、キャパシタ６０４中に蓄積される電荷の量は、実質的に不変のままであり得る。Ｔ１の後の時間において（たとえば、時間Ｔ２において）キャパシタ６０４中に蓄積される電荷の量は、フォトダイオード６０２によって受け取られる光の強度に相関されないことがある。その上、時間Ｔ１を超えると、フォトダイオード６０２が、入射光に露光されたままであり、電荷を生成し続ける場合、それらの電荷は、ピクセル６００に隣接するピクセルセル中に漏洩し、それらのピクセルセル中のキャパシタを汚染し得、これは、上記で説明されたようにブルーミングを引き起こす。

本開示の実施形態は、ピクセルセル６００における飽和発現（ｏｎｓｅｔ ｏｆ ｓａｔｕｒａｔｉｏｎ）を検出することによってピクセルセル６００を飽和させる可能性（および生じるブルーミング効果）を低減することができる。飽和発現の検出は、たとえば、キャパシタ６０４に貯蔵された電荷が所定のしきい値を超えたかどうかを決定することに基づき得る。所定のしきい値は、所定のしきい値に達したときにピクセルセル６００が飽和されないように、キャパシタ６０４の飽和容量のある割合に基づいて設定され得る。所定のしきい値に達したと決定すると、露光期間は、フォトダイオード６０２がキャパシタ６０４に追加の電荷を転送するのを防ぐために停止され得る。図６Ｂの例では、露光期間は、時間Ｔ１の前に（たとえば、時間Ｔ１’において）終了し得る。そのような仕組みにより、ピクセルセル６００が飽和される可能性は低減され得る。たとえば、時間Ｔ１においてキャパシタ６０４に蓄積された電荷の量を測定すること、または、時間Ｔ１’の持続時間を測定することに基づいてピクセル値が生成され得、これは、電荷が蓄積されたレートを反映する。どちらの場合も、ピクセル値は、フォトダイオード６０２によって受け取られた光の強度をより正確に表すことができ、画像センサー３７０のダイナミックレンジの上限は拡張され得る。

図７Ａは、１つまたは複数のピクセルセル７００（たとえば、ピクセルセル７００ａ、７００ｂ、．．．７００ｎ）と、ＡＤＣ７１０と、選択モジュール７３０と、コントローラ７４０とを含む画像センサー３７０の一例を示す。ピクセルセル７００はピクセルアレイ７５０の一部であり得、各ピクセルセルは、ピクセルセル上の光の強度を表すための出力（たとえば、蓄積された電荷に基づく電圧出力）を生成することができる。選択モジュール７３０は、ピクセルセルがＡＤＣ７１０をタイムシェアリングすることを可能にするために、出力をＡＤＣ７１０にルーティングして、その出力に基づいてデジタルピクセル値を生成するように構成され得る。たとえば、選択モジュール７３０は、ＡＤＣ７１０がピクセルセルアレイ中の各ピクセルセル７００の出力を処理することを可能にするために、ラウンドロビン様式（たとえば、ピクセルセル７００ａから開始し、その後にピクセルセル７００ｂが続くなど）に従って出力をＡＤＣ７１０にルーティングするように構成され得る。別の例として、ＡＤＣ７１０は複数のＡＤＣ７１０を含み得、その各々がピクセルセル７００に対応し、選択モジュール７３０は、ピクセルセル７００の出力を対応するＡＤＣ７１０にフォワーディングする（またはフォワーディングしない）ように制御され得る。そのような例では、選択モジュール７３０とＡＤＣ７１０とは、ピクセルセル７００の各々の一部であり得る。

ＡＤＣ７１０は、ピクセルセルの出力のデジタル表現を生成し得る。いくつかの例では、以下でより詳細に説明されるように、測定の第１の段階において、ＡＤＣ７１０は、キャパシタに蓄積された電荷の量が所定のしきい値に達するための持続時間のデジタル表現を生成し得る。測定の第１の段階は、露光期間中に実施され得る。所定のしきい値は、１つまたは複数の所定のピクセルセルのキャパシタの飽和容量のある割合に基づき得る。測定の第１の段階において、ＡＤＣ７１０は、キャパシタに蓄積された電荷の量がそれらの所定のピクセルセルについての所定のしきい値に達したことに基づいて、飽和発現指示を生成し、その指示をコントローラ７４０に送信し得る。その上、ＡＤＣ７１０は、測定の第２の段階および第３の段階をも実施することができ、それらの段階において、ＡＤＣ７１０は、ピクセルセルのキャパシタに蓄積された電荷の量のデジタル表現を生成することができる。測定の第２の段階は、露光期間中の第１の測定段階の後に行われ得、第３の段階は露光期間が終了した後に行われ得る。ＡＤＣ７１０は、たとえば、露光期間中に飽和発現を検出するための測定の第１の段階を実施し、その後に測定の第２の段階および第３の段階を実施することによって、ピクセルセルからの出力の多段処理を実施することができる。飽和発現が検出された場合、ＡＤＣ７１０は、飽和発現指示をコントローラ７４０に送信し得る。ＡＤＣ７１０はまた、（第１の測定段階または第２の測定段階において生成された）デジタル表現を、さらなる処理のためにコントローラ７４０に送信し得る。

コントローラ７４０は、露光期間設定モジュール７４２と、ピクセル値生成モジュール７４４とを含み得る。露光期間設定モジュール７４２は、所定のピクセルセルのセットについてのＡＤＣ７１０からの飽和発現指示をモニタし得、その指示を受け取ると、ピクセルアレイ７５０のピクセルセル７００のすべてについての露光期間を停止する。露光期間の終了は、ＡＤＣ７１０における測定の第１の段階および測定の第２の段階をも停止する。その上、いくつかの例では、コントローラ７４０は、飽和発現指示を受け取ったことに応答して測定の第３の段階をスキップすることができる。一方、飽和発現指示がＡＤＣ７１０から受け取られなかった場合、露光期間設定モジュール７４２は、露光期間についてのあらかじめ設定されたデフォルト終了時間を採用し得、デフォルト終了時間が来たときに露光期間を終了し、たとえば、測定の第１の段階、測定の第２の段階、および測定の第３の段階を実施し得る。あらかじめ設定されたデフォルト終了時間は、たとえば、ピクセルセル７００におけるキャパシタの容量、環境における平均周辺光強度、平均周辺光強度についてのフォトダイオードの電荷生成のレート、画像センサー３７０を収容するデバイス（たとえば、ＨＭＤ）の動きのレートなどを含む、様々な要因に基づいて決定され得る。たとえば、デバイスが急速な動きをこうむっている場合、デフォルト露光期間は、画像中の動きぼけ（ｍｏｔｉｏｎ ｂｌｕｒ）を最小限に抑えるために低減され得る。あらかじめ設定されたデフォルト終了時間は、フォトダイオードが露光期間において周辺光に露光されたとき、あらかじめ設定されたデフォルト終了時間において露光期間が終了したときに十分な予備容量（たとえば、５０％）がキャパシタにおいて残るように構成され得る。

その上、ピクセル値生成モジュール７４４も、たとえば、ピクセル値のデジタル表現を取得するために同じ露光期間内に測定の第２の段階および測定の第３の段階を実施するように、飽和発現検出のために選択されなかったピクセルセルの第２のセットを制御することができる。ピクセル値生成モジュール７４４は、ＡＤＣ７１０から、ピクセルセルの第２のセットによって提供された中間ピクセル値を取得し、所定のピクセルセルからの飽和発現検出に基づいて後処理を実施し得る。たとえば、飽和発現が検出された場合、ピクセル値生成モジュール７４４は、デフォルト露光時間と（飽和発現指示により調整された）調整された露光時間との比に基づいてスケーリング値を決定し、そのスケーリング値に基づいて、各ピクセルセルから取得された中間ピクセル値を正規化することができる。正規化を、たとえば、いくつかの領域（たとえば、最高光強度をもつ領域）の画像を（より多くの画像詳細を含む可能性がある）シーンの残部に対して強調しないために使用して、画像プロセッサが、シーンの残部の画像詳細に依拠する他の用途（たとえば、ロケーション追跡用途）のためにそれらの詳細を抽出することを可能にし得る。

上記で説明されたように、ＡＤＣ７１０は、所定のピクセルセルのセットについての飽和発現指示を検出し得、これは、露光期間設定モジュール７４２が、ピクセルセルアレイ７５０のピクセルセルの残部についての露光期間の終了を設定することを可能にする。ピクセルセルのセットがＡＤＣ７１０による飽和発現検出のために選択され得る異なるやり方がある。たとえば、ピクセルセルアレイ７５０は、ピクセルセルの複数のブロックに分割され得、１つまたは複数のピクセルセルが、飽和発現検出のためにピクセルセルの各ブロックから選択され得る。いくつかの例では、選択モジュール７３０は、各露光期間の始まりにおける飽和発現検出のために、（１つまたは複数の）同じピクセルセルの出力をＡＤＣ７１０にルーティングするように構成され得る。ピクセルセルは、たとえば、ピクセルセルアレイ内のピクセルセルのロケーション（たとえば、各ブロックの中心）に基づいて選択され得、これは、たとえば、そのピクセルセルによって受け取られた光の強度がブロックの平均光強度レベルを表す可能性を高くする。いくつかの例では、選択モジュール７３０はまた、異なる露光期間の始まりにおける飽和発現検出のために、（１つまたは複数の）異なるピクセルセルの出力をＡＤＣ７１０にルーティングするように構成され得る。たとえば、光源および／または画像センサー３７０の移動により、飽和発現を呈するピクセルセルは、時間とともに変化し得、これは、コントローラ７４０によって追跡され得る。たとえば、コントローラ７４０は、ピクセルセルが前の露光期間において飽和発現を呈したことに基づいて、現在の露光期間についての飽和発現検出のためにそのピクセルセルの出力をＡＤＣ７１０にルーティングするように、選択モジュール７３０に命令し得る。そのピクセルセルが現在の露光期間において飽和発現をもはや呈しない場合、コントローラ７４０は、後続の露光期間についての飽和発現検出のためにそのピクセルセルの出力をＡＤＣ７１０にルーティングしないように、選択モジュール７３０に命令し得る。いくつかの例では、コントローラ７４０はまた、飽和発現検出のためのピクセルセルを決定するためにランダム関数を適用し得、これにより、ピクセルセル選択はランダム化され得る。すべてのこれらの技法は、たとえば、コントローラ７４０が、検出のために選択されなかった他のピクセルセルにおける飽和発現を検出することに失敗し、したがって露光期間を調整しない可能性を低減するように適応され得る。

いくつかの例では、上記で説明されたように、画像センサー３７０の各ピクセルセル７００はＡＤＣ７１０をも含み得、選択モジュール７３０は省略され（あるいは、ピクセルセル出力をＡＤＣ７１０にフォワーディングするかまたはフォワーディングしないように構成され）得る。そのような場合、各ピクセルセル７００は、デフォルト露光時間が終了すると露光を停止することができる。その上、（たとえば、上記で説明された技法に基づいて選択された）ピクセルセル７００の所定のセットが、そのローカルＡＤＣ７１０を使用して、飽和発現指示を生成し、指示を露光期間設定モジュール７４２に送信するために、測定の第１の段階を実施することができる。露光期間設定モジュール７４２は、ピクセルセルから（１つまたは複数の）最も早い飽和発現の指示を検出すると、各ピクセルセル７００についての露光期間を停止することができる。一方、所定のセット中にある他のピクセルセル７００は、たとえば、デフォルト露光期間または調整された露光期間のいずれかの間に受け取られたそれらのピクセルセルにおけるその入射光強度を表すデジタルピクセル値を生成するために、測定の第２の段階および第３の段階を実施するように制御され得る。

図７Ｂは、ピクセルセル７００の一例を示す。図７Ｂに示されているように、ピクセルセル７００は、フォトダイオード７０２と、残留電荷キャパシタ７０３と、シャッタースイッチ７０４と、転送ゲート７０６と、リセットスイッチ７０７と、測定キャパシタ７０８と、バッファ７０９と、ＡＤＣ７１０とを含み得る。

いくつかの実施形態では、フォトダイオード７０２は、Ｐ−ＮダイオードまたはＰ−Ｉ−Ｎダイオードを含み得る。シャッタースイッチ７０４、転送ゲート７０６、およびリセットスイッチ７０７の各々は、トランジスタを含むことができる。トランジスタは、たとえば、金属酸化物半導体電界効果トランジスタ（ＭＯＳＦＥＴ）、バイポーラ接合トランジスタ（ＢＪＴ）などを含み得る。シャッタースイッチ７０４は、ピクセルセル７００の露光期間を制御するための電子シャッターゲートとして（図４の機械的シャッター４０４の代わりに、または機械的シャッター４０４と組み合わせて）働くことができる。露光期間中に、シャッタースイッチ７０４は、露光イネーブル信号７１１によって無効化され（オフにされ）得るが、転送ゲート７０６は、測定制御信号７１２によって有効化され（オンにされ）得、これは、フォトダイオード７０２によって生成された電荷が残留電荷キャパシタ７０３および／または測定キャパシタ７０８に移動することを可能にする。露光期間の終了時に、シャッタースイッチ７０４は有効化されて、フォトダイオード７０２によって生成された電荷をフォトダイオード電流シンク７１７に誘導する（ｓｔｅｅｒ）ことができる。その上、リセットスイッチ７０７が、リセット信号７１８によって同じく無効化され（オフにされ）得、これは、測定キャパシタ７０８が、電荷を蓄積し、蓄積された電荷の量を反映する電圧を生じさせることを可能にする。電圧はバッファ７０９によってバッファされ得、（アナログ出力ノード７１４における）バッファ７０９の出力は選択モジュール７３０に提供され得、選択モジュール７３０は、その出力を処理のためにＡＤＣ７１０にルーティングすることができる。測定の段階が完了した後に、リセットスイッチ７０７は有効化されて、測定キャパシタ７０８において貯蔵された電荷を空にして電荷シンク７２０に移して、測定キャパシタ７０８を次の測定のために利用可能にすることができる。露光期間設定モジュール７４２は、たとえば、シャッタースイッチ７０４のタイミングと、測定制御信号７１２と、リセット信号７１８とを制御することによって、露光期間と、残留電荷キャパシタ７０３および測定キャパシタ７０８に貯蔵された電荷の量とを制御することができる。

残留電荷キャパシタ７０３は、フォトダイオード７０２のデバイスキャパシタであり得、フォトダイオード７０２によって生成された電荷を貯蔵することができる。残留電荷キャパシタ７０３は、たとえば、Ｐ−Ｎダイオード接合インターフェースにおける接合キャパシタ、またはフォトダイオード７０２に接続された（１つまたは複数の）他のデバイスキャパシタを含むことができる。残留電荷キャパシタ７０３がフォトダイオード７０２に近接していることにより、フォトダイオード７０２によって生成された電荷は、電荷キャパシタ７０３において蓄積され得る。測定キャパシタ７０８は、転送ゲート７０６のフローティング端子におけるデバイスキャパシタ、金属キャパシタ、ＭＯＳキャパシタ、またはそれらの任意の組合せであり得る。測定キャパシタ７０８は、入射光強度を表すデジタル出力を提供するためにＡＤＣ７１０によって測定され得る電荷の量を貯蔵するために使用され得る。測定キャパシタ７０８において貯蔵された電荷は、残留電荷キャパシタ７０３において蓄積されないことになる（フォトダイオード７０２からの）オーバーフロー電荷、または残留電荷キャパシタ７０３から空にされる残留電荷のいずれかであり得る。

次に図８を参照すると、図８は、異なるターゲット光強度範囲についての残留電荷キャパシタ７０３および測定キャパシタ７０８における電荷蓄積動作を示す。図８は、異なる光強度範囲についての、時間に対する残留電荷キャパシタ７０３および測定キャパシタ７０８において蓄積された（または蓄積することが予想される）電荷の総量を示す。蓄積された電荷の総量は、露光期間中にフォトダイオード７０２によって生成された総電荷を反映することができ、これは、露光期間中にフォトダイオード７０２に入射する光の強度を反映する。上記量は、露光期間が終了したときに測定され得る。入射光の強度についての低光強度範囲８０６、中光強度範囲８０８、および高光強度範囲８１０を定義する電荷のしきい値量について、しきい値８０２およびしきい値８０４が定義され得る。たとえば、総蓄積電荷（ｔｏｔａｌ ａｃｃｕｍｕｌａｔｅｄ ｃｈａｒｇｅｓ）がしきい値８０２未満である場合（たとえば、Ｑ１）、入射光強度は低光強度範囲８０６内にある。総蓄積電荷がしきい値８０４としきい値８０２との間にある場合（たとえば、Ｑ２）、入射光強度は中光強度範囲８０８内にある。総蓄積電荷がしきい値８０４を超える場合、入射光強度は高光強度範囲８１０内にある。

しきい値８０２および８０４は、入射光強度が低光強度範囲８０６または中光強度範囲８０８のいずれか内に入るときにキャパシタにおける蓄積された電荷の量が入射光強度と相関することを保証するために、残留電荷キャパシタ７０３および測定キャパシタ７０８における電荷の蓄積を制御するように設定され得る。たとえば、しきい値８０２および８０４は、残留電荷キャパシタ７０３および測定キャパシタ７０８の容量未満に設定され得る。上記で説明されたように、残留電荷キャパシタ７０３および測定キャパシタ７０８が全容量に達すると、キャパシタは、電荷を漏洩し始め得、キャパシタにおいて生じた電圧は、露光期間中にフォトダイオード７０２によって生成された電荷の総数を正確に表さないか、または反映しないことがある。しきい値８０２および８０４を残留電荷キャパシタ７０３および測定キャパシタ７０８の容量未満に設定することによって、電荷漏洩によって引き起こされる測定誤差が回避され得る。いくつかの例では、しきい値８０２は２０００ｅ−（２０００電荷）に設定され得、しきい値８０４は６３０００ｅ−（６３０００電荷）に設定され得る。

残留電荷キャパシタ７０３および測定キャパシタ７０８における電荷の蓄積は、しきい値８０２および８０４によって制御され得る。たとえば、低光強度範囲８０６内に入る入射光強度は、残留電荷キャパシタ７０３において蓄積された総電荷に基づき得る。残留電荷キャパシタ７０３が露光期間の終了時にまだいっぱいでないと仮定すると、残留電荷キャパシタ７０３において蓄積された総電荷は、露光期間中にフォトダイオード７０２によって生成された総電荷を反映することができ、入射光強度を決定するために使用され得る。残留電荷キャパシタ７０３において蓄積された総電荷がしきい値８０２を超えたとき、フォトダイオード７０２によって生成された追加の電荷は、オーバーフロー電荷として測定キャパシタ７０８に迂回され得る。測定キャパシタ７０８が露光期間の終了時にまだいっぱいでないと仮定すると、測定キャパシタ７０８において蓄積された総オーバーフロー電荷も、露光期間中にフォトダイオード７０２によって生成された総電荷を反映することができ、（中光強度範囲８０８内に入る）入射光強度を決定するために使用され得る。

一方、入射光強度が高光強度範囲８１０内にある場合、測定キャパシタ７０８において蓄積された総オーバーフロー電荷は、露光期間が終了する前にしきい値８０４を超え得る。追加の電荷が蓄積されるにつれて、測定キャパシタ７０８は、露光期間の終了の前に全容量に達し得、電荷漏洩が発生し得る。測定キャパシタ７０８が全容量に達したことにより引き起こされる測定誤差を回避するために、測定キャパシタ７０８において蓄積された総オーバーフロー電荷がしきい値８０４に達するのにかかる持続時間を測定するために、飽和までの時間（ｔｉｍｅ−ｔｏ−ｓａｔｕｒａｔｉｏｎ）測定が実施され得る。測定キャパシタ７０８における電荷蓄積のレートは、しきい値８０４と飽和までの時間との間の比に基づいて決定され得、（キャパシタが無限の容量を有する場合に）露光期間の終了時に測定キャパシタ７０８において蓄積され得る電荷の仮定量（Ｑ３）は、電荷蓄積のレートに従って外挿法によって決定され得る。電荷の仮定量（Ｑ３）は、高光強度範囲８１０内の入射光強度の合理的に正確な表現を提供することができる。その上、本開示の実施形態では、露光期間は、ピクセルセルを飽和させる可能性を低減するために、蓄積された電荷の量がしきい値８０４に達した時間Ｔ’に左方にシフトするように調整され得る。

再び図７Ｂを参照すると、転送ゲート７０６は、上記で説明されたように、異なる光強度範囲について、残留電荷キャパシタ７０３および測定キャパシタ７０８における電荷蓄積を制御するために測定制御信号７１２によって制御され得る。たとえば、低光強度範囲８０６では、転送ゲート７０６は、部分的にオンにされた状態において動作するように制御され得る。露光期間中に、転送ゲート７０６のゲート電圧は、残留電荷キャパシタ７０３における総蓄積電荷がしきい値８０２に達したときに残留電荷キャパシタ７０３において生じた電圧に基づいて設定され得る。そのような仕組みにより、フォトダイオード７０２によって生成された電荷は、蓄積された電荷の量がしきい値８０２に達するまで、最初に残留電荷キャパシタ７０３に貯蔵される。露光期間が終了する直前に、転送ゲート７０６は、残留電荷キャパシタ７０３に貯蔵された電荷を測定キャパシタ７０８に移動するために、完全にオンにされた状態において動作するように制御され得る。電荷転送の終了時に、転送ゲート７０６は、測定キャパシタ７０８に貯蔵された電荷を保存するために、完全にオフにされた状態において動作するように制御され得る。その時点において、測定キャパシタ７０８に貯蔵された電荷は、残留電荷キャパシタ７０３に貯蔵された電荷を表し得、入射光強度を決定するために使用され得る。一方、中光強度範囲８０８および高光強度範囲８１０では、転送ゲート７０６が依然として部分的にオンにされた状態にあり、残留電荷キャパシタ７０３に貯蔵された電荷が測定キャパシタ７０８にまだ転送されていないとき、測定キャパシタ７０８において蓄積されたオーバーフロー電荷も、露光期間が終了する直前に測定され得る。

測定キャパシタ７０８において蓄積された電荷はバッファ７０９によって検知されて、アナログ出力ノード７１４におけるアナログ電圧の複製（ただし、より大きい駆動の強さをもつ）が生成され得る。アナログ出力ノード７１４におけるアナログ電圧は、ＡＤＣ７１０によって（たとえば、論理１および０を備える）デジタルデータのセットに変換され得る。測定キャパシタ７０８において生じたアナログ電圧がサンプリングされ得、デジタル出力が、（たとえば、中光強度範囲８０８および高光強度範囲８１０について）露光期間の終了の前に、または（低光強度範囲８０６について）露光期間の後に生成され得る。デジタルデータは、露光期間中の光強度を表すために、たとえば、図５の制御回路要素５１０に、ピクセル出力バス７１６のセットによって送信され得る。

いくつかの例では、測定キャパシタ７０８のキャパシタンスは、低光強度範囲についての光強度決定の正確さを改善するように構成可能であり得る。たとえば、残留電荷キャパシタ７０３において貯蔵された残留電荷を測定するために測定キャパシタ７０８が使用されるとき、測定キャパシタ７０８のキャパシタンスは低減され得る。測定キャパシタ７０８のキャパシタンスの低減は、ある量の貯蔵された電荷についてより高い電圧を生じさせることができるように、測定キャパシタ７０８における電荷−電圧変換比を増加させることができる。より高い電荷−電圧変換比は、低光強度決定の正確さに対するＡＤＣ７１０によって導入される測定誤差（たとえば、量子化誤差、比較器オフセット、バッファ回路に関連する雑音など）の効果を低減することができる。測定誤差は、ＡＤＣ７１０によって検出および／または弁別され得る最小電圧差に対する限界を設定することができる。電荷−電圧変換比を増加させることによって、最小電圧差に対応する電荷の量は低減され得、これは、ピクセルセル７００による測定可能な光強度の下限を低減し、ダイナミックレンジを拡張する。一方、中光強度では、測定キャパシタ７０８のキャパシタンスは、測定キャパシタ７０８が、たとえば、しきい値８０４によって定義される量までの電荷の量を貯蔵するのに十分な容量を有することを保証するために、増加され得る。

図９は、ＡＤＣ７１０の内部構成要素の一例を示す。図９に示されているように、ＡＤＣ７１０は、しきい値生成器９０２と、比較器９０４と、デジタル出力生成器９０６とを含む。デジタル出力生成器９０６は、カウンタ９０８とメモリ９１０とをさらに含み得る。カウンタ９０８は、自走クロック信号９１２に基づいてカウント値のセットを生成することができ、メモリ９１０は、カウンタ９０８によって生成されたカウント値のうちの少なくともいくつか（たとえば、最新のカウント値）を記憶することができる。いくつかの実施形態では、メモリ９１０は、カウンタ９０８の一部であり得る。メモリ９１０は、たとえば、以下で説明されるように、ローカルピクセル値に基づいてカウンタ値を記憶するためのラッチ回路であり得る。しきい値生成器９０２は、デジタル値のセットを受け付け、デジタル値のセットを表す基準電圧（ＶＲＥＦ）９１５を出力することができる、デジタルアナログ変換器（ＤＡＣ）９１３を含む。以下でより詳細に説明されるように、しきい値生成器９０２は、静的デジタル値を受け付けて、固定しきい値を生成するか、またはカウンタ９０８の出力９１４を受け付けて、ランピングしきい値を生成し得る。

図９は、ＤＡＣ９１３（およびしきい値生成器９０２）がＡＤＣ７１０の一部であることを示しているが、ＤＡＣ９１３（およびしきい値生成器９０２）は異なるピクセルセルからの複数のデジタル出力生成器９０６と結合され得ることを理解されたい。その上、デジタル出力生成器９０６（およびＡＤＣ７１０）はまた、デジタル値を生成するために複数のピクセルセルの間で共有され得る。

比較器９０４は、アナログ出力ノード７１４において生じたアナログ電圧をしきい値生成器９０２によって提供されたしきい値と比較し、比較結果に基づいて判定９１６を生成することができる。たとえば、比較器９０４は、アナログ出力ノード７１４におけるアナログ電圧がしきい値生成器９０２によって生成されたしきい値に等しいかまたはそのしきい値を超える場合、判定９１６について論理１を生成することができる。比較器９０４はまた、アナログ電圧がしきい値を下回る場合、判定９１６について論理０を生成することができる。判定９１６は、アナログ出力ノード７１４におけるランピングアナログ電圧の上述の飽和の時間（ｔｉｍｅ−ｏｆ−ｓａｔｕｒａｔｉｏｎ）測定、ならびに入射光強度決定のためのアナログ出力ノード７１４におけるアナログ電圧の量子化処理を実施するために、カウンタ９０８の計数動作および／またはメモリ９１０に記憶されたカウント値を制御することができる。

図１０Ａは、ＡＤＣ７１０による飽和までの時間測定の一例を示す。飽和までの時間測定を実施するために、しきい値生成器９０２は、固定ＶＲＥＦ９１５を生成するようにＤＡＣ９１３を制御することができる。固定ＶＲＥＦ９１５は、中光強度範囲と高光強度範囲との間の電荷量しきい値（たとえば、図８のしきい値８０４）に対応する電圧に設定され得る。カウンタ９０８は、露光期間が開始した直後に（たとえば、シャッタースイッチ７０４が無効化された直後に）計数し始めることができる。アナログ出力ノード７１４におけるアナログ電圧がランプダウンする（または実装形態に応じてランプアップする）とき、クロック信号９１２は、カウンタ９０８におけるカウント値を更新するようにトグルし続ける。アナログ電圧は、ある時点において固定しきい値に達し得、これは、比較器９０４による判定９１６が反転することを引き起こす。判定９１６の反転はカウンタ９０８の計数を停止し得、カウンタ９０８におけるカウント値は飽和までの時間を表し得、より小さいカウント値が、電荷蓄積のより高いレートとより高い光強度とを指示する。図１０Ａの判定９１６はまた、アナログ出力ノード７１４における電圧が、飽和限界の一部分を表す所定のしきい値と比較される場合、飽和発現の指示を提供するために使用され得る。

図１０Ｂは、ＡＤＣ７１０によってアナログ電圧を量子化することの一例を示す。測定が開始した後に、ＤＡＣ９１３は、（図１０Ｂの例において）ランプアップするかまたは実装形態に応じてランプダウンすることができるランピングＶＲＥＦ９１５を生成するように、カウンタ出力９１４によってプログラムされ得る。図１０Ｂの例では、量子化プロセスは、ＶＲＥＦ９１５がクロック信号９１２の各クロックサイクルについて同じ量だけ増加（または減少）する、一様量子化ステップで実施され得る。ＶＲＥＦ９１５の増加（または減少）の量は量子化ステップに対応する。ＶＲＥＦ９１５がアナログ出力ノード７１４におけるアナログ電圧の１つの量子化ステップ内に達したとき、比較器９０４による判定９１６が反転する。判定９１６の反転は、カウンタ９０８の計数を停止し得、カウント値は、１つの量子化ステップ内でアナログ電圧に一致するように蓄積された量子化ステップの総数に対応することができる。カウント値は、測定キャパシタ７０８において貯蔵された電荷の量のデジタル表現、ならびに入射光強度のデジタル表現になり得る。上記で説明されたように、アナログ電圧の量子化は、（たとえば、中光強度範囲８０８について）露光期間中に、および（たとえば、低光強度範囲８０６について）露光期間の後に行われ得る。

上記で説明されたように、ＡＤＣ７１０は、（たとえば、量子化ステップの総数によって表される）ＡＤＣ７１０によって出力された量レベルによって表される電荷の量と、ＡＤＣ７１０による量レベルにマッピングされる電荷の実際の入力量との間に不一致があるとき、量子化誤差を導入することがある。量子化誤差を低減するための１つのやり方は、量子化ステップが入力範囲にわたって一様でない非一様量子化方式を採用することによるものであり得る。図１０Ｃは、非一様量子化プロセスおよび一様量子化プロセスについてのＡＤＣコード（量子化プロセスの出力）と入力電荷量レベルとの間のマッピングの一例を示す。点線は、非一様量子化プロセスについてのマッピングを示し、実線は、一様量子化プロセスについてのマッピングを示す。一様量子化プロセスでは、（Δ_１によって示される）量子化ステップサイズは、入力電荷量の範囲全体について同等である。対照的に、非一様量子化プロセスでは、量子化ステップサイズは、入力電荷量に応じて異なる。たとえば、（Δ_Ｓによって示される）低入力電荷量についての量子化ステップサイズは、（Δ_Ｌによって示される）大きい入力電荷量についての量子化ステップサイズよりも小さい。その上、同じ低入力電荷量について、非一様量子化プロセスについての量子化ステップサイズ（Δ_Ｓ）は、一様量子化プロセスについての量子化ステップサイズ（Δ_１）よりも小さくされ得る。

非一様量子化方式を採用することの１つの利点は、低入力電荷量を量子化するための量子化ステップが低減され得、これが、低入力電荷量を量子化する際の量子化誤差を低減し、ＡＤＣ７１０によって弁別され得る最小入力電荷量が低減され得ることである。したがって、低減された量子化誤差は、画像センサーの測定可能な光強度の下限を押し下げることができ、ダイナミックレンジが増加され得る。その上、量子化誤差は高入力電荷量について増加されるが、量子化誤差は、高入力電荷量と比較して小さいままであり得る。したがって、電荷の測定に導入される全体的な量子化誤差は低減され得る。一方、入力電荷量の範囲全体をカバーする量子化ステップの総数は、同じ（さらには低減された）ままであり得、量子化ステップの数を増加させることに関連する上述の潜在的問題（たとえば、エリアの増加、より高い帯域幅要件、処理速度の低減など）は、回避され得る。

図１０Ｄは、非一様量子化プロセスを使用してＡＤＣ７１０によってアナログ電圧を量子化することの一例を示す。（一様量子化プロセスを採用する）図１０Ｂと比較して、ＶＲＥＦ９１５は、最初により緩やかな傾きで、および後でより急な傾きで、各クロックサイクルに関して非線形様式で増加する。傾きの差は、不均一な量子化ステップサイズに起因する。（より低い入力量範囲に対応する）より低いカウンタカウント値では、量子化ステップはより小さくされ、したがって、ＶＲＥＦ９１５は、より遅いレートで増加する。（より高い入力量範囲に対応する）より高いカウンタカウント値では、量子化ステップはより大きくされ、したがって、ＶＲＥＦ９１５は、より高いレートで増加する。ＶＲＥＦ９１５における不均一な量子化ステップは、異なる方式を使用して導入され得る。たとえば、上記で説明されたように、ＤＡＣ９１３は、（カウンタ９０８からの）異なるカウンタカウント値について電圧を出力するように構成される。ＤＡＣ９１３は、（量子化ステップサイズを定義する）２つの隣接するカウンタカウント値間の出力電圧の差が、異なるカウンタカウント値について異なるように構成され得る。別の例として、カウンタ９０８はまた、同じカウントステップだけ増加または減少する代わりに、カウンタカウント値の跳びを生成して、不均一な量子化ステップを生成するように構成され得る。いくつかの例では、図１０Ｄの非一様量子化プロセスは、低光強度範囲８０６および中光強度範囲８０８についての光強度決定のために採用され得る。

次に図１１を参照すると、図１１は、ピクセルセル１１００の一例を示し、ピクセルセル１１００は、図７のピクセルセル７００の一実施形態であり得る。図１１の例では、ＰＤがフォトダイオード７０２に対応することができ、トランジスタＭ０がシャッタースイッチ７０４に対応することができ、トランジスタＭ１が転送ゲート７０６に対応することができ、トランジスタＭ２がリセットスイッチ７０７に対応することができる。その上、ＰＤＣＡＰが残留電荷キャパシタ７０３に対応することができ、ＣＯＦキャパシタとＣＥＸＴキャパシタとの組合せが測定キャパシタ７０８に対応することができる。測定キャパシタ７０８のキャパシタンスは、信号ＬＧによって構成可能である。ＬＧが有効化されたとき、測定キャパシタ７０８は、ＣＯＦキャパシタとＣＥＸＴキャパシタとの組み合わせられた容量を提供する。ＬＧが無効化されたとき、ＣＥＸＴキャパシタは、並列の組合せから切断され得、測定キャパシタ７０８は、ＣＯＦキャパシタのみ（および他の寄生キャパシタンス）を備える。上記で説明されたように、測定キャパシタ７０８のキャパシタンスは、低光強度決定のための電荷−電圧変換比を増加させるために低減され得、中光強度決定のための必須の容量を提供するために増加され得る。

ピクセルセル１１００は、（図１１に示されていない）選択モジュールを介してＡＤＣ７１０の一例と結合されたバッファ７０９の一例をさらに含む。たとえば、トランジスタＭ３およびＭ４は、ＣＯＦキャパシタにおいて（またはＣＯＦキャパシタおよびＣＥＸＴキャパシタにおいて）貯蔵された電荷の量を表す、ＯＦノードにおいて生じたアナログ電圧をバッファするための、図７Ｂのバッファ７０９であり得るソースフォロワを形成する。さらに、ＣＣキャップ（ＣＣ ｃａｐ）、比較器１１１０、トランジスタＭ５、ＮＯＲゲート１１１２が、メモリ９１０とともに、ＯＦノードにおけるアナログ電圧を表すデジタル出力を生成するためのＡＤＣ７１０の一部であり得る。上記で説明されたように、量子化は、ＯＦノードにおいて生じたアナログ電圧とＶＲＥＦと間の、比較器１１１０によって生成された比較結果（ＶＯＵＴ）に基づき得る。ここで、ＣＣキャップは、バッファ７０９の出力を追跡する（比較器１１１０の１つの入力における）ＶＩＮ電圧を生成するように構成され、ＶＩＮ電圧を比較器１１１０に提供して、ＶＲＥＦと比較する。ＶＲＥＦは、（高光強度範囲についての）飽和の時間測定のための静的電圧または（低光強度範囲および中光強度範囲についての）アナログ電圧の量子化のためのランピング電圧であり得る。ＡＤＣコード入力は自走カウンタ（たとえば、カウンタ９０８）によって生成され得、比較器１１１０によって生成された比較結果は、メモリ９１０に記憶され、入射光強度のデジタル表現として出力されるべき、ＡＤＣコード入力を決定することができる。いくつかの例では、低光強度決定および中光強度決定のためのＶＲＥＦの生成は、図１０Ｃおよび図１０Ｄで説明されたように、非一様量子化方式に基づき得る。

ピクセルセル１１００は、上記で開示された技法に加えて、入射光強度決定の正確さをさらに改善することができる技法を含む。たとえば、ＣＣキャップとトランジスタＭ５との組合せは、比較器１１１０の正確さが改善され得るように、比較器１１１０によって導入される測定誤差（たとえば、比較器オフセットおよび様々な雑音）、ならびに比較器１１１０に導入される他の誤差信号を補償するために使用され得る。雑音信号は、たとえば、リセットスイッチ７０７によって導入されるリセット雑音電荷、ソースフォロワしきい値不一致によるバッファ７０９の出力における雑音信号などを含み得る。比較器オフセットならびに誤差信号を反映する電荷の量は、トランジスタＭ２とトランジスタＭ５の両方が有効化されたとき、リセット段階中にＣＣキャップにおいて貯蔵され得る。貯蔵された電荷により、リセット段階中にＣＣキャップにわたる電圧差も生じ得る。測定段階中に、ＣＣキャップにわたる電圧差は残っており、ＣＣキャップは、ＶＩＮを生成するために、電圧差を減算（または加算）することによってバッファ７０９の出力電圧を追跡することができる。その結果、ＶＩＮ電圧は、測定誤差および誤差信号について補償され得、これは、ＶＩＮとＶＲＥＦとの間の比較と、その後の量子化との正確さを改善する。

いくつかの例では、ピクセルセル１１００は、３段階測定プロセスまたは２段階測定プロセスのいずれかにおいて動作され得る。３段階測定プロセスは、手６４２など、物理的物体のテクスチャまたは他の画像特徴を識別するために使用され得る。３つの段階の各々は、図８の３つの光強度範囲（たとえば、低光強度範囲８０６、中光強度範囲８０８、および高光強度範囲８１０）のうちの１つに対応することができる。一方、２段階測定プロセスは、中光強度範囲８０８の光からではなく、低光強度範囲８０６の光および高光強度範囲８１０の光から生成された、物体またはイベント（ｅｖｅｎｔ）の画像を識別するために使用され得る。２段階測定プロセスは、たとえば、（高光強度範囲８１０中にある可能性がある）グリントパッチ（ｇｌｉｎｔ ｐａｔｃｈ）６３２に対応するピクセルデータおよび（低光強度範囲８０６中にある可能性がある）瞳孔６３４に対応するピクセルデータの検出、（高光強度範囲８１０中にある可能性がある）赤外光のドットパターンの検出などのために使用され得る。測定の１つの段階をスキップすることによって、測定プロセスの総持続時間は低減され得、これは、電力消費と出力レイテンシの両方が低減されることを可能にする。その上、低光強度範囲８０６と中光強度範囲８０８とを含む、組み合わせられた（およびより大きい）範囲の代わりに低光強度範囲８０６を表すためのビットのセットを使用することによって、量子化誤差が低減され得、その結果、低光強度の物体（たとえば、瞳孔６３４）を検出する正確さが改善され得る。

３段階または２段階測定プロセスの各段階において、ピクセルセル１１００は、対応する光強度範囲を対象とする測定段階において動作され、比較器１１１０の出力に基づいて、入射光強度が、対応する光強度範囲内に入るかどうかを決定することができる。入射光強度が、対応する光強度範囲内に入る場合、ピクセルセル１１００は、（カウンタ９０８からの）ＡＤＣコード入力をメモリ９１０にラッチし、メモリ９１０に（ＦＬＡＧ＿１信号とＦＬＡＧ＿２信号との組合せを使用して）ロックをかけて、後続の測定段階がメモリ９１０を上書きするのを防ぐことができる。２段階または３段階測定プロセスの終了時に、メモリ９１０に記憶されたＡＤＣコード入力は、次いで、入射光強度を表すデジタル出力として提供され得る。

次に図１２Ａ〜図１２Ｄを参照すると、図１２Ａ〜図１２Ｄは、時間に対する３段階測定プロセスについてのピクセルセル１１００の制御信号の変化を示す。図１２Ａを参照すると、Ｔ０とＴ１との間の時間期間は第１のリセット段階に対応し、Ｔ１とＴ４との間の時間期間は露光期間に対応する。露光期間内に、Ｔ１とＴ２との間の時間期間は高光強度範囲（たとえば、高光強度範囲８１０）についての測定の第１の段階に対応し、Ｔ２とＴ３との間の時間期間は中光強度範囲（たとえば、中光強度範囲８０８）についての測定の第２の段階に対応し、Ｔ３とＴ４との間の時間期間は第２のリセット段階に対応する。その上、Ｔ４とＴ５との間の時間期間は、低光強度範囲（たとえば、低光強度範囲８０６）についての測定の第３の段階に対応する。ピクセルセル１１００は、時間Ｔ５において入射光強度を表すデジタル出力を提供し、次いで、次の３段階測定プロセスを開始することができる。

図１２Ａに示されているように、Ｔ０とＴ１との間の時間期間中に、ＲＳＴ１信号とＲＳＴ２信号の両方、ならびにＬＧ信号、ＴＸ信号、およびシャッター信号がアサートされる。その結果、ＰＤＣＡＰキャパシタ、ＣＥＸＴキャパシタ、およびＣＯＦキャパシタに貯蔵された電荷は除去される。その上、フォトダイオードＰＤによって生成された電荷はトランジスタＭ０によって迂回されるので、電荷はキャパシタに追加されない。さらに、比較器１１１０もリセット段階にあり、ＣＣキャパシタは、Ｍ２によって導入されたリセット雑音、比較器オフセット、バッファ７０９のしきい値不一致などを反映する、電荷を貯蔵することができる。期間の終了に向かって、ＴＸゲートは、ＰＤＣＡＰにおける電荷の所定の数（たとえば、しきい値８０２）をトラップするために、しきい値レベルにおいてバイアスされる。しきい値レベルは、電荷の所定の数に対応する電圧に基づいて設定され得る。

Ｔ１とＴ２との間の時間期間中に、シャッター信号はアサート解除され、ＬＧ信号はアサートされたままであり、これは、ＰＤフォトダイオードによって生成された電荷が、ＰＤキャパシタに流れることを可能にし、ＰＤキャパシタにおいて生じた電圧がＴＸによって設定されたしきい値レベルを超える場合、ＣＯＦキャパシタおよびＣＥＸＴキャパシタに流れることを可能にする。図１２Ｂは、その時間期間中にＡＤＣ７１０によって実施される測定動作を示す。図１２Ｂに示されているように、ＡＤＣ７１０は、飽和までの時間測定を実施することができ、ＯＦノードにおけるアナログ電圧（ＶＩＮ）のバッファされ、誤差補償されたバージョンは、カウンタ９０８が自走している間、しきい値８０４の電荷の量を表すしきい値電圧と比較され得る。ＣＯＦキャパシタおよびＣＥＸＴキャパシタにおいて貯蔵された総電荷が（ＯＦノード電圧に基づく）しきい値８０４を超える場合、比較器１１１０はトリップし、トリッピングの時間においてカウンタ９０８によって生成されたカウント値は、メモリ９１０に記憶され得る。比較器１１１０のトリッピングはまた、ＦＬＡＧ＿１を記憶するレジスタが１の値を記憶することを引き起こす。ＦＬＡＧ＿１信号はまた、飽和発現指示を表すために、コントローラ７４０に送られ得る。非０ＦＬＡＧ＿１値は、ＮＯＲゲート１１１２の出力が、ＮＯＲゲートへの他の入力にかかわらず低いままであることを引き起こすことができ、メモリをロックし、後続の測定段階がカウンタ９０８を上書きするのを防ぐことができる。一方、比較器１１１０がＴ１とＴ２との間の時間期間中に決してトリップしない場合、これは、入射光強度が高光強度範囲よりも低いことを示し、ＦＬＡＧ＿１は０にとどまる。後続の測定段階によって更新され得るＦＬＡＧ＿２は、比較器１１１０がトリップするかどうかにかかわらず０にとどまる。

測定の第２の段階に対応する、Ｔ２とＴ３との間の時間期間中に、ＯＦノードにおけるアナログ電圧は、ＡＤＣ７１０によって量子化され得る。図１２Ｃは、その時間期間中にＡＤＣ７１０によって実施される測定動作を示す。図１２Ｃに示されているように、ランピングＶＲＥＦが、ＯＦノードにおけるアナログ電圧（ＶＩＮ）のバッファされ、誤差補償されたバージョンと比較されるように、比較器１１１０に供給され得る。図１２Ｃは、一様量子化プロセスに対応するランピングＶＲＥＦを示すが、ランピングＶＲＥＦは、図１０Ｂに関して説明されたように非一様量子化プロセスに対応する非一様な傾きをも含むことができることを理解されたい。測定の第２の段階はＴ３において終了し、そのときまでに、中入射光範囲全体を表すＡＤＣ入力コードは循環されている。ランピングＶＲＥＦが（１つの量子化ステップ内で）ＶＩＮに一致する場合、比較器１１１０はトリップし、（ＦＬＡＧ＿１の０値によって示されるように）測定の第１の段階によってメモリがロックされない場合、トリッピングの時間においてカウンタ９０８によって生成されたカウント値は、メモリ９１０に記憶され得る。メモリがロックされる場合、カウント値はメモリ９１０に記憶されない。一方、メモリがロックされない場合、トリッピングの時間においてカウンタ９０８によって生成されたカウント値は、メモリ９１０に記憶され得、メモリは、ＦＬＡＧ＿２を記憶するレジスタに１の値を書き込むことによってロックされ得る。

Ｔ３とＴ４との間の時間期間の始まりにおいて、ＲＳＴ１信号とＲＳＴ２信号の両方が第２のリセット段階のために再びアサートされ得る。第２のリセット段階の目的は、ＣＥＸＴキャパシタとＣＯＦキャパシタとをリセットすること、および（低光強度範囲についての）測定の第３の段階においてＰＤＣＡＰキャパシタから転送された電荷を貯蔵するためにＣＯＦキャパシタを準備することである。また、ＬＧ信号は、ＣＯＦキャパシタからＣＥＸＴキャパシタを切断し、測定キャパシタ７０８のキャパシタンスを低減するために、アサート解除され得る。キャパシタンスの低減は、上記で説明されたように、電荷−電圧変換比を増加させて、低光強度決定を改善することになる。比較器１１１０もリセット状態に入れられ、ここで、ＣＥＸＴキャパシタおよびＣＯＦキャパシタをリセットすることによって生成された雑音電荷を貯蔵するためにＣＣキャップが使用され得る。時間Ｔ４に向かって、リセットが完了した後に、ＲＳＴ１信号とＲＳＴ２信号とはアサート解除されるが、バイアスＴＸは増加して、トランジスタＭ１を完全にオンにすることができる。ＰＤキャップ（ＰＤ ｃａｐ）に貯蔵された電荷は、次いで、Ｍ１を介してＣＯＦキャパシタに移動することができる。上記で説明されたように、露光期間設定モジュール７４２は、たとえば、ピクセルセルが飽和発現にあることを示す、アサートされたＦＬＡＧ＿１信号を受け取ったことに基づいて、Ｔ４のタイミングを設定することによって、露光期間を設定し得る。

Ｔ４とＴ５との間の時間期間中に、測定の第３の段階が、低光強度範囲について実施される。その期間中に、シャッター信号は、アサートされて露光期間を終了するが、ＴＸ信号は、アサート解除されてＣＯＦキャパシタからＰＤＣＡキャパシタおよびＰＤフォトダイオードを切断して、ＣＯＦキャパシタが、測定の時間中に、露光期間中にＰＤＣＡＰキャパシタに貯蔵された電荷のみを貯蔵することを保証する。図１２Ｄは、その時間期間中にＡＤＣ７１０によって実施される測定動作を示す。図１２Ｄに示されているように、ランピングＶＲＥＦが、ＯＦノードにおけるアナログ電圧（ＶＩＮ）のバッファされ、誤差補償されたバージョンと比較されるように、比較器１１１０に供給され得る。図１２Ｄは、一様量子化プロセスに対応するランピングＶＲＥＦを示すが、ランピングＶＲＥＦは、図１０Ｄに関して説明されたように非一様量子化プロセスに対応する非一様な傾きをも含むことができることを理解されたい。測定の第３の段階はＴ５において終了し、そのときまでに、低入射光範囲全体を表すＡＤＣ入力コードは循環されている。図１２Ｄに示されているように、ランピングＶＲＥＦが（１つの量子化ステップ内で）ＶＩＮに一致する場合、比較器１１１０はトリップし、（ＦＬＡＧ＿１およびＦＬＡＧ＿２の０値によって示されるように）測定の第１の段階および第２の段階によってメモリがロックされない場合、トリッピングの時間においてカウンタ９０８によって生成されたカウント値は、メモリ９１０に記憶され得る。メモリがロックされる場合、カウント値はメモリ９１０に記憶されない。メモリ９１０に記憶されたカウント値は、次いで、入射光強度を表すデジタル出力として提供され得る。

次に図１３を参照すると、図１３は、時間に対する２段階測定プロセスについてのピクセルセル１１００の制御信号の変化を示す。図１３を参照すると、Ｔ０とＴ１との間の時間期間は第１のリセット段階に対応し、Ｔ１とＴ２との間の時間期間は露光期間に対応する。露光期間内に、高光強度範囲（たとえば、高光強度範囲８１０）についての測定の第１の段階が実施され得る。その上、Ｔ２とＴ３との間の時間期間はＯＦリセットおよびＰＤ電荷転送に対応し、Ｔ３とＴ４との間の時間期間は低光強度範囲（たとえば、低光強度範囲８０６）についての測定の第２の段階に対応し、中光強度範囲についての測定段階はスキップされる。測定の各段階におけるピクセルセル１１００の動作は、図１２Ｂおよび図１２Ｄに関して説明されたようなものと同様であり、その詳細はここでは繰り返されない。

図１４は、ピクセルセル（たとえば、ピクセルセル７００、ピクセルセル１１００など）における入射光強度を決定するためのプロセス１４００のフローチャートの一実施形態を示す。プロセス１４００は、ピクセルセル７００およびピクセルセル１１００の様々な構成要素とともにコントローラによって実施され得る。プロセス１４００は、ステップ１４０２において始まり、ピクセルセルが、フォトダイオードが残留電荷キャパシタおよび／または測定キャパシタに電荷を転送することができる露光モードで動作される。ステップ１４０４において、ピクセルセルは、測定キャパシタにおいて生じた電圧を固定しきい値電圧と比較して、第１の判定とカウンタにおける第１のカウントとを生成するように動作され得る。ステップ１４０４は、高光強度範囲を対象とする第１の測定段階であり得、第１のカウントは、飽和の時間測定を表すことができる。（ステップ１４０６において）第１の判定が肯定である場合、ピクセルセルは、ステップ１４０８に進み、メモリに第１のカウントを記憶し、次いで、第１のフラグ（たとえば、ＦＬＡＧ＿１）をアサートすることによってメモリをロックし、次いで、ステップ１４１０に進んで第２の測定段階を実施することができる。第１の判定が肯定でない場合、ピクセルセルは、同じくステップ１４１０に直接進んで第２の測定段階を実施することができる。

ステップ１４１０において、ピクセルセルは、測定キャパシタにおいて生じた電圧を第１のランピング電圧と比較して、第２の判定とカウンタにおける第２のカウントとを生成するように動作される。ステップ１４１０は、中光強度範囲についての第２の測定段階であり得る。ピクセルセルは、次いで、ステップ１４１２において、第２の判定が肯定であるかどうかと、（たとえば、第１のフラグ、ＦＬＡＧ＿１がアサート解除されたままであることに基づいて）メモリがロックされないかどうかとを決定することができる。第２の判定が肯定であり、メモリがロックされていない場合、ピクセルセルは、ステップ１４１４に進み、メモリに第２のカウントを記憶し、第２のフラグ（たとえば、ＦＬＡＧ＿２）をアサートすることによってメモリをロックし、次いで、ステップ１４１６に進んで第３の測定段階を実施することができる。第２の判定が肯定でない場合、ピクセルセルは、同じくステップ１４１６に直接進んで第３の測定段階を実施することができる。

ステップ１４１６において、第３の測定段階の一部として、ピクセルセルは、貯蔵された電荷を空にするために測定キャパシタをリセットすることができる。ピクセルセルはまた、ステップ１４１８において、電荷−電圧変換比を増加させるために測定キャパシタのキャパシタンスを低減することができる。ステップ１４２０において、ピクセルセルは、フォトダイオードの残留電荷キャパシタに貯蔵された残留電荷を測定キャパシタに転送することができる。ピクセルセルは、次いで、ステップ１４２２に進んで、測定キャパシタにおいて生じた電圧を第２のランピング電圧と比較して、第３の判定とカウンタにおける第３のカウントとを生成する。ピクセルセルは、次いで、ステップ１４２４において、第３の判定が肯定であるかどうかと、（たとえば、第１のフラグＦＬＡＧ＿１および第２のフラグＦＬＡＧ＿２のいずれか１つがアサートされるかどうかに基づいて）メモリがロックされないかどうかとを決定することに進む。第３の判定が肯定であり、メモリがロックされない場合、ピクセルセルは、ステップ１４２６においてメモリに第３のカウントを記憶し、次いで、ステップ１４２８に進んで、メモリに記憶されたカウント値を出力する。一方、第３の判定が肯定でないか、またはメモリがロックされている場合、ピクセルセルは、ステップ１４２８に直接進んで、メモリに記憶された（第１のカウントまたは第２のカウントのうちの１つであり得る）カウント値を出力する。いくつかの例では、ステップ１４２８は後で実施され得、ステップ１４２８は、ステップ１４２４または１４２６の直後に実施される必要がない。

図１５は、ピクセルセルのアレイを動作させるためのプロセス１５００のフローチャートの一実施形態を示す。ピクセルセルのアレイは、たとえば、ピクセルセル７００のアレイ、ピクセルセル１１００のアレイなどを含み得る。プロセス１５００は、ピクセルセルのアレイおよびＡＤＣ（たとえば、ＡＤＣ７１０）とインターフェースするコントローラ（たとえば、コントローラ７４０）によって実施され得る。各ピクセルセルは、ＡＤＣとともに、図１４のプロセス１４００を実施し得る。プロセス１５００は、ステップ１５０２において始まり、コントローラが、ピクセルセルのアレイが入射光に基づいて生成された電荷を蓄積することを可能にするために、あらかじめ設定された持続時間の露光期間を開始する。あらかじめ設定された持続時間は、たとえば、ピクセルセル７００におけるキャパシタの容量、環境における平均周辺光強度、平均周辺光強度についてのフォトダイオードの電荷生成のレートなどに基づいて構成され得る。露光期間は、たとえば、ピクセルセルにおけるキャパシタが電荷を蓄積することを可能にするために、機械的シャッターを開いてピクセルセルを入射光に露光すること、電荷誘導スイッチ（ｃｈａｒｇｅ ｓｔｅｅｒｉｎｇ ｓｗｉｔｃｈ）（たとえば、シャッタースイッチ７０４）を無効化すること、および／または電荷転送スイッチ（たとえば、転送ゲート７０６）を有効化することなどによって開始され得る。

ステップ１５０４において、コントローラは、ピクセルセルのアレイの少なくとも１つのピクセルセルによって蓄積された電荷の量が所定のしきい値を超えたかどうかを決定する。ピクセルセルアレイは、ピクセルセルの複数のブロックに分割され得、少なくとも１つのピクセルセルは、ピクセルセルの各ブロックから選択される１つのピクセルセルを含み得る。異なる露光期間について、同じまたは異なるピクセルセルが選択され得る。所定のしきい値は、少なくとも１つのピクセルセルのキャパシタの飽和限界の一部分に基づき得る。ピクセルセルのアレイの少なくとも１つのピクセルセルによって蓄積された電荷の量が所定のしきい値を超えたかどうかの決定は、たとえば、比較器によって生成された飽和発現指示（たとえば、図１１のＦＬＡＧ＿１）に基づき得る。

（ステップ１５０６において）電荷の量がしきい値を超える場合、コントローラは、ステップ１５０８に進んで、ピクセルセルのアレイの各ピクセルセルにおける電荷の蓄積を停止し得る。一方、（ステップ１５０６において）電荷の量がしきい値を超えない場合、コントローラは、ステップ１５１０に進んで、あらかじめ設定された持続時間が満了したかどうかを決定し得る。あらかじめ設定された持続時間が満了していない場合、コントローラは、ステップ１５０４に戻って、少なくとも１つのピクセルセルにおける飽和発現をモニタし続け得る。あらかじめ設定された持続時間が満了した場合、コントローラは、同じくステップ１５０８に進んで、ピクセルセルのアレイの各ピクセルセルにおける電荷の蓄積を停止し得る。電荷の蓄積の停止は、たとえば、ピクセルセルにおけるキャパシタが電荷を蓄積するのを防ぐために、機械的シャッターを閉じて入射光からピクセルセルを遮蔽すること、電荷誘導スイッチ（たとえば、シャッタースイッチ７０４）を有効化すること、および／または電荷転送スイッチ（たとえば、転送ゲート７０６）を無効化することなどによって実施され得る。

ステップ１５１２において、コントローラは、ピクセルセルのアレイの各ピクセルセルにおける蓄積された電荷に基づく各ピクセルセルについての中間ピクセル値を（たとえば、ＡＤＣ７１０から）受け取り得る。中間ピクセル値は、測定の第１の段階における飽和までの時間出力に基づいて、あるいは測定の第２の段階または第３の段階におけるキャパシタにおいて貯蔵された電荷の量に基づいて、生成され得る。

ステップ１５１４において、コントローラは、中間ピクセル値をスケーリングするためのスケーリング値を決定し得る。スケーリング値は、たとえば、調整された露光期間の持続時間とデフォルト露光期間の持続時間との間の比に基づいて決定され得る。

ステップ１５１６において、コントローラは、デジタルピクセル値のセットを生成するためにスケーリング値を使用して中間ピクセル値の各々をスケーリングし、ステップ１５１８において、画像フレームの生成のためにデジタルピクセル値を画像プロセッサに提供し得る。

本開示の実施形態の上記の説明は、説明の目的で提示されており、網羅的であること、または開示される正確な形態に本開示を限定することは意図されない。当業者は、上記の開示に照らして多くの修正および変形が可能であることを諒解することができる。

本明細書のいくつかの部分は、情報に関する動作のアルゴリズムおよび記号表現に関して本開示の実施形態について説明する。これらのアルゴリズム説明および表現は、データ処理技術分野の当業者が、他の当業者に自身の仕事の本質を効果的に伝えるために通常使用される。これらの動作は、機能的に、計算量的に、または論理的に説明されるが、コンピュータプログラムまたは等価な電気回路、マイクロコードなどによって実装されることが理解される。さらに、一般性の喪失なしに、動作のこれらの仕組みをモジュールと呼ぶことが時々好都合であることも証明された。説明される動作およびそれらの関連するモジュールは、ソフトウェア、ファームウェア、および／またはハードウェアにおいて具現され得る。

説明されるステップ、動作、またはプロセスは、１つまたは複数のハードウェアまたはソフトウェアモジュールで、単独でまたは他のデバイスとの組合せで実施または実装され得る。いくつかの実施形態では、ソフトウェアモジュールは、コンピュータプログラムコードを含んでいるコンピュータ可読媒体を備えるコンピュータプログラム製品で実装され、コンピュータプログラムコードは、説明されるステップ、動作、またはプロセスのいずれかまたはすべてを実施するためにコンピュータプロセッサによって実行され得る。

本開示の実施形態はまた、説明される動作を実施するための装置に関し得る。本装置は、必要とされる目的のために特別に構築され得、および／あるいは、本装置は、コンピュータに記憶されたコンピュータプログラムによって選択的にアクティブ化または再構成される汎用コンピューティングデバイスを備え得る。そのようなコンピュータプログラムは、非一時的有形コンピュータ可読記憶媒体、または、コンピュータシステムバスに結合され得る、電子命令を記憶するのに好適な任意のタイプのメディアに記憶され得る。さらに、本明細書で言及される任意のコンピューティングシステムは、単一のプロセッサを含み得るか、または、増加された計算能力のために複数のプロセッサ設計を採用するアーキテクチャであり得る。

本開示の実施形態はまた、本明細書で説明されるコンピューティングプロセスによって製造される製品に関し得る。そのような製品は、コンピューティングプロセスから生じる情報を備え得、その情報は、非一時的有形コンピュータ可読記憶媒体に記憶され、本明細書で説明されるコンピュータプログラム製品または他のデータ組合せの任意の実施形態を含み得る。

本明細書で使用される言い回しは、主に読みやすさおよび教授の目的で選択されており、その言い回しは、本発明の主題を画定または制限するために選択されていないことがある。したがって、本開示の範囲はこの詳細な説明によって限定されるのではなく、むしろ、本明細書に基づく出願に関して生じる請求項によって限定されることが意図される。したがって、実施形態の開示は、以下の特許請求の範囲に記載される本開示の範囲を例示するものであり、限定するものではない。

Claims (23)

1. ピクセルセルのアレイであって、各ピクセルセルが、
   入射光を受け取ると電荷を生成するように構成されたフォトダイオードと、
   前記フォトダイオードによって生成された前記電荷を蓄積するように構成されたキャパシタと
   を含む、ピクセルセルのアレイと、
   前記ピクセルセルのアレイの前記キャパシタが前記電荷を蓄積することを可能にするために露光期間を開始することと、
   前記ピクセルセルのアレイの少なくとも１つのピクセルセルによって蓄積された電荷の量が所定のしきい値を超えたかどうかを決定することと、
   前記少なくとも１つのピクセルセルによって蓄積された前記電荷の量が所定のしきい値を超えたという決定に基づいて、
   前記ピクセルセルのアレイの前記キャパシタが前記電荷を蓄積することを停止することを引き起こすために前記露光期間を終了することと、
   前記露光期間内に各ピクセルセルの前記キャパシタにおいて蓄積された前記電荷に基づいて前記各ピクセルセルについての出力ピクセル値を生成することと、
   画像フレームの生成のために前記出力ピクセル値を提供することと
   を行うように構成されたコントローラとを備える、
   装置。
2. 前記コントローラが、
   前記露光期間内に各ピクセルセルの前記キャパシタにおいて蓄積された前記電荷に基づいて前記各ピクセルセルについての中間ピクセル値を決定することと、
   終了された前記露光期間の持続時間に基づいてスケール値を決定することと、
   前記出力ピクセル値を生成するために前記スケール値を使用して前記中間ピクセル値の各々をスケーリングすることと
   を行うようにさらに構成されている、請求項１に記載の装置。
3. 前記所定のしきい値が、前記少なくとも１つのピクセルセルを飽和させる入射光の強度範囲に基づいて設定される、請求項１に記載の装置。
4. 前記所定のしきい値が、前記電荷を蓄積するための、前記少なくとも１つのピクセルセルの前記キャパシタの容量に基づいて設定される、請求項１に記載の装置。
5. ピクセルセルの前記キャパシタが前記所定のしきい値に等しい電荷の量を蓄積するための時間の測定値、または、前記露光期間が終了したときに前記キャパシタにおいて蓄積された前記電荷の量の測定値のうちの少なくとも１つに基づいて、デジタルピクセル値を生成するように構成された１つまたは複数のアナログデジタル変換器（ＡＤＣ）と、
   前記ピクセルセルのアレイの各ピクセルセルの前記フォトダイオードにおいて蓄積された前記電荷に基づいて前記各ピクセルセルについての前記デジタルピクセル値を生成するために、前記各ピクセルセルを前記１つまたは複数のＡＤＣに順次結合するように構成された選択モジュールと
   をさらに備える、請求項１に記載の装置。
6. 前記コントローラは、複数の露光期間の各露光期間において、
   前記少なくとも１つのピクセルセルとして前記前記ピクセルセルのアレイからピクセルセルを選択することと、
   選択された前記ピクセルセルにおいて蓄積された電荷の量が前記所定のしきい値を超えたかどうかを決定するために、前記選択されたピクセルセルを前記１つまたは複数のＡＤＣに結合するように前記選択モジュールを制御することと、
   前記選択されたピクセルセルにおいて蓄積された前記電荷の量が前記所定のしきい値を超えたと決定したことに応答して、前記各露光期間を終了することと
   を行うように構成されている、請求項５に記載の装置。
7. 前記コントローラが、前記複数の露光期間の前記各露光期間において同じピクセルセルを選択するように構成されている、請求項６に記載の装置。
8. 前記コントローラが、前記複数の露光期間のうちの第１の露光期間と第２の露光期間とにおいて異なるピクセルセルを選択するように構成されている、請求項６に記載の装置。
9. 前記コントローラは、前記ピクセルセルの前記デジタルピクセル値が前の露光期間において前記所定のしきい値を超えたことに基づいて、現在の露光期間において前記ピクセルセルを選択するように構成されている、請求項６に記載の装置。
10. 前記コントローラが、ランダム関数に基づいて前記ピクセルセルを選択するように構成されている、請求項６に記載の装置。
11. 各ピクセルセルは、前記各ピクセルセルの前記キャパシタが前記所定のしきい値に等しい電荷の量を蓄積するための時間の測定値、または、前記露光期間が終了したときに前記キャパシタにおいて蓄積された前記電荷の量の測定値のうちの少なくとも１つに基づいて、前記各ピクセルセルについてのデジタルピクセル値を生成するように構成されたアナログデジタル変換器（ＡＤＣ）を含み、
    前記コントローラは、
    前記ピクセルセルのうちの少なくとも１つにおいて蓄積された電荷の量が前記所定のしきい値を超えたという指示をモニタすることと、
    前記指示を受け取ったことに基づいて各ピクセルセルについての前記露光期間を終了することと
    を行うように構成されている、請求項１に記載の装置。
12. 前記露光期間がデフォルト終了時間を有し、
    前記コントローラは、前記少なくとも１つのピクセルセルによって蓄積された前記電荷の量が前記所定のしきい値を超えたという前記決定に基づいて前記デフォルト終了時間の前に前記露光期間を終了するように構成され、
    前記デフォルト終了時間が周辺光強度に基づいてあらかじめ設定される、請求項１に記載の装置。
13. 前記ピクセルセルのアレイがピクセルセルの第１のアレイであり、
    前記装置がピクセルセルの第２のアレイをさらに備え、
    前記コントローラが、
    前記第１のアレイについて、および前記第２のアレイについて、第１の時間において前記露光期間を開始することと、
    前記第１のアレイについて、第２の時間において前記露光期間を終了することと、
    前記第２のアレイについて、前記第２の時間とは異なる第３の時間において前記露光期間を終了することと
    を行うように構成されている、請求項１に記載の装置。
14. ピクセルセルのアレイの各ピクセルセルのキャパシタが、前記各ピクセルセル中に含まれるフォトダイオードによって生成された電荷を蓄積することを可能にするために、露光期間を開始することと、
    前記ピクセルセルのアレイの少なくとも１つのピクセルセルによって蓄積された電荷の量が所定のしきい値を超えたかどうかを決定することと、
    前記少なくとも１つのピクセルセルによって蓄積された前記電荷の量が所定のしきい値を超えたと決定したことに基づいて、
    前記ピクセルセルのアレイの前記キャパシタが前記電荷を蓄積することを停止することを引き起こすために前記露光期間を終了することと、
    前記露光期間内に各ピクセルセルの前記キャパシタにおいて蓄積された前記電荷に基づいて前記各ピクセルセルについての出力ピクセル値を生成することと、
    画像フレームの生成のために前記出力ピクセル値を提供することとを含む、
    方法。
15. 前記露光期間内に各ピクセルセルの前記キャパシタにおいて蓄積された前記電荷に基づいて前記各ピクセルセルについての中間ピクセル値を決定することと、
    終了された前記露光期間の持続時間に基づいてスケール値を決定することと、
    前記出力ピクセル値を生成するために前記スケール値を使用して前記中間ピクセル値の各々をスケーリングすることと
    をさらに含む、請求項１４に記載の方法。
16. 前記所定のしきい値が、前記少なくとも１つのピクセルセルを飽和させる入射光の強度範囲に基づいて設定される、請求項１４に記載の方法。
17. 前記所定のしきい値が、前記電荷を蓄積するための、前記少なくとも１つのピクセルセルの前記キャパシタの容量に基づいて設定される、請求項１４に記載の方法。
18. 各ピクセルセルの前記キャパシタが前記所定のしきい値に等しい電荷の量を蓄積するための時間の測定値、または、前記露光期間が終了したときに前記各ピクセルセルの前記キャパシタにおいて蓄積された前記電荷の量の測定値のうちの少なくとも１つに基づいて、ＡＤＣを使用して、前記各ピクセルセルについてのデジタルピクセル値を生成すること
    をさらに含む、請求項１４に記載の方法。
19. 複数の露光期間の各露光期間において、
    前記少なくとも１つのピクセルセルとして前記前記ピクセルセルのアレイからピクセルセルを選択することと、
    選択された前記ピクセルセルにおいて蓄積された電荷の量が前記所定のしきい値を超えたかどうかを決定するように前記ＡＤＣを制御することと、
    前記選択されたピクセルセルにおいて蓄積された前記電荷の量が前記所定のしきい値を超えたと決定したことに応答して、前記各露光期間を終了することと
    をさらに含む、請求項１８に記載の方法。
20. 同じピクセルセルが、前記複数の露光期間の前記各露光期間において選択される、請求項１９に記載の方法。
21. 第１の露光期間における別々のピクセルセルが、前記複数の露光期間のうちの第１の露光期間と第２の露光期間とにおいて選択される、請求項１９に記載の方法。
22. 前記ピクセルセルは、前記ピクセルセルの前記デジタルピクセル値が前の露光期間において前記所定のしきい値を超えたことに基づいて、現在の露光期間において選択される、請求項１９に記載の方法。
23. 前記ピクセルセルがランダム関数に基づいて選択される、請求項１９に記載の方法。

Images