本明細書では、高速、高解像度、高ダイナミックレンジ、高感度、および低電力消費の画像センサが開示される。様々な実施形態では、所望の性能を達成するために、画素ごとにデジタイザを含むデジタル画素画像センサが使用され得る。いくつかの実施形態では、デジタル画素画像センサの各デジタル画素は、フォトダイオード、転送ゲート、アナログ記憶デバイス(たとえば、明示または寄生のキャパシタ)、デジタイザ(たとえば、ADC)、およびデジタルメモリを含み得る。フォトダイオードは、光信号を電気信号に変換することができる。転送ゲートを使用してフォトダイオードからの電気信号(たとえば、蓄積電荷)をアナログ記憶デバイスへ転送することができ、デジタイザは、アナログ記憶デバイスの電気信号をデジタルビットに変換することができる。デジタルメモリはデジタルビットを、そのデジタルビットが読み出される前に記憶しておくことができる。一例では、各デジタル画素のデジタイザは比較器を含むことができる。比較器は、アナログ記憶デバイスの電気信号を参照ランプ信号と比較することができる。参照ランプ信号は、たとえばDACによって生成されたグローバル信号でもよい。クロックカウンタ(たとえば、グローバルクロックカウンタ)は、クロックサイクルの数を各画像フレームで連続してカウントすることができる。参照ランプ信号がアナログ記憶デバイスの電気信号のレベルに達すると、デジタル画素の比較器の出力状態が変化し得る(たとえば、反転、切り替わり、またはランプアップ/ダウン)。次に、デジタル画素の比較器の出力が状態を変化させるときのカウンタ値が、比較器の出力が切り替わることによってデジタル画素のメモリの中にラッチされ得る。
いくつかの実施形態では、デジタル画素は、ランダムノイズ(たとえば、1/fノイズ、キャパシタの熱kT/Cノイズ)および固定パターンノイズ(FPN)(たとえば、画素間の比較器閾値不整合によって生じる)を低減するために、相関二重サンプリング(CDS)回路(たとえば、デジタルCDS回路)を含むことができる。CDS回路は、アナログ記憶デバイスのリセットレベルをデジタル化し(たとえば、mビットに)、またフォトダイオードから転送されたアナログ記憶デバイスの電気信号のレベルをデジタル化することができる(たとえば、nビットに)。これら2つのデジタル化値は、(n+m)ビット画素メモリに記憶することができる。2つのデジタル化値の間の差は、画像フレームのデジタル画素のデジタル出力として使用することができる。
一実装形態では、画像フレームごとに、フォトダイオードは最初に光信号に露光され、その変換された電気信号を積分し始めることができる。露光(または積分)期間の終了時に、または終わり近くに(たとえば、終わる約100μs前に)、アナログ記憶デバイスをリセットすることができる。このリセットレベルは、デジタイザを使用してデジタル化することができる。露光期間の後に、(積分された)電気信号は、フォトダイオードからアナログ記憶デバイスへ転送し、デジタイザによってデジタル化することができる。したがって、フレーム周期(たとえば、33ms)の時間のほとんどの間(たとえば、95%、または99%以上)、デジタル画素は低電力モード(たとえば、積分モード)で作動することができる。
いくつかの実施形態では、デジタイザの比較器は、静的(DC)電力消費を最小限にできる回路を含むことができる。たとえば、DCバイアス回路を使用して比較器をある作動状態で設定するのではなく、デジタル化の前に、プリチャージ回路を使用して比較器の内部ノードをたとえば低レベルにプリチャージすることができる。プリチャージは、数マイクロ秒などの短い期間継続することができる。フレーム周期の時間の残りの間、比較器は静的電力をわずかしか、または全く消費しなくてよい。したがって、比較器による総電力消費は大幅に低減され得る。
以下の記述では、説明を目的として、本開示の諸例が完全に理解されるように具体的な詳細について論述する。しかし、これらの具体的な詳細がなくても様々な例を実践できることが明らかであろう。たとえば、デバイス、システム、構造、アセンブリ、方法、および他の構成要素が、不必要な詳記で諸例を不明瞭にしないようにするために、ブロック図の形の構成要素として示されることがある。別の事例では、よく知られているデバイス、プロセス、システム、構造、および技法が、諸例を不明瞭にすることを回避するために、必要な詳記なしで示されることがある。図および記述は、限定的なものではない。本開示に採用された用語および表現は制限ではなく記述の用語として使用されており、このような用語および表現を使用することには、図示され記述された特徴またはその一部分のいかなる等価物も排除するものではない。
画像センサは、フォトセンサのアレイを含むことができる。各フォトセンサは、何らかの光電子材料の光電効果を使用して光子を電荷(たとえば、電子または正孔)に変換することによって入射光を検知できるフォトダイオードでもよい。フォトセンサはまた、露光期間中にフォトダイオードによって生成された電荷を集める(たとえば、蓄積または積分する)ために、容量性デバイス(たとえば、寄生キャパシタ)などのアナログ記憶デバイスを含むこともできる。集められた電荷は、容量性デバイスにおける電圧変化を生じさせることができる。露光時間期間内に容量性デバイスに蓄えられた電荷の数を反映する電圧変化は、入射光の強度と相関関係がある。容量性デバイスにおける電圧レベルはバッファリングし、アナログ-デジタル変換器(ADC)または他のデジタイザに供給することができ、これらのデジタイザはその電圧レベルを、入射光の強度を表すデジタル値に変換することができる。画像フレームは、フォトセンサのアレイによって得られた強度データに基づいて生成することができ、各フォトセンサが、画像フレームの画素に対応する画像センサの画素を形成する。画像センサの画素のアレイは行と列に配置することができ、各画素が、画像中の特別な場所の画素の輝度を表す電圧を生成する。アレイに含まれる画素の数が、生成された画像フレームの解像度を決定し得る。
本明細書で開示される画像センサの実施形態は、人工現実システムを含むこと、またはこれと一緒に実施することができる。人工現実は、ユーザに提示される前に何らかの方法で調整された現実の形であり、これには、たとえば、仮想現実(VR)、拡張現実(AR)、複合現実(MR)、ハイブリッド現実、あるいはこれらのいくつかの組み合わせおよび/または派生物が含まれ得る。人工現実コンテンツには、コンピュータ生成コンテンツだけ、または取り込みコンテンツ(たとえば、実世界オブジェクトの画像)と組み合わされたコンピュータ生成コンテンツが含まれ得る。人工現実コンテンツには、映像、音声、触覚フィードバック、またはこれらのいくつかの組み合わせが含まれてもよく、これらのいずれも、単一のチャネルまたは複数のチャネル(視聴者に三次元効果をもたらす立体映像など)で提示することができる。加えて、いくつかの実施形態では、人工現実はまた、アプリケーション、製品、アクセサリ、サービス、またはこれらのいくつかの組み合わせと関連付けることができ、これらはたとえば、人工現実のコンテンツを作成するために使用され、かつ/または人工現実において(たとえば、諸活動を行うのに)別に使用される。人工現実コンテンツを提供する人工現実システムは、ホストコンピュータシステムに接続されたヘッドマウントディスプレイ(HMD)、独立型HMD、モバイルデバイスもしくはコンピューティングシステム、または他の、人工現実コンテンツを1人または複数の視聴者に提供できる任意の他のハードウェアプラットフォームを含む、様々なプラットフォーム上で実施することができる。
図1Aは、特定の実施形態による、様々なセンサを含む簡略化された例示的ニアアイディスプレイ100の斜視図である。図1Bは、特定の実施形態による、様々なセンサを含む簡略化された例示的ニアアイディスプレイ100の断面図である。ニアアイディスプレイ100は、メディアをユーザに提示することができる。ニアアイディスプレイ100によって提示されるメディアの例には、1つまたは複数の画像、映像、および/または音声のコンテンツが含まれる。いくつかの実施形態では、音声コンテンツは、ニアアイディスプレイ100、コンソール、または両方から音声情報を受け取り、この音声情報に基づいた音声データを提示する外部デバイス(たとえば、スピーカおよび/またはヘッドホン)を介して、提示することができる。ニアアイディスプレイ100は、仮想現実(VR)表示装置として動作するように構成することができる。いくつかの実施形態では、ニアアイディスプレイ100は、拡張現実(AR)表示装置および/または複合現実(MR)表示装置として動作するように構成することができる。
ニアアイディスプレイ100は、フレーム105および表示装置110を含むことができる。1つまたは複数の光学要素をフレーム105に結合または埋設することができる。表示装置110は、ニアアイディスプレイ100によって提示されるコンテンツがユーザに見えるように構成することができる。表示装置110は、電子表示装置および/または光学表示装置を含むことができる。たとえば、いくつかの実施形態では、表示装置110は、1つまたは複数の生成画像または実画像からの光をユーザの眼へ導くための導波表示装置アセンブリを含むことができる。
ニアアイディスプレイ100は、1つまたは複数の画像センサ120a、120b、120c、および120dを含むことができる。画像センサ120a、120b、120c、および120dのそれぞれは、異なる方向の異なる視野を表す画像データ生成するように構成された画素アレイを含むことができる。たとえば、画像センサ120aおよび120bは、Z軸に沿った方向Aの2つの視野を表す画像データを得るように構成することができるのに対し、画像センサ120cは、X軸に沿った方向Bの視野を表す画像データを得るように構成することができ、画像センサ120dは、X軸に沿った方向Cの視野を表す画像データを得るように構成することができる。
いくつかの実施形態では、画像センサ120a~120dは、ニアアイディスプレイ100の表示コンテンツを制御して、またはこれに影響を及ぼして、ニアアイディスプレイ100のユーザに対話式のVR/AR/MR経験を提供するための入力デバイスとして構成することができる。たとえば、画像センサ120a~120dは、ユーザが置かれている物理的環境の物理的画像データを生成することができる。この物理的画像データは、物理的環境におけるユーザの場所および/または移動経路を追跡する場所追跡システムに供給することができる。次に、1つのシステムが、たとえばユーザの場所および向きに基づいて、表示装置110に供給された画像データを更新して対話型経験を提供することができる。いくつかの実施形態では、場所追跡システムは、同時位置特定およびマッピング(SLAM)アルゴリズムを遂行して、ユーザが物理的環境内で移動するにつれて物理的環境内およびユーザの視野内のオブジェクトのセットを追跡することができる。場所追跡システムは、オブジェクトのセットに基づいた物理的環境のマップを構築および更新し、そのマップ内のユーザの場所を追跡することができる。複数の視野に対応する画像データを得ることによって、画像センサ120a~120dは、物理的環境のより全体的な眺望を場所追跡システムに提供することができ、これにより、より多くのオブジェクトがマップの構築および更新に含まれるようになり得る。このような構成によって、物理的環境内でユーザの場所を追跡する精度および頑強性が改善され得る。
ニアアイディスプレイ100はさらに、光を物理的環境の中に投射するための1つまたは複数の発光体130を含み得る。投射される光は、異なる周波数スペクトルを伴うことができ(たとえば、可視光、赤外光、紫外光など)、様々な目的に役立ち得る。たとえば、発光体130は、暗い環境内で画像センサ120a~120dが異なるオブジェクトの画像を取り込むのを助けるために暗い環境の中で(または赤外光、紫外光などの強度が低い環境の中で)光を投射して、たとえばユーザの場所追跡を可能にすることができる。発光体130は、環境内のオブジェクトの上に特定のマーカ(たとえば、構造化光パターン)を投射して、場所追跡システムがマップ構築/更新のためにオブジェクトを識別するのを助けることができる。
いくつかの実施形態では、発光体130はまた、立体撮像を可能にすることもできる。たとえば、画像センサ120aまたは120bの一方または両方が、可視光検知用の第1の画素アレイと赤外(IR)光検知用の第2の画素アレイとの両方を含むことができる。第1の画素アレイはカラーフィルタ(たとえば、ベイヤーフィルタ)で覆うことができ、この第1の画素アレイの各画素は、特別な色(たとえば、赤、緑または青色)と関連する光の強度を測定するように構成されている。第2の画素アレイ(IR光検知用)もまた、IR光だけを通過させるフィルタで覆うことができ、この第2の画素アレイの各画素は、IR光の強度を測定するように構成されている。これらの画素アレイは、オブジェクトのRGB画像およびIR画像を生成することができ、IR画像の各画素がRGB画像の各画素にマッピングされている。発光体130は、一組のIRマーカをオブジェクトに投射することができ、これらのマーカの画像は、IR画素アレイによって取り込むことができる。画像中に示されたオブジェクトのIRマーカの分布に基づいて、システムは、オブジェクトの異なる部分のIR画素アレイからの距離を推定し、その距離に基づいてオブジェクトの三次元(3D)画像を生成することができる。オブジェクトの3D画像に基づいて、システムは、たとえばユーザに対するオブジェクトの相対位置を決定することができ、その相対位置情報に基づいて、ニアアイディスプレイ100に供給される画像データを更新して対話型経験を提供することができる。
上で論じたように、ニアアイディスプレイ100は、非常に広い光強度の範囲を伴う環境中で動作させることができる。たとえば、ニアアイディスプレイ100は、屋内環境または屋外環境において、および/または1日のうちの異なる時間に動作させることができる。ニアアイディスプレイ100はまた、発光体130がオンにされていてもいなくても動作することができる。その結果、画像センサ120a~120dは、ニアアイディスプレイ100の異なる動作環境に伴う非常に広い光強度の範囲にわたって適切に動作できるように(たとえば、入射光の強度と相関関係がある出力を生成するために)、広いダイナミックレンジ、高い感度、および低いノイズレベルを有することが必要になり得る。
さらに、画像センサ120a~120dは、眼球の運動を追跡するために高速で出力を生成できることが必要になり得る。たとえば、ユーザの眼球は、非常に急速な運動(たとえば、サッカード運動)をすることができ、1つの眼球位置から別の位置への速いジャンプがあり得る。ユーザの眼球の急速運動を追跡するために、画像センサ120a~120dは、眼球の画像を高速で生成する必要があり得る。たとえば、画像センサが1つの画像フレームを生成する速度(フレームレート)は、少なくとも眼球の運動速度と対等である必要がある。高いフレームレートは、画像フレームを生成するのに関わる画像センサ画素すべての総露光時間が短いこと、ならびにセンサ出力を画像生成のためにデジタル値に変換するのが高速であることを必要とする。加えて、画像センサはまた、低電力消費で動作できることも必要である。
図2Aは、特定の実施形態による、様々なセンサを含む簡略化された例示的ニアアイディスプレイ200の前面図である。図2Bは、特定の実施形態による、様々なセンサを含む簡略化された例示的ニアアイディスプレイ200の断面図である。ニアアイディスプレイ200は、ニアアイディスプレイ100と類似していてもよく、フレーム205および表示装置210を含むことができる。1つまたは複数の画像センサ250aおよび250bは、フレーム205に結合または埋設することができる。図2Aは、ニアアイディスプレイ200のユーザの眼球235に面するニアアイディスプレイ200の側面を示す。図2Aおよび図2Bに示されるように、ニアアイディスプレイ200は、複数の発光体240a、240b、240c、240d、240e、および240fを含むことができる。ニアアイディスプレイ200はさらに、複数の画像センサ250aおよび250bを含むことができる。発光体240a、240b、および240cは、方向D(図1Aおよび図1Bの方向Aとは反対である)に特定の周波数範囲の光(たとえば、NIR)を発することができる。発される光は特定のパターンを伴うことができ、ユーザの左の眼球で反射され得る。画像センサ250aは、反射光を受光し反射パターンの画像を生成するための画素アレイを含み得る。同様に、発光体240d、240e、および240fは、特定のパターンを搬送するNIR光を発することができる。NIR光は、ユーザの右の眼球で反射され、画像センサ250bで受光され得る。画像センサ250bもまた、反射パターンの画像を生成するための画素アレイを含み得る。画像センサ250aおよび250bからの反射パターンの画像に基づいて、システムは、ユーザの注視位置を決定し、この決定された注視位置に基づいて、ニアアイディスプレイ200に供給される画像データを更新して対話型経験をユーザに提供することができる。
ユーザの眼球がダメージを受けないようにするために、発光体240a、240b、240c、240d、240e、および240fは通常、非常に低い強度で光を発するように構成される。画像センサ250aおよび250bが画像センサ120a~120dと同じセンサデバイスを備える場合、画像センサ250aおよび250bは、入射光の強度が非常に低いときに入射光の強度と相関関係がある出力を生成できる必要があり得、このことは、画像センサのダイナミック要件をさらに増大させ得る。
図3は、アナログ画素を用いた例示的な画像センサの簡略化ブロック図である。いくつかの実施形態では、画像センサ300は能動画素センサ(APS)画像センサとすることができる。画像センサ300は、画素アレイ310、ADCインターフェース320、デジタル-アナログコンバータ(DAC)と支援回路330、およびタイミングと制御回路340を含むことができる。画素アレイ310は、複数のAOS画素を含むことができる。画素アレイ310の各画素は、画素を照らす光信号の強度に対応する電圧または電流を生成できる光検出器またはフォトダイオードなどのフォトセンサを含み得る。たとえば、各画素は、画素に対する光信号を電流に変換することができる。画素アレイの各画素はまた、電流を積分して電圧信号を生成し記憶できる容量性デバイスなどのアナログ記憶デバイスを含むこともでき、この電圧信号は、画素へのグレーレベル/色情報を提示するアナログ検出信号と呼ばれることがある。
タイミングと制御回路340は、1つまたは複数の画素(たとえば、一行の画素)を選択的に活性化してアナログ検出信号をADCインターフェース320へ送出する、行デコーダとドライバ回路および/または列デコーダとドライバ回路を画素アレイ310の境界に含むことができる。
ADCインターフェース320は、複数のADCデバイスを含み得る。いくつかの実施形態では、ADCデバイスはそれぞれ、一列の画素に対応することができ、画素からのアナログ検出信号を一度に1行ずつデジタルデータに変換するのに使用することができる。各ADCデバイスは2つの入力部を1つは参照信号用に、もう1つはアナログ検出信号用に含むことができる。参照信号は、たとえば、デジタル-アナログコンバータ(DAC)および支援回路330によって生成することができる。各画素からのアナログ検出信号は、参照信号に基づいて、ADCデバイスによってデジタルデータに変換することができる。画素の各行からのデジタルデータは、デジタル画像データファイルに保存して画像フレームを形成することができる。
いくつかの実施形態では、各ADCは、内部オフセット補正回路と、画素ごとのパラメータばらつきによって生じる固定パターンノイズ(FPN)などのノイズを低減するように構成された相関二重サンプリング(CDS)回路とを含むことができる。CDS回路はまた、ADCインターフェース320の外部の独立型のユニットでもよい。CDS動作は、たとえば、参照信号またはリセット信号をサンプリングおよび保持し、アナログ検出信号をサンプリングおよび保持し、かつアナログ検出信号から参照信号を差し引いて相関アナログ検出信号を生成することによって行うことができる。相関アナログ検出信号は次に、ADCによってデジタル画像データに変換することができる。
いくつかの実施形態では、画素アレイ310の各画素は、たとえば、4トランジスタ(4T)APS画素または3トランジスタ(3T)APS画素を含み得る。たとえば、画素アレイの各3T画素は、光検出器(たとえば、埋め込みフォトダイオード)、リセットゲート、選択ゲート、ソースフォロワ増幅器トランジスタ、および容量性デバイス(たとえば、ソースフォロワ増幅器トランジスタのゲートの寄生キャパシタ)を含み得る。リセットゲートはオンにして、容量性デバイスに蓄えられた電荷を一掃することができる。露光中、光検出器によって生成された電荷を容量性デバイスに蓄えて、アナログ検出信号(たとえば、電圧信号)を生成することができる。画素が、対応する選択ゲートをたとえば行選択信号を使用して活性化することによって選択されると、容量性デバイスのアナログ検出信号は、ソースフォロワ増幅器トランジスタによって増幅され読み出しバス(たとえば、列ライン)へ送出されて、対応する列のADCによってデジタル画像データに変換され得る。いくつかの実施形態では、複数の画素でいくつかのゲートを共有して、画像センサに使用されるゲートの総数を減らすことができる。
図4は、CMOS能動画素センサ(APS)の例示的な4トランジスタ(4T)能動画素400を示す。4T能動画素400は、光検出器(たとえば、埋め込みフォトダイオード(PD)410)、トランジスタゲートM4 420、容量性記憶デバイス(たとえば、浮動拡散(FD)キャパシタCFD 430)、リセットゲートM1 440、ソースフォロワ読み出しトランジスタM2 450、および選択ゲートM3 460を含み得る。埋め込みフォトダイオード410は、光信号を電気信号に変換し、この電気信号を電荷として埋め込みフォトダイオード410の寄生キャパシタ412などの容量性デバイスに蓄える。蓄えられた電荷は、転送ゲートM4 420を介してFDキャパシタCFD 430へ転送することができる。リセットゲートM1 440を使用して、FDキャパシタCFD 430を既知の電圧レベルにリセットすることができる。選択ゲートM3 460のゲートは、行選択信号などの選択信号に接続して、FDキャパシタCFD 430の電圧信号を増幅できるソースフォロワ読み出しトランジスタM2 450を介し、FDキャパシタCFD 430を読み出しバス(たとえば列ライン480)に選択的に結合することができる。
能動画素400の動作中、各ラインの画素を露光する前に、寄生キャパシタ412に蓄えられた電荷は、たとえばシャッタ信号を使用して一掃すなわち放電することができ、またリセットゲートM1 440をオンにして、FDキャパシタCFD 430に蓄えられた電荷を一掃することができる。任意選択で、リセット後のFDキャパシタCFD 430の電圧レベルを読み出すことができる。露光中、光検出器によって生成された電荷をフォトダイオード410の寄生キャパシタ412に蓄えることができる。露光の終了時に電荷は、転送ゲートM4 420を介してFDキャパシタCFD 430へ転送することができる。埋め込みフォトダイオード410は暗電流が小さく、青色応答性が良好であり、転送ゲートに結合されると、埋め込みフォトダイオード410からFDキャパシタCFD 430への完全な電荷転送を可能にすることができる。この電荷により、FDキャパシタCFD 430における電圧変化が生じる。画素が、対応する選択ゲートM3 460を活性化することによって選択されると、FDキャパシタCFD 430の電圧信号(すなわち、アナログ検出信号)は、ソースフォロワ読み出しトランジスタM2 450によって増幅し、列ライン480へ送出することができる。次に、列ライン480に接続されたADCが、増幅された電圧信号をデジタル画像データに変換することができる。いくつかの実装形態では、光検出器から浮動拡散キャパシタへの画素内電荷転送を使用すると、相関二重サンプリング(CDS)をイネーブルすることによってノイズが低減し得る。
多くの画像センサでは、たとえばチップサイズおよび/または電力制約により画像センサのADCの数が制限されているので、画像センサの画素はADCに交代でアクセスして、デジタル画像データをたとえば一度に1つの行の画素ずつ生成することができる。一般に、ADC(たとえば、画素の列ごとに1つ)の1つの組が、1つの行の画素で生成された各電圧信号を同時にデジタル画像データに変換するように設けられ得る。しかし、隣接する画素セルの行は、そのADCの組に交代でアクセスしなければならないことがある。一例では、ローリング電子シャッタがCMOS画像センサに使用されることがあり、この場合、画素の各行が入射光に順次に露光されて電荷を生成し、画像センサの画素の1つの行が選択され一度に読み出されてもよく、それにより、画像センサの画素は、行ごとに選択され読み出されて画像フレームを生成できるようになる。一実装形態では、画像センサの画素の各行は、ある露光期間、入射光に露光することができる。行の画素はそれぞれ、露光期間中にフォトダイオードによって生成された電荷に基づく電圧信号を生成し、その電圧信号を1つの列のADCへ送出することができる。すべての列のADCが、その行の画素によって受光された入射光の強度を表す一組のデジタル画像データを生成することができる。すべての行の画素が入射光に露光され1つの画像フレームのデジタル画像データが出力されるまで、次の行の画素が後続の露光期間に入射光に露光されて、別の組のデジタル画像データが生成され得る。別の例では、隣接する行の画素の露光時間はいくらかのオーバラップを有することができるが、各行の画素はなお、光電電荷によって生成された電圧信号をデジタル画像データに交代で変換する必要があり得る。画像フレームは、画像センサの各行の画素のデジタル画像データに基づいて生成することができる。
図5Aは、第1の時刻にローリングシャッタを使用する画像センサ510の、異なる行の画素の例示的な状態を示す。第1の時刻に、画像センサ510の行520の画素はリセットすることができ、行530の画素は光信号に露光して各画素に電荷を蓄積することができ、行540の画素からの電圧信号は読み出し、一組のADCによってデジタル信号に変換することができる。画像センサ510の残りの画素は不活性にすることができ、第1の時点には少しも電力を消費しなくてよい。リセットされている画素の行(たとえば、行520)、VLC光信号に露光されている画素の行(たとえば、行530)、および読み出されている画素の行(たとえば、行540)を含む窓は、一度に1行ずつ下にシフトされて画像フレームが生成され得る。
図5Bは、第2の時刻にローリングシャッタを使用する画像センサ510の、異なる行の画素の例示的な状態を示す。第2の時刻は第1の時刻よりも後である。図5Bでは、リセットされている画素の行(たとえば、行520)、光信号に露光されている画素の行(たとえば、行530)、および読み出されている画素の行(たとえば、行540)は、図5Aに示された第1の時刻におけるその場所と比較して下にシフトされ得る。
上述のように、高速(たとえば、高フレームレート)、高感度、高ダイナミックレンジ、高解像度、および低電力消費である画像センサが、仮想現実デバイスまたは複合現実デバイスなどの用途に望まれる。しかし、ローリングシャッタを使用する上述の画像センサは、別の行の画素と共有されているADCの数の制限、および画素の各行の露光時間の制限により、速度が制限され、感度が制限されていることがある。
いくつかの実施形態では、画素ごとにデジタイザを有するデジタル画素画像センサが、高いフレームレートを達成するために使用され得る。デジタル画素画像センサの各デジタル画素は、光検出器(たとえば、フォトダイオード)、転送ゲート、アナログ記憶デバイス(たとえば、明示または寄生のキャパシタ)、デジタイザ(たとえば、ADC)、およびデジタルメモリを含み得る。フォトダイオードは、光信号を電気信号(たとえば、電荷または電流)に変換すること、および/または電気信号を積分することができる。転送ゲートを使用してフォトダイオードからの(積分された)電気信号をアナログ記憶デバイスへ転送することができ、デジタイザは、アナログ記憶デバイスの電気信号をデジタルビットに変換することができる。デジタルメモリはデジタルビットを、そのデジタルビットが各画素から読み出される前に記憶しておくことができる。デジタル画素画像センサの各画素がそれ自体のADCを有しているので、デジタル画素画像センサの全画素を、1つの画像フレームの、ある同一の露光時間期間中に光信号に露光することができ、またデジタル画素画像センサの全画素からの電圧信号を並行してデジタル画像データに変換することができる。すなわち、グローバルシャッタを使用して画像センサの全画素の露光を制御することができ、画像センサのフレームレートが上述のローリングシャッタ画像センサと比較して大幅に高められ得る。
図6は、特定の実施形態による、例示的なグローバルシャッタデジタル画素画像センサ600の簡略化ブロック図である。デジタル画素画像センサ600は、デジタル画素アレイ610、行ドライバとグローバル信号ドライバ回路620、グローバルカウンタ630、カウンタバッファ640、およびランプ発生器とバッファ回路650などの他の支援回路を含み得る。デジタル画素画像センサ600はまた、センス増幅器660と、センス増幅器バイアス回路670と、デジタル画素の各行からデジタルデータを読み出してデジタル画像を形成するラインメモリ680とを含み得る。デジタル画素画像センサ600はまた、デジタルブロック690、電源調節回路695、および/またはモバイル産業プロセッサインターフェース(MIPI)回路698などの、他の回路も含み得る。
デジタル画素アレイ610は、二次元アレイの画素を含み得る。各画素は、光検出器(たとえば、フォトダイオード)およびデジタイザを含み得る。フォトダイオードが入射光信号に応答して生成した電荷を蓄積して生成されたアナログ電圧信号は、各画素の内部でデジタイザによって変換され得る。すなわち、各画素は、アナログ信号ではなく、入射光の強度および/または色に対応するデジタルデータを出力することができる。加えて、デジタル画素アレイ610の全画素のアナログ電圧信号が同時に変換されて、画素内で追加の遮蔽アナログ記憶ノードを使用してアナログ電圧信号を記憶しなくても、グローバルシャッタ動作が可能になり得る。行ドライバとグローバル信号ドライバ回路620が、電荷積分、比較器動作、デジタル書き込み、デジタル出力などを含む、画素の動作を制御することができる。
グローバルカウンタ630が、グローバルカウンタ値をデジタル画素アレイ610の全画素に供給するために使用されてもよい。カウンタバッファ640が、グローバルカウンタ630からのグローバルカウンタ値を各画素へ送出することができる。ランプ発生器とバッファ回路650が、ランプ信号(上または下に傾斜している)または三角波信号などのグローバル参照信号を生成することができる。各画素のデジタイザは、グローバルカウンタ値およびグローバル参照信号を使用して、画素で生成されたアナログ電圧信号に対応するデジタルデータを決定することができる。
いくつかの実装形態では、画素内デジタルビットはレールからレールまで振れることができず、したがって、デジタル値を再生するためにセンス増幅器が使用されることがある。センス増幅器660は、アナログ-デジタル変換後に画素内のデジタル値を読み出すことができる。センス増幅器660は、1つの行の画素の複数のデジタル値を一度に読み出すことができる。各センス増幅器660は、1つの行の各画素内のデジタルデータを読み出すために、画素デジタル出力ラインに接続されてもよい。センス増幅器バイアス回路670が、センス増幅器660にバイアス電圧および電流を与えるために使用されてもよい。ラインメモリ680は、1つの行の画素から読み出されたデジタルデータを一時的に保持することができる。
デジタルブロック690は、画像センサのタイミングを含む画像センサの動作を制御する、論理回路を含み得る。電源調節回路695は、画像センサのアナログ電源および異なるレベルの電圧源(たとえば、3.3v、1.8V、および1.2V)を生成し、ブロックレベルの電力増および/または電力減を含め、画像センサの電力供給を管理することができる。MIPI回路698が、MIPI出力フォーマットのデジタルデータをメモリに送出するために使用されてもよい。
各画素にデジタイザ(たとえば、ADC)を設けることによって、画素アレイの画素が入射光に露光され、画素で受光された入射光の強度をデジタル表現したものを同時に生成して、グローバルシャッタ動作を実現することができる。高速の動きを捉えるには、グローバルシャッタは、動いているオブジェクトの異なる部分の画像を異なる時間に取り込む複数の行の画素によって生じる、ローリングシャッタ動作に伴う動き歪を回避できるので有利である。さらに、光強度を表す画像データを生成するために複数の行の画素が交代で露光される手法と比較して、画素を使用して画像フレーム生成するための総時間を減らすことができる。したがって、開示された技法は、画像センサの動作速度を高めることができる。加えて、全画素が同時に露光されるので、各画素の平均露光時間が、ローリングシャッタを使用することに比べて増加され得る。したがって、画像センサの感度が同様に増加され得る。
図7は、特定の実施形態による、例示的なグローバルシャッタデジタル画素画像センサの例示的なデジタル画素700の簡略化ブロック図である。デジタル画素700は、デジタル画素画像センサ600のデジタル画素アレイ610などの、デジタル画素画像センサのデジタル画素アレイの一部であり得る。デジタル画素700は、画像フレームの画素の輝度に対応するデジタル画像データを生成することができる。図7に示されるように、デジタル画素700は、フォトダイオード702、積分キャパシタ703、転送ゲート704、リセットスイッチ718、測定キャパシタ706、任意選択のバッファ710、および画素デジタイザ750を含み得る。いくつかの実施形態では、デジタル画素700はまた、グローバルシャッタ信号によって制御されるシャッタスイッチ726も含み得る。
いくつかの実施形態では、フォトダイオード702は、PNダイオードまたはPINダイオードを含み得る。シャッタスイッチ726、転送ゲート704、およびリセットスイッチ718のそれぞれが、トランジスタを含み得る。トランジスタには、たとえば、金属酸化膜半導体電界効果トランジスタ(MOSFET)、バイポーラ接合トランジスタ(BJT)などが含まれてもよい。シャッタスイッチ726が電子シャッタゲートとして機能して、デジタル画素700の露光期間を制御することができる。露光期間の前に、シャッタスイッチ726はイネーブルされて(オンにされて)、リセット積分キャパシタ703をリセットすることができる。露光期間中、シャッタスイッチ726は、露光イネーブル信号724によってディスエーブルする(オフにする)ことができ、これにより、フォトダイオード702で生成された電荷が積分キャパシタ703および/または測定キャパシタ706まで移動することが可能になり得る。リセットスイッチ718は、リセット信号720によってディスエーブルする(オフにする)ことができ、これにより測定キャパシタ706が、フォトダイオード702で生成された電荷を蓄え、その蓄えられた電荷の量と相関関係がある電圧信号を創出することが可能になり得る。次に、測定キャパシタ706の電圧信号がデジタルデータに変換され得る。測定キャパシタの電圧信号が変換された後に、リセットスイッチ718をイネーブルして、測定キャパシタ706に蓄えられた電荷をチャージシンク722へ移すことができ、それによって測定キャパシタ706が次の測定に使用可能になる。
積分キャパシタ703は、フォトダイオード702およびフォトダイオード702に接続された他の回路の寄生キャパシタとすることができ、フォトダイオード702で生成された電荷を蓄えることができる。積分キャパシタ703には、たとえば、PNダイオード接合境界面の接合キャパシタ、またはフォトダイオード702に接続された他の寄生キャパシタが含まれ得る。積分キャパシタ703がフォトダイオード702の近くにあるので、フォトダイオード702で生成された電荷が積分キャパシタ703に蓄積され得る。測定キャパシタ706は、浮動拡散ノード(たとえば、転送ゲート704の浮動端子)の寄生キャパシタ、金属キャパシタ、MOSキャパシタ、またはこれらの任意の組み合わせであり得る。測定キャパシタ706を使用して、ある量の電荷を蓄えることができ、この電荷量は、画素デジタイザ750によって測定して、入射光の強度を表すデジタル出力を得ることができる。測定キャパシタ706に蓄えられた電荷は、積分キャパシタ703から転送ゲート704を介して転送される電荷であり得る。転送ゲート704は、積分キャパシタ703から測定キャパシタ706への電荷転送を制御するように測定制御信号708によって制御することができる。積分キャパシタ703および/または測定キャパシタ706に蓄積された電荷の量は、露光期間中にフォトダイオード702によって生成された総電荷を反映することができ、この総電荷は、露光期間中にフォトダイオード702に入射した光の強度を反映する。
測定キャパシタ706に蓄えられた電荷は、任意選択のセンサ増幅器または任意選択のバッファ710によって検知されて、アナログ電圧信号の複製(しかし駆動力が大きい)がアナログ出力ノード712に生成され得る。アナログ出力ノード712のアナログ電圧信号は、画素デジタイザ750によって一組のデジタルデータ(たとえば、論理1および0を含む)に変換することができる。測定キャパシタ706において創出されたアナログ電圧信号はサンプリングすることができ、露光期間の後にデジタル出力が生成され得る。
画素デジタイザ750は、比較器754およびデジタル出力生成器760を含むことができ、このデジタル出力生成器は画素メモリ764を含むことができる。画素デジタイザ750は、クロックカウンタ762によって生成されたカウンタ値を使用することができ、このクロックカウンタは、デジタル画素画像センサの全画素用のグローバルクロックカウンタとすることができる。クロックカウンタ762は、クロック信号780に基づく一組のカウンタ値を生成することができる。いくつかの実装形態では、クロックカウンタ762はまた、参照信号生成器770によってグローバル参照信号を生成するのに使用することもでき、この参照信号生成器は、任意の参照信号を生成できるデジタル-アナログ変換器(DAC)772、またはカウンタ値を使用するランプ波もしくは三角波生成器を含み得る。たとえば、デジタル化が開始した後、DAC 772は、クロックカウンタ762からのカウンタ出力766に対応するランプ参照信号VREF 752を生成するようにプログラムすることができ、このランプ参照信号は、実装形態に応じて上に傾斜または下に傾斜することができる。比較器754は、バッファ710からのアナログ電圧信号と参照信号生成器770からの参照信号VREF 752とを比較することができる。比較器754の出力は、バッファ710からのアナログ電圧信号と参照信号VREF 752とが互いに交差したときに状態を変えることができる。比較器の出力は、クロックカウンタ762からのカウンタ出力766の現在の値を画素メモリ764にラッチするために、デジタル出力生成器760によって使用され得る。現在のカウンタ出力766は、アナログ電圧信号をデジタル化するために使用された量子化ステップの総数に対応することができ、量子化誤差が、量子化ステップ(最下位ビット(LSB)とも呼ばれる)に相当する電圧レベルよりも小さい。したがって、カウンタ出力766は、測定キャパシタ706に蓄えられた電荷の量のデジタル表現、および入射光の強度のデジタル表現になる。画素メモリ764のデジタルデータは、一組の画素出力バス790を介して、たとえば、ラインメモリ680、またはデジタル画像フレームを記憶するための外部メモリに読み出すことができる。
デジタル画素700はまた、露光イネーブル信号724、測定制御信号708、およびリセット信号720のタイミングおよび振幅を制御して光強度決定用の積分キャパシタ703および測定キャパシタ706における電荷蓄積動作を制御する、他の制御回路(図7に図示せず)を含むこと、またはこれに接続することもできる。これらの制御回路はデジタル画素700の外部にあってもよく、たとえば、図6の行ドライバとグローバル信号ドライバ回路620および/またはデジタルブロック690の一部であってもよいことを理解されたい。
図8は、特定の実施形態による、例示的なグローバルシャッタデジタル画素画像センサの例示的なデジタル画素(たとえば、デジタル画素700)の例示的な動作を示す。図8に示された例では、量子化処理は、均等な量子化ステップを用いて遂行することができ、参照信号(たとえば、図7の参照信号VREF 752)が、クロック信号(たとえば、クロック信号780)のクロックサイクルごとに同じ量だけ増大(または低下)する。この参照信号の増大(または低下)の量は、1つの量子化ステップ(すなわち、LSB)に対応し得る。クロックサイクル数が増加するにつれて、参照信号は増大し、比較器の入力部のアナログ電圧信号の1つの量子化ステップ内に達することができ、このとき比較器の出力は状態を変えて、たとえば、低レベルから高レベルへと反転することができる。比較器の出力が反転すると、現在のカウンタ値が、ある画素におけるアナログ電圧信号を表すデジタルデータとしてメモリにラッチされ得る。
図8は、2つの画素におけるアナログ電圧信号(画素1におけるアナログ電圧信号810、および画素2におけるアナログ電圧信号820)を示す。図8はまた、クロック信号860と、クロック信号860のサイクル数を数えるクロックカウンタのクロックカウンタ値870とを示す。時間t0において(デジタル化が開始するとき)、クロックカウンタは、クロック信号860のクロック数を数え始めることができる。たとえば、クロックカウンタ値870は、クロック信号860の各サイクルの後に1だけ増加し得る。上述のように、クロックカウンタは、多くの画素によって共有されるグローバルクロックカウンタとすることができ、それにより、各画素のサイズを縮小することができる。カウンタ値が増加するにつれて、参照信号VREF 830の電圧レベルが増加し得る。参照信号VREF 830は、クロックカウンタ値870に基づいて、たとえばDACによって生成することができる。参照信号VREF 830が、画素1におけるアナログ電圧信号810、および画素2におけるアナログ電圧信号820よりも低いので、画素1の比較器の出力840、および画素2の比較器の出力850は、低(または高)レベルにあり得る。
時間t1において、参照信号VREF 830は、画素1のアナログ電圧信号810に(たとえば、その1LSB内に)達することができ、画素1の比較器の出力840は、低レベルから高レベルへ反転することができる。画素1の比較器の出力840が反転すると、時間t1におけるクロックカウンタ値870のデジタル値D1が画素1の画素メモリに保存され得る。クロックカウンタは、クロック信号860のサイクル数を数え続けることができ、参照信号VREF 830の電圧レベルは増加し続けることができる。時間t2において、参照信号VREF 830は、画素2のアナログ電圧信号820に(たとえば、その1LSB内に)達することができ、画素2の比較器の出力850は、低レベルから高レベルへ反転することができる。画素2の比較器の出力850が反転すると、時間t2におけるクロックカウンタ値870のデジタル値D2が画素2の画素メモリに保存され得る。
このようにして、各画素または画素の各列の複雑なADCによってではなく、グローバルクロックカウンタ値およびグローバルランプ信号VREF 830を使用する各画素の比較器によって、異なる画素の複数のアナログ電圧信号が、これら異なる画素の光強度を表す複数のデジタル値に同時に変換され得る。したがって、デジタル画素のサイズ、およびデジタル画素の電力消費を大幅に低減することができ、これにより、解像度が高く、密度が高く、サイズが小さく、かつ電力消費が低い画像センサが可能になり得る。
様々なノイズおよびエラーが、画像センサの測定可能光強度の下限(最小解像可能信号レベルと呼ばれることが多い)に影響を及ぼし得る。たとえば、浮動ノードに集められた電荷は、入射光の強度とは関係がないノイズ電荷を含むことがある。ノイズ電荷の原因の1つは暗電流であり、これは、フォトダイオードのpn接合部に発生した、ならびに、たとえば結晶学的欠陥によりキャパシタに接続された他の半導体デバイス(たとえば、トランジスタ)のpn接合部に発生した、漏洩電流であり得る。暗電流はキャパシタに流れ込み、入射光の強度と相関関係がない電圧変化を引き起こし得る。フォトダイオードにおいて発生する暗電流は通常、他の半導体デバイスに発生する暗電流よりも少ない。ノイズ電荷の中には、他の回路との容量性結合によって生じるものもあり得る。たとえば、デジタイザが、浮動ノードに蓄えられた電荷の量を決定するために読み出し動作を行うとき、このデジタイザは、容量性結合を介して浮動ノードにノイズ電荷を導入することがある。
ノイズ電荷に加えて、デジタイザはまた、電荷の量を決定する際に測定誤差を導入することもある。この測定誤差は、デジタル出力と入射光の強度との間の相関性の度合いを低下させ得る。測定誤差の原因の1つは、量子化誤差である。量子化処理では、連続的な電圧信号の組を表すために離散的なレベルの組が使用されることがあり、各レベルは所定の範囲の電圧信号レベルを表す。したがって、量レベルによって表された電圧レベルと、量レベルによって近似された入力アナログ電圧との間に差異があるとき、量子化誤差が生じ得る。図7に示されたデジタイザの量子化誤差は、より小さい量子化ステップサイズ(たとえば、各ステップまたは各クロックサイクルにおける参照信号VREFの増大もしくは低下)および/またはより高速のクロック信号を使用することによって、小さくすることができる。測定誤差の他の原因には、たとえば、ランダムノイズ(たとえば、キャパシタのkT/Cノイズ)、(たとえば、ADC回路の)デバイスノイズ、ならびに、キャパシタに蓄えられた電荷の量の測定に不確かさを付加する比較器オフセットが含まれ得る。
ノイズ電荷およびデジタイザ測定誤差により、画像センサの測定可能な光強度(感度)の下限が決まり得る。画像センサの測定可能な光強度の上限は、フォトダイオードによって単位時間に生成される電荷(すなわち、光電流)に飽和が生じる光強度によって決まり得る。上限と下限の比は、一般にダイナミックレンジと呼ばれることがあり、このダイナミックレンジにより、画像センサの動作可能な光強度の範囲を決まり得る。
場合によって、比較器の望ましくないオフセット、およびデジタル画素の他の構成要素およびパラメータのばらつきが、固定パターンノイズ(FPN)を生じさせ得る。いくつかの実施形態では、デジタル画素画像センサのデジタル画素は、オフセット誤差、したがってFPNを低減するために、相関二重サンプリング(CDS)回路を含み得る。CDS回路では、アナログ記憶デバイス(たとえば、測定キャパシタ806)におけるリセットレベルと、露光後のアナログ記憶デバイスにおけるアナログ電圧信号の信号レベルとを測定し、測定された信号レベルとリセットレベルの差を使用して画素の実際の信号値を決定することができる。測定された信号レベルには、画像センサの画素間の、他のパラメータまたはデバイスにおける異なるオフセットもしくはばらつきによって生じる、リセットレベル成分が含まれるので、測定された信号レベルとリセットレベルの差は、画素の光照射に起因して生成された電荷によって生じた実際の電圧変化をより正確に表すものになり得る。
図9は、特定の実施形態による、アナログ相関二重サンプリング(CDS)回路を含む例示的なデジタル画素900の簡略化ブロック図である。デジタル画素900は、埋め込みフォトダイオード910と、制御信号TXによって制御される転送ゲート920と、浮動拡散ノード930と、制御信号RSTによって制御されるリセットゲート940と、制御信号SELによって制御される選択ゲート950と、トランジスタ942および952を含む画素内ソースフォロアバッファ段と、選択ゲート950とを、高い画素変換利得を確保するために含み得る。デジタル画素900はまた、比較器970および画素メモリ980も含み得る。これらの回路の動作は、上述の能動画素400またはデジタル画素700と同様であり得る。
図9に示されるように、デジタル画素900はさらに、アナログCDS回路960を含み得る。いくつかの実装形態では、アナログCDS回路960は、2つのCDSキャパシタ、2つのゲート、および差動増幅器を含み得る。リセット後の測定キャパシタ(すなわち、FDノード930)のアナログ電圧レベル(すなわち、リセットレベル)は、一方のゲートを介して一方のCDSキャパシタに記憶することができ、電荷転送後の測定キャパシタのアナログ電圧レベル(すなわち、信号レベル)は、もう一方のゲートを介してもう一方のCDSキャパシタに記憶することができる。2つのアナログ電圧レベルの差は、差動増幅器を使用して生成することができ、次に、比較器970によってデジタル化することができる。アナログCDSの他のいくつかの実装形態もまた使用することができる。たとえば、いくつかの実装形態では、アナログCDS回路960のいくつかの簡略化を適用してトランジスタの総数を減らすことができる。しかし、キャパシタの熱ノイズ(kT/Cノイズ)を画像センサの要求に適合させるために、アナログCDSは、画素内CDSキャパシタ用に比較的大きい領域を使用することがある。加えて、アナログCDSキャパシタを駆動するためにソースフォロアバッファ段を使用すること、およびCDSキャパシタの面積により、デジタル画素を縮小する能力が制限されることがあり、またデジタル画素の電力消費が増加することもある。
図10は、特定の実施形態による、デジタルCDS回路を含む例示的なデジタル画素1000の簡略化ブロック図である。デジタル画素1000は、上述の3Tまたは4T光センサ、比較器1050、および画素メモリブロックを含み得る。光センサは、埋め込みフォトダイオード1010、転送ゲート1020、リセットゲート1040、および浮動拡散キャパシタ1030を含み得る。
デジタル画素1000の露光前または露光中、浮動拡散キャパシタ1030は、リセット信号RSTを使用してリセットゲート1040をオンにすることによって、リセットレベル(たとえば、0Vまたは別のDCレベル)にリセットすることができる。浮動拡散キャパシタ1030の電圧レベルはデジタル化し、画素メモリのmビットメモリブロック1060に保存することができる。リセットレベルは一般に低いので、上述のデジタイザを使用するデジタル化の時間は短くてもよく、リセットレベルは、少数のビットで表せる小さい値にデジタル化することができる。
デジタル画素1000の露光後、埋め込みフォトダイオード1010によって生成されフォトダイオード1010に蓄積された電荷は、転送制御信号TXを使用して転送ゲート1020をオンにすることによって浮動拡散キャパシタ1030へ転送することができる。浮動拡散キャパシタ1030の電圧レベルはデジタル化し、画素メモリのnビットメモリブロック1070に保存することができ、この場合、nはmより大きくすることができる。電荷転送後の浮動拡散キャパシタ1030の電圧レベルはリセットレベルより高くなり得るので、上述のデジタイザを使用するデジタル化の時間は長くなることがあり、電圧レベルは、多数のビットで表され得る大きい値にデジタル化され得る。
リセットレベルを表すmビットデータ、および信号レベルを表すnビットデータは読み出すことができ、nビットデータとmビットデータの差は、光電流または光電荷によって生じた検出電圧信号、すなわち画素の検出光強度を表し得る。このようにして、画素のデバイスおよびパラメータの、不整合またはばらつき(たとえば、オフセット誤差、比較器閾値不整合、キャパシタ不整合など)によって生じる誤差またはノイズが、デジタル画像データでは低減され得る。いくつかの実装形態では、画素から読み出されるデジタルビットの総数が少なくなり得るように、画素の出力が読み出される前に、nビットデータおよびmビットデータを減じることが画素レベルで行われることがある。
追加のCDSキャパシタまたは差動増幅器がデジタルCDSに使用されなくてよいので、デジタルCDS回路を含むデジタル画素は、使用するシリコン面積および電力が、アナログCDS回路を使用するデジタル画素よりも著しく少なくてもよい。
図11は、特定の実施形態による、デジタルCDS回路を含む例示的なデジタル画素1100を示す。デジタル画素1100は、デジタル画素1000の例示的な一実装形態であり得る。デジタル画素1100は、埋め込みフォトダイオード1110を含み得るフォトセンサ1105と、転送ゲート1120と、リセットゲート1140と、浮動拡散キャパシタ1130とを含み得る。デジタル画素1100はまた、アナログ電圧レベルデジタル化のための、比較器754のような比較器1150を含み得る。
デジタル画素1100はさらに、AND(またはNAND)ゲート1160を含み得る、書き込み論理回路を含むことができる。AND(またはNAND)ゲート1160の入力部は、比較器1150の出力部と、リセットイネーブル信号enable_rst(たとえば、リセットゲート1140をオンにするために使用されるリセット信号、またはリセット信号と同期した信号)とに接続することができる。AND(またはNAND)ゲート1160の出力部は、mビットセル1180(たとえば、Dフリップフロップ)の書き込みイネーブル入力部に接続することができる。リセットレベルがデジタル化されるとき、リセットイネーブル信号enable_rstはアサートする(たとえば、高レベルに設定する)ことができる。比較器1150の出力が、たとえば、参照信号(たとえば、ランプ信号)がリセットレベルに達したときに、「0」から「1」に状態を変えると、AND(またはNAND)ゲート1160の出力は「0」から「1」に反転することができ、これにより、現在のカウンタ値が、たとえば、グローバルクロックカウンタからmビットセル1180にラッチされ、このカウンタ値は後で読み出すことができる。
デジタル画素1100の書き込み論理回路はさらに、AND(またはNAND)ゲート1170を含み得る。AND(またはNAND)ゲート1170の入力部は、比較器1150の出力部および読み出しイネーブル信号enable_sig(たとえば、画素を選択するために使用される選択信号)に接続することができる。AND(またはNAND)ゲート1170の出力部は、nビットセル1190(たとえば、Dフリップフロップ)の書き込みイネーブル入力部に接続することができる。画素信号レベルがデジタル化されるとき、読み出しイネーブル信号enable_sigはアサートする(たとえば、高レベルに設定する)ことができる。参照信号(たとえば、ランプ信号)が画素信号レベルに達すると、比較器1150の出力は、たとえば、「0」から「1」に反転することができ、したがって、AND(またはNAND)ゲート1170の出力は「0」から「1」に反転することができ、これにより、現在のカウンタ値がグローバルクロックカウンタからnビットセル1190にラッチされ、このカウンタ値は後で読み出すことができる。
このようにして、画素のデバイスおよびパラメータの、不整合およびばらつき(たとえば、オフセット誤差、比較器閾値不整合、キャパシタ不整合など)によって生じる誤差またはノイズが、デジタル画像データでは低減され得る。デジタルCDS回路を含まないことがあるデジタル画素と比較して、デジタル画素1100では、Dフリップフロップなどの、デジタル回路である、かつ使用する面積が小さくてもよい追加のmビットセルを使用することができる。やはり上述したように、デジタル画素を使用すると、グローバルシャッタが、フレームレートおよび感度の向上のために、画像センサに対し実施可能であり得る(たとえば、各画素の露光時間が長いことにより)。デジタル画素のリセットレベルは、画像フレームの時間期間中の異なる時間にデジタル化することができる。
図12Aは、特定の実施形態による、各画素にデジタルCDS回路を用いたグローバルシャッタデジタル画素センサの、動作中の例示的なタイミング期間を示す図である。デジタル画素センサの全画素が同時に、同様に動作することができる。1つの画像フレームの一組の出力データを出力するための、1つのデジタル画素の時間期間1200には、シャッタ期間1210、積分期間1212、リセット期間1214、リセットレベル変換期間1216、電荷変換期間1218、信号レベル変換期間1220、およびデータ出力期間1222が含まれ得る。
デジタル画素が1つの画像フレームの一組の出力データを生成するための時間間隔は、シャッタ期間1210から開始することができ、この期間中に、フォトダイオードの電圧レベルをリセットすることができ、画素積分の時間期間を設定することができる。シャッタ期間1210の終了時に、各デジタル画素が、積分期間1212の信号積分(たとえば、電荷蓄積)を開始することができ、この期間中に、デジタル画素のフォトダイオードの寄生キャパシタ(たとえば、フォトダイオード702と、フォトダイオード702に接続された他の回路との寄生キャパシタを含み得る積分キャパシタ703)が、デジタル画素への入射光に応答してフォトダイオードで生成された電荷(たとえば、光電子)を集めることができる。積分期間1212の終了前の短期間(たとえば、100μs未満)に、各画素の測定キャパシタ(たとえば、測定キャパシタ706または浮動拡散キャパシタ1130)はリセット期間1214にリセットされ、その後、リセットレベル変換期間1216中に、リセット電圧レベルのアナログ-デジタル変換が続き得る。このデジタル化された画素リセットレベルは、mビットセル1180などの画素メモリに記憶することができる。画素リセットレベルが変換された後、各画素のフォトダイオードの積分キャパシタ中の蓄積電荷は、電荷転送期間1218中に測定キャパシタへ転送され(たとえば、フォトダイオードの積分キャパシタと測定キャパシタの間で再分配され)、その後、信号レベル変換期間1220中に、画素信号レベル(すなわち、電荷転送後の測定キャパシタの電圧レベル)のアナログ-デジタル変換が続き得る。各画素のデジタル化された画素信号レベルは、nビットセル1190などの画素メモリに記憶することができる。デジタル化された画素レベルおよび信号レベルが画素メモリに記憶された後に、データ出力期間1222が開始でき、各画素の画素リセットレベルおよび信号レベルのデジタル値が画素アレイから行ごとに読み出され得る。これらのデジタル値は、アナログ電圧よりもはるかに速く読み出すことができる。
デジタル画素は、前に蓄積された電荷が測定キャパシタへ転送された後に次の画像フレームの電荷を蓄積し始めることができるので、デジタル画像センサのフレーム時間間隔(T_Frame)は、シャッタ期間1210(T_Shutter)と、積分期間1212(T_Int)と、リセット期間1214およびリセットレベル変換期間1216(一括してT_Rst)と、電荷転送期間1218(T_TX)との合計に等しくなり得る。上で論じたように、リセットレベルは一般に低く、したがって、リセットレベルをデジタル化する時間は短くなり得る。電荷転送期間1218、信号レベル変換期間1220、およびデータ出力期間1222もまた、積分期間と比較して短くなり得る。したがって、フレーム時間期間内のフレーム積分オーバヘッド(非積分時間)は小さくなり得る。一例では、フレーム時間間隔は約33ms(すなわち、1秒当たり30フレームのフレームレート)とすることができ、フレーム積分オーバヘッド(リセット期間1214、リセットレベル変換期間1216、電荷転送期間1218、ならびに、いくつかの実装形態では、信号レベル変換期間1220、およびデータ出力期間1222を含み得る)は、約100μsとすることができる。したがって、フレーム時間間隔の時間のほとんど(たとえば、95%、または99%以上)の間中、デジタル画素は低電力モード(たとえば、積分モード)で作動することができる。デジタル画素は、フレーム時間期間の時間期間の大部分を占め得るシャッタ期間1210および積分期間1212の間中、低電力モードで非常にわずかしか電力を消費しないので、デジタル画素の総電力消費は非常に少なくなり得る。
図12Bは、特定の実施形態による、グローバルシャッタデジタル画素センサにデジタルCDS回路を用いたデジタル画素の動作を示すタイミング図である。図12Bで、リセット信号RST 1250の第1のリセットパルス1252と、転送制御信号TX 1260の第1の転送制御パルス1262とは、積分キャパシタおよび測定キャパシタがリセットまたは放電され得るように、同時に(たとえば、シャッタ期間1210などのシャッタ期間の終了時に)生じ得る。第1のリセットパルス1252および第1の転送制御パルス1262の後に、画素積分が開始し得る。積分期間の終了時に、第2のリセットパルス1254が測定キャパシタ(たとえば、浮動拡散キャパシタ)を、0Vまたは別のDCレベルなどのリセットレベルにリセットすることができる。測定キャパシタのリセットレベルは、比較器、クロックカウンタ、およびランプ信号1270を使用してデジタル化することができる。上述のように、リセットレベルのデジタル化の間中、ランプ信号1270は、ランプ1272で示されるように徐々に増加または低下し得る。クロックカウンタが、クロックサイクル数を数えることができる。ランプ信号1270がリセットレベルに達したときのクロックカウンタ値1280は、リセットカウント1282として画素メモリ(たとえば、mビットリセットレベルメモリ)に保存することができる。続いて、転送制御パルス1264がアサートされて、フォトダイオードの積分キャパシタからの電荷が測定キャパシタへ転送され得る。測定キャパシタの電圧レベル(信号レベルと呼ばれる)は、上述のように、比較器、ランプ信号1270、およびクロックカウンタを使用してデジタル化することができる。信号レベルのデジタル化の間中、ランプ信号1270は、ランプ1274で示されるように徐々に増加または低下することができる。ランプ信号1270がリセットレベルに達したときのクロックカウンタ値1280は、信号カウント1284として画素メモリ(たとえば、nビット信号レベルメモリ)に保存することができる。リセットカウント1282および信号カウント1284は、デジタル画素メモリから読み出し、MIPIインターフェース1290上のMIPIフォーマットの出力データ1292として送出することができる。測定キャパシタのリセット値が一般に小さいので、リセットレベルを表すリセットカウントは、信号レベルを表す信号カウントよりも少ないビットを使用し得る。
図12Aおよび図12Bは、リセットレベルが積分期間の終了時に測定されることを示す。いくつかの実装形態では、リセットレベルが別の時間に測定されてもよい。たとえば、リセットレベルは、測定キャパシタと積分キャパシタが転送ゲートによって分離され得るので、シャッタ期間中に、積分期間の開始時に、または積分期間の中間に測定し、デジタル化することができる。図12Aおよび図12Bに示された例は、暗電流によって生じるノイズおよび1/fノイズなどのデジタル画素のノイズを低減することに関し、デジタル画素の他の動作およびタイミング構成よりも良好な性能を有し得る。
たとえば、図12Aおよび図12Bに示されるように、測定キャパシタが電荷転送および信号レベルデジタル化の直前にリセットされるので、信号レベルがデジタル化される前に暗電流が測定キャパシタに電荷を蓄積する時間を短くすることができ、したがって、暗電流によって生じるノイズまたは誤差を小さくすることができる。対照的に、測定キャパシタが積分期間の開始時に、またはシャッタ期間中にリセットされる場合には、暗電流が測定キャパシタに電荷を蓄積する時間が、積分期間の全部または大部分にわたって継続することがあり、したがって、暗電流によって生じるノイズまたは誤差が大きくなり得る。
さらに、測定キャパシタが電荷転送および信号レベルデジタル化の直前にリセットされるので、CDS回路は、測定キャパシタのリセットと電荷転送の間の時間が短いことにより、高い周波数で効果的に切り換えられる。したがって、より高い動作周波数により、デジタル画素の1/fノイズ(すなわち、フリッカノイズまたはピンクノイズ)が低減され得る。対照的に、測定キャパシタが、たとえば積分期間の開始時にリセットされる場合には、測定キャパシタのリセットと電荷転送の間の時間間隔が長いことにより、CDS回路が低い周波数で効果的に切り換えられる。したがって、このようなデータ変換処理では、1/fノイズによって生じるノイズまたは誤差が大きくなり得る。
上述のように、各デジタル画素がデジタイザを含むので、全画素が並行して動作する場合には、デジタル画素画像センサの総電力消費が大きくなり得る。たとえば、各デジタイザが1μWを消費する場合、100万個のデジタル画素を用いた画像センサは少なくとも1Wを消費することがあり、このことは、HMDなどのモバイルデバイスまたはウェアラブルデバイスには不都合なことがある。したがって、デジタル画素のデジタイザ、バッファ、および他の回路の電力消費を低減させることが望ましい。たとえば図7に関して上述したいくつかの例では、デジタイザは、信号レベルを参照レベルと比較しカウンタ値を画素メモリにラッチするために、比較器を使用することができる。ラッチおよび画素メモリはほとんど電力を消費しないので、比較器の電力消費を低減させることがデジタイザおよびデジタル画素の電力消費を低減するのにより効果的であり得る。
図13は、DCバイアス回路を含む例示的な比較器1300を示す。比較器1300は、Pチャネルトランジスタ1310および1320と、Nチャネルトランジスタ1330、1340、および1350とを含み得る差動増幅器を含むことができる。測定キャパシタからのアナログ電圧信号VFDは、トランジスタ1330およびトランジスタ1340のうちの一方のゲートに接続することができ、参照信号生成器(たとえば、参照信号生成器770)からのランプ信号VRAMPは、トランジスタ1330およびトランジスタ1340のうちのもう一方のゲートに接続することができる。ランプ信号VRAMPと測定キャパシタからのアナログ電圧信号VFDとに差があると、トランジスタ1310、1320、1330、および1340にそれぞれ異なる電流が流れ得る。したがって、ノード1325の電圧レベルは、ランプ信号VRAMPと測定キャパシタからのアナログ電圧信号VFDとの差によって決まり得る。ノード1325に接続されたインバータ1360が、ノード1325の電圧レベルを「高」または「低」信号に変換することができる。
比較器1300では、差動増幅器の各トランジスタは、これらのトランジスタの適切なDC動作レベルに、トランジスタ1350によってバイアスされ得る。比較器の動作中、トランジスタ1330を流れる電流の減少が、トランジスタ1340を流れる電流の増加に対応することができ、トランジスタ1350を流れるDCバイアス電流は一定のままであり得る。したがって、比較器1300の差動増幅器は、トランジスタをバイアスするためにDC電力を消費し得る。上で論じたように、バイアスするためのDC電力が1画素当たり1μWである場合、100万個のデジタル画素を用いた画像センサは少なくとも1Wを消費し得る。
図14は、特定の実施形態による、プリチャージ回路を含む例示的な比較器1400を示す。比較器1400では、測定キャパシタからのアナログ電圧信号VFDは、トランジスタ1410のゲートに接続することができ、参照信号VRAMPは、トランジスタ1410のソース(またはドレイン)に接続することができる。いくつかの実装形態では、トランジスタ1410はpチャネル金属酸化膜半導体(PMOS)トランジスタとすることができ、トランジスタ1410をバイアスするためのDCバイアス回路は使用されない。そうではなく、プリチャージトランジスタ1420を含むプリチャージ回路が、アナログ電圧信号VFDのデジタル化が開始する前に比較器の出力ノードCOMPをプリチャージするために使用され得る。デジタル化の間中、プリチャージトランジスタ1420はオフにすることができ、電流がプリチャージトランジスタ1420に流れることがない。したがって、DCバイアス電流および静的電力消費を低減または最小化することができる。
比較器1400はまた、1つまたは複数のインバータを含み得る。たとえば、図14に示されるように、第1のインバータは、書き込み信号を生成するためのトランジスタ1430および1440を含むことができ、第2のインバータは、書き込みb信号を生成するためのトランジスタ1450および1460を含むことができる。書き込み信号および書き込みb信号は、クロックカウンタ値を画素メモリにラッチするために使用することができる。いくつかの実装形態では、トランジスタ1410および1420は厚いゲート酸化膜を有することができ、3.3Vで動作することができるが、2つのインバータのうちの一方または両方が、薄いゲート酸化膜を用いたトランジスタを含んでもよく、1.8Vまたは1.2Vなどの、より低い電圧で動作することができ、それにより、書き込み信号および/または書き込みb信号のスイッチングエッジを鋭くすることができ、この書き込み信号および/または書き込みb信号のレベルは、組み合わせ論理回路(たとえば、ANDゲート1160および1170)およびメモリデバイスを含むデジタル回路の動作電圧とよりよく整合することができる。薄い酸化膜トランジスタを使用する動機の1つは、これらのトランジスタが画素内で占める面積が小さくなり、また厚い酸化膜トランジスタよりも電力消費が少なくなり得ることである。
図15は、特定の実施形態による、図14に示された比較器1400などの例示的な比較器の動作を示すタイミング図1500である。図15は、プリチャージトランジスタ1420を制御するために使用できるプリチャージ信号1510と、pチャネルトランジスタ1410のソースに接続できるランプ信号VRAMP 1520と、トランジスタ1410のゲートを駆動できるVFD信号1530と、トランジスタ1410のドレインの信号VCOMP 1540と、検出器1400の第1のインバータの出力部の書き込み信号1550と、検出器1400の第2のインバータの出力部の書き込みb信号1560とを示す。図15に示されるように、デジタル化動作の開始前に、高レベルパルスがプリチャージトランジスタ1420のゲートに印加されてプリチャージトランジスタがオンになり、したがって、ノードCOMPが低レベル(たとえば、Vss)にプリチャージされ得る。プリチャージ動作の後に、プリチャージ信号1510が低レベルに設定されてプリチャージトランジスタ1420をオフにすることができ、アナログ-デジタル変換が開始することができる。アナログ-デジタル変換の間中、ランプ信号VRAMP 1520が徐々に増加することができる。ランプ信号VRAMP 1520がVFD信号1530とトランジスタ1410の閾値電圧Vtpとの合計よりも小さいとき、トランジスタ1410はオフになっていることができ、信号VCOMP 1540は低くなっていることができる。したがって、第1のインバータの出力部の書き込み信号1550は高くなっていることができ、第2のインバータの出力部の書き込みb信号1560は低くなっていることができる。時間t1において、ランプ信号VRAMP 1520がVFD信号1530とトランジスタ1410の閾値電圧Vtpとの合計よりも大きくなり、トランジスタ1410がオンになって、信号VCOMP 1540が第1のインバータを起動して反転できる高レベルまで増加できるように、ノードCOPMを充電することができる。したがって、第1のインバータの出力部の書き込み信号1550は低くなることができ、第2のインバータの出力部の書き込みb信号1560はゲート遅延後に高くなることができる。
図15に示されるように、プリチャージトランジスタは、測定キャパシタのアナログ電圧信号のデジタル化の前に、短期間の時間(たとえば、約1μs)だけオンになる。フレーム時間期間の残りの時間の間中、キャパシタは静的電力をほとんど、または全く消費することがない。したがって、キャパシタによる静的(DC)電力を低減または最小化することができる。そのため、デジタル画素画像センサの総電力消費を低減または最小化することができる。
したがって、本明細書で開示された技法では、グローバルシャッタおよび画素ごとのデジタイザを使用すること、ならびに各画素からアナログ信号ではなくデジタル値を読み出すことによって、フレームレートを増加させることができる。本明細書で開示された技法ではまた、CDS回路を使用してランダムノイズおよび固定ノイズ(たとえば、オフセット誤差、暗電流、および1/fノイズ)を低減し、したがって、画像センサの感度、信号対雑音比(SNR)、ダイナミックレンジなどを改善することもできる。本明細書で開示された技法ではまた、(複雑なADCではない)比較器およびデジタルCDSを使用することによって、各デジタル画素の画素サイズを縮小することができ、したがって、デジタル画素画像センサの密度または解像度を高めることもできる。本明細書で開示された技法ではまた、デジタル画素が高電力モードで動作し得る時間期間を短縮することによって、およびデジタル画素のデジタイザの比較器による静的(DC)電力消費を低減することによって、デジタル画素の電力消費を低減することもできる。
図16は、特定の実施形態による、デジタル撮像の例示的な方法を示す流れ図である。この方法は、たとえば、デジタル画素画像センサ600および/またはデジタル画素700、900、1000、または1100によって遂行することができる。この方法は、デジタル画像を高いフレームレートで取り込むために使用することができ、感度が高く、ノイズレベルが低く、電力消費が少ない。この方法は、デジタル画素画像センサの全デジタル画素によって並行して遂行することができる。
ブロック1610で、画像センサの画素のフォトダイオードが、露光期間中に光信号を受光することができる。いくつかの実装形態では、光信号を受光する前または間中、画素のフォトダイオードは、たとえば、画像センサの全画素のフォトダイオードのリセットを制御する電気シャッタ信号によって、リセットすることができる。したがって、画像センサの全画素のフォトダイオードは、同一の電気シャッタ信号(すなわち、グローバル電子シャッタ)によって同時にリセットすることができる。フォトダイオードは、0VなどのDC電圧レベルにリセットして、フォトダイオードに付随する寄生キャパシタの全電荷を放電することができる。いくつかの実装形態では、明示または寄生のキャパシタ(たとえば、浮動拡散ノード)などの電荷貯蔵デバイス(すなわち、測定キャパシタ)もまたリセットすることができる。いくつかの実装形態では、画素のフォトダイオードは、リセットスイッチ(たとえば、リセットスイッチ718またはリセットゲート1040)および転送ゲート(たとえば、転送ゲート704または1020)を介して、リセット信号(たとえば、リセット信号720、または図10のRST信号)および転送ゲート制御信号(たとえば、測定制御信号708、または図10のTX信号)によってリセットすることができる。
ブロック1620で、画素は、光信号を電荷貯蔵デバイス(たとえば、FDノード)への電圧レベルに変換することができる。露光期間中に、フォトダイオードは、たとえば転送ゲートをオフにすることによって、電荷貯蔵デバイスから切り離すことができる。フォトダイオードは、光信号の受光に応答して電荷(たとえば、光電子または正孔)または光電流を生成することができる。たとえば、より明るい光信号に対し、フォトダイオードはより大きい光電流、すなわちより多くの電荷を生成することができる。露光期間中にフォトダイオードによって生成された電荷は、積分キャパシタに蓄積すること、すなわち積分キャパシによって積分することができる。いくつかの実装形態では、積分キャパシタは、フォトダイオードおよび/またはフォトダイオードに接続された回路に付随する、寄生キャパシタであり得る。露光期間の後、電荷貯蔵デバイスは、たとえば転送ゲートをオンにすることによってフォトダイオードに接続されて、蓄積電荷の少なくとも一部または全部を積分キャパシタから電荷貯蔵デバイスへ転送することができる。いくつかの実装形態では、電荷貯蔵デバイスは、露光期間の終了前100μsなど、露光期間の終了前にリセットされることがある。電荷が転送されると、電荷貯蔵デバイス(たとえば、測定キャパシタ706またはFDキャパシタ1030)において電圧信号(または電圧信号変化)が創出され得る。電圧信号レベルは、電荷貯蔵デバイスに蓄えられた電荷の量と相関関係があり得るので、光信号の輝度または強度とも相関関係があり得る。電圧信号レベルはまた、電荷貯蔵デバイスの静電容量にも依存し得る。電荷転送の後、電荷貯蔵デバイスは、たとえば転送ゲートをオフにすることによってフォトダイオードから切り離すことができる。
ブロック1630で、画素(より明確には、画素のデジタイザの比較器)は、クロック信号のクロックサイクル数を数えるクロックカウンタからカウンタ値を受け取ることができる。クロックカウンタは、カウンタ値を画像センサの複数または全部の画素に与えるグローバルクロックカウンタとすることができる。クロックカウンタは、デジタル化期間が開始したときにクロックサイクル数を数え始めることができ、デジタル化期間が開始する前、またはデジタル化期間が終了した後にデフォルト値(たとえば、0または0よりも大きい数)にリセットされ得る。
ブロック1640で、画素の比較器は、電荷貯蔵デバイスの電圧レベルとランプ信号を比較することができる。ランプ信号の電圧レベルは、クロックサイクル数が増大するにつれて直線的に増加すること(すなわち、上に傾斜するために)、または低下すること(すなわち、下に傾斜するために)ができる。いくつかの実装形態では、ランプ信号はグローバル参照信号生成器で生成することができる。たとえば、いくつかの実装形態では、ランプ信号は、入力としてクロックカウンタのカウント値(数えられたクロックサイクル数)を使用してDACで生成することができ、画像センサの複数または全部の画素の比較器で、参照信号として使用することができる。電荷貯蔵デバイスの電圧レベルは、(たとえば、選択信号を使用して)検知し、比較器へ送出される前に、(たとえば、上述のようにソースフォロア増幅器またはバッファによって)増幅することができる。ランプ信号が、電荷貯蔵デバイスからの検知された(かつ増幅された)電圧レベルよりも低い(または、下に傾斜する信号では高い)とき、比較器の出力部は、低レベル(または、実装形態によっては高レベル)にあり得る。ランプ信号は、増加するクロックサイクル数に合わせて直線的に増大(または、下に傾斜する信号では低下)し得る。
ブロック1650で、ランプ信号が、電荷貯蔵デバイスからの検知された電圧レベルと等しいか、これよりも(たとえば、トランジスタの閾電圧だけ)高い(または、下に傾斜する信号では低い)レベルに達したときに、比較器の出力は状態を変えて、たとえば低レベルから高レベルへと反転または切り替わり得る。
ブロック1660で、比較器の出力状態が変化した(たとえば、反転または切り替わった)ときのクロックカウンタのカウンタ値は、たとえば画素メモリのnビットブロックに、第1のデジタル値として保存することができる。第1のデジタル値は、画素における光信号の強度に対応し得る。画像センサの各画素の第1のデジタル値はラインごとに読み出して、デジタル画像フレームを形成することができる。
いくつかの実装形態では、電荷貯蔵デバイスが露光期間の終了前にリセットされた後に、電荷貯蔵デバイスの電圧レベルが、比較器と、クロックカウンタと、参照信号生成器で生成された第2のランプ信号とを使用して、光信号と関連する電圧レベルがデジタル化されるのと同様に、第2のデジタル値にデジタル化され得る。第1のデジタル値と第2のデジタル値の差は、画素における光信号の強度をより正確に表すものになり得る。
本発明の諸実施形態は、人工現実システムを含むこと、またはこれと一緒に実施することができる。人工現実は、ユーザに提示する前に何らかの方法で調整された現実の形であり、これには、たとえば、仮想現実(VR)、拡張現実(AR)、複合現実(MR)、ハイブリッド現実、あるいはこれらのいくつかの組み合わせおよび/または派生物が含まれ得る。人工現実コンテンツには、完全に生成されたコンテンツ、または取り込まれた(たとえば、実世界の)コンテンツと組み合わせて生成されたコンテンツが含まれ得る。人工現実コンテンツには、映像、音声、触覚フィードバック、またはこれらのいくつかの組み合わせが含まれてもよく、これらのいずれも、単一のチャネルまたは複数のチャネル(視聴者に三次元効果をもたらす立体映像など)で提示することができる。加えて、いくつかの実施形態では、人工現実はまた、アプリケーション、製品、アクセサリ、サービス、またはこれらのいくつかの組み合わせと関連付けることができ、これらはたとえば、人工現実のコンテンツを作成するために使用され、かつ/または人工現実において(たとえば、諸活動を行うのに)別に使用される。人工現実コンテンツを提供する人工現実システムは、ホストコンピュータシステムに接続されたヘッドマウントディスプレイ(HMD)、独立型HMD、モバイルデバイスもしくはコンピューティングシステム、または他の、人工現実コンテンツを1人または複数の視聴者に提供できる任意の他のハードウェアプラットフォームを含む、様々なプラットフォーム上で実施することができる。
図17は、特定の実施形態による、ニアアイディスプレイ1720を含む例示的な人工現実システム環境1700の簡略化ブロック図である。図17に示された人工現実システム環境1700は、コンソール1710にそれぞれ結合されている、ニアアイディスプレイ1720、外部撮像デバイス1750、および入力/出力インターフェース1740を含み得る。図17は、1つのニアアイディスプレイ1720、1つの外部撮像デバイス1750、および1つの入力/出力インターフェース1740を含む例示的な人工現実システム1700を示すが、任意の数のこれらの構成要素が人工現実システム1700に含まれても、これらの構成要素のいずれかが省かれてもよい。たとえば、コンソール1710と通信する1つまたは複数の外部撮像デバイス1710によって監視される、複数のニアアイディスプレイ1720があってもよい。代替的な構成では、別の、または追加の構成要素が人工現実システム環境1700に含まれることがある。
ニアアイディスプレイ1720は、コンテンツをユーザに提示するヘッドマウントディスプレイ(HMD)とすることができる。ニアアイディスプレイ1720によって提示されるコンテンツの例としては、画像、ビデオ、音声、またはこれらの組み合わせのうちの1つ以上がある。いくつかの実施形態では、音声は、外部デバイス(たとえば、スピーカおよび/またはヘッドホン)を介して提示することができ、この外部デバイスは、ニアアイディスプレイ1720もしくはコンソール1720、または両方から音声情報を受け取り、その音声情報に基づいた音声データを提示する、ニアアイディスプレイ1720は、1つまたは複数の剛直な本体を含むことができ、これらは互いに剛直に、または非剛直に結合することができる。剛直な本体間で剛直に結合すると、結合された剛直な本体が単一の剛直な実体として機能し得る。剛直な本体間で非剛直に結合すると、剛直な本体が互いに動くことが可能になる。様々な実施形態では、ニアアイディスプレイ1720が、一対のメガネを含む任意の適切なフォームファクタで実現され得る。ニアアイディスプレイ1720のいくつかの実施形態について、図2および図3に関して以下でさらに記述する。加えて、様々な実施形態では、本明細書で記述される機能性は、ニアアイディスプレイ1720の外部の環境の画像と、コンソール1710から、またはコンテンツを生成しユーザに提供する任意の他のコンソールから受け取られたコンテンツとを光学的または電気的に組み合わせる、ヘッドセットに使用することができる。したがって、ニアアイディスプレイ1720は、ニアアイディスプレイ1720の外部の物理的な実世界の環境の画像を、生成されたコンテンツ(たとえば、画像、ビデオ、音など)によって拡張して、ユーザに拡張現実を提示することができる。
様々な実施形態では、ニアアイディスプレイ1720は、表示電子装置1722、表示光学装置1724、1つまたは複数のロケータ1726、1つまたは複数の位置センサ1728、視線追跡ユニット1730、および慣性測定ユニット(IMU)1732のうちの1つ以上を含み得る。ニアアイディスプレイ1720は、様々な実施形態において、これらの要素のいずれかを省くことも、追加の要素を含むこともある。加えて、いくつかの実施形態では、ニアアイディスプレイ1720は、図17と併せて記述された様々な要素の機能を組み合わせる要素を含むこともある。
表示電子装置1722は、コンソール1710から受け取ったデータに応じて画像をユーザに表示することができる。様々な実施形態では、表示電子装置1722は、仮想または実際のオブジェクトの画像を生成するための回路、および/または以下で詳細に記述される電気的に操作可能な鏡などの表示光学装置1724の、いくつかの構成要素を駆動するための回路を含むことができる。いくつかの実施形態では、表示電子装置1722は、液晶表示装置(LCD)、液晶オンシリコン(LCOS)表示装置、有機発光ダイオード(OLED)表示装置、マイクロ発光ダイオード(mLED)表示装置、アクティブマトリックスOLED表示装置(AMOLED)、透明OLED表示装置(TOLED)、デジタルマイクロミラーデバイス(DMD)、または何か他の表示装置などの、1つまたは複数の表示パネルを含み得る。ニアアイディスプレイ1720の1つの実施形態では、表示電子装置1722はTOLEDパネルを含むことができ、これは、赤、緑、青、白、または黄などの主色の光を発するサブ画素を含み得る。いくつかの実施形態では、表示電子装置1722は、画像奥行きの主観的知覚を引き起こす二次元パネルによって生み出される立体効果により、3D画像を表示することができる。たとえば、表示電子装置1722は、ユーザの左眼および右眼の前にそれぞれ位置する左表示装置および右表示装置を含み得る。左右の表示装置は、互いに水平にシフトされた画像の複製を提示して、立体感(すなわち、画像を見ているユーザによる画像奥行きの知覚)を引き起こすことができる。
特定の実施形態では、表示電子装置1724は、画像コンテンツを光学的に表示することができ(たとえば、光導波路および光カプラを使用して)、あるいは、表示電子装置1722から受光した画像光を拡大し、画像光に付随する光学誤差を補正し、表示電子装置1722および環境からの画像光を組み合わせ、補正され組み合わされた画像光をニアアイディスプレイ1720のユーザに提示することができる。様々な実施形態では、表示電子装置1724は、1つまたは複数の光学要素を含み得る。例示的な光学要素には、基板、光導波路、アパーチャ、フレネルレンズ、凸レンズ、凹レンズ、フィルタ、鏡、回折光学要素(DOE)、または表示電子装置1722および環境から発光された画像光に影響を及ぼし得る他の任意の適切な光学要素が含まれ得る。表示光学装置1724には、異なる光学要素を組み合わせたもの、ならびにその組み合わせたものの光学要素の相対的な間隔および向きを維持するための機械的な結合部が含まれ得る。表示光学装置1724の1つまたは複数の光学要素は、反射防止コーティング、反射コーティング、フィルタリングコーティング、または異なる光学コーティングの組み合わせなどの光学コーティングを有し得る。
表示光学装置1724によって画像光を拡大すると、より大きい表示装置よりも表示電子装置1722を物理的に小さく、重量を小さく、電力消費を少なくすることができる。加えて、拡大すると表示コンテンツの視野を増大させることができる。いくつかの実施形態では、表示光学装置1724は、表示電子装置1722によって投射された画像光を拡大するために、表示光学装置1724と表示電子装置1722の間の間隔よりも大きい有効焦点距離を有し得る。表示光学装置1724による画像光の拡大量は、表示光学装置1724の光学要素を追加または取り外すことによって調整することができる。
表示光学装置1724は、二次元光学誤差、三次元光学誤差、またはこれらの組み合わせなどの、1つまたは複数の種類の光学誤差を補正するように設計することができる。二次元誤差には、二次元で生じる光学収差が含まれ得る。例示的な種類の二次元誤差には、樽形歪、糸巻き形歪、軸方向色収差、および横色収差が含まれ得る。三次元誤差には、三次元で生じる光学収差が含まれ得る。例示的な種類の三次元誤差には、球面収差、コマ収差、像面湾曲、および非点収差が含まれ得る。いくつかの実施形態では、表示電子装置1722に供給される表示用のコンテンツは、あらかじめ歪ませることがあり、表示光学装置1724は、あらかじめ歪ませたコンテンツに基づいて生成された画像光を表示電子装置1722から受光したときに、その歪を補正することができる。
複数のロケータ1726は、互いに、およびニアアイディスプレイ1720の基準点に対して、ニアアイディスプレイ1720の特定的な位置にあるオブジェクトとすることができる。コンソール1710は、外部撮像デバイス1750によって取り込まれた画像内でロケータ1726を特定して、人工現実ヘッドセットの位置もしくは向き、または両方を決定することができる。ロケータ1726は、発光ダイオード(LED)、コーナキューブリフレクタ、反射性マーカ、ニアアイディスプレイ1720が動作する環境と対照をなすある種の光源、またはこれらのいくつかの組み合わせとすることができる。ロケータ1726が能動構成要素(たとえば、LEDまたは別の種類の発光デバイス)である実施形態では、ロケータ1726は、可視帯域内(たとえば、約380nm~750nm)、赤外(IR)帯域内(たとえば、約750nm~17mm)、紫外帯域内(たとえば、約170nm~約380nm)、電磁スペクトルの別の部分内、または電磁スペクトルの一部分の任意の組み合わせ内の光を発光することができる。
外部撮像デバイス1750は、コンソール1710から受け取った較正パラメータに基づいて遅い較正データを生成することができる。遅い較正データは、外部撮像デバイス1750によって検出可能なロケータ1726が観察された位置を示す、1つまたは複数の画像を含み得る。外部撮像デバイス1750は、1つまたは複数のカメラ、1つまたは複数のビデオカメラ、1つまたは複数のロケータ1726を含む画像を取り込むことができる任意の他のデバイス、またはこれらのいくつかの組み合わせを含み得る。加えて、外部撮像デバイス1750は、1つまたは複数のフィルタを含み得る(たとえば、信号対雑音比を向上させるために)。外部撮像デバイス1750は、外部撮像デバイス1750の視野内のロケータ1726から発光または反射された光を検出するように構成することができる。ロケータ1726が受動要素(たとえば再帰反射器)を含む実施形態では、外部撮像デバイス1750は、ロケータ1726の一部または全部を照らす光源を含むことができ、ロケータは、その光を外部撮像デバイス1750の光源に逆反射することができる。遅い較正データは、外部撮像デバイス1750からコンソール1710へ伝えることができ、外部撮像デバイス1750は、1つまたは複数の較正パラメータをコンソール1710から受け取って、1つまたは複数の画像化パラメータ(たとえば、焦点距離、焦点、フレームレート、センサ温度、シャッタ速度、アパーチャなど)を調整することができる。
位置センサ1728は、ニアアイディスプレイ1720の動きに応答して1つまたは複数の測定信号を生成することができる。位置センサ1728の例としては、加速度計、ジャイロスコープ、磁力計、他の動き検出センサもしくは誤差補正センサ、またはこれらのいくつかの組み合わせが含まれ得る。たとえば、いくつかの実施形態では、位置センサ1728は、並進運動(たとえば、前方/後方、上/下、または左/右)を測定するための複数の加速度計と、回転運動(たとえば、ピッチ、ヨー、またはロール)を測定するための複数のジャイロスコープとを含み得る。いくつかの実施形態では、様々な位置センサを互いに直角に向けることができる。
IMU 1732は、1つまたは複数の位置センサから受け取った測定信号に基づいて速い較正データを生成する電子デバイスとすることができる。位置センサ1728は、IMU 1732の外部、IMU 1732の内部、またはこれらの何らかの組み合わせに設置することができる。1つまたは複数の位置センサ1728からの1つまたは複数の測定信号に基づいて、IMU 1732は、ニアアイディスプレイ1720の初期位置に対するニアアイディスプレイ1720の推定位置を示す速い較正データを生成することができる。たとえば、IMU 1732は、加速度計から受け取った測定信号をある期間にわたって積分して速度ベクトルを推定し、この速度ベクトルをある期間にわたって積分して、ニアアイディスプレイ1720の基準点の推定位置を決定することができる。あるいは、IMU 1732は、サンプリングされた測定信号をコンソール1710に供給することができ、コンソールは、速い較正データを決定することができる。基準点は一般に、様々な実施形態において空間の点として定義され得るが、様々な実施形態では、基準点はまた、ニアアイディスプレイ1720の内部の点(たとえば、IMY 1732の中心)として定義されることもある。
視線追跡ユニット1730は、1つまたは複数の視線追跡システムを含み得る。視線追跡システムは、1つまたは複数の眼を撮像するための撮像システムを含むことができ、また任意選択で発光器を含むことができ、この発光器は、眼で反射された光が撮像システムによって取り込まれ得るように眼に向けられる光を生成することができる。たとえば、視線追跡ユニット1730は、可視スペクトルまたは赤外スペクトルの光を発するコヒーレント光源(たとえば、レーザダイオード)と、ユーザの眼で反射された光を取り込むカメラとを含み得る。別の例では、視線追跡ユニット1730は、小型レーダユニットから放射され反射された電波を捉えることができる。視線追跡ユニット1730には、眼を傷めない、または物理的な不快を引き起こさない周波数および強度の光を発する小出力発光器を使用することができる。視線追跡ユニット1730は、視線追跡ユニット1730によって消費される総電力を低減しながら(たとえば、視線追跡ユニット1730に含まれる発光器および撮像システムによって消費される電力を低減しながら)、視線追跡ユニット1730によって取り込まれる眼の画像のコントラストを高めるように配置することができる。たとえば、いくつかの実施形態では、視線追跡ユニット1730は、消費する電力が1700ミリワット未満であり得る。
視線追跡ユニット1730は、ユーザの眼の向きを推定するように構成することができる。眼の向きは、ニアアイディスプレイ1720内でユーザが注視する方向と一致し得る。ユーザの眼の向きは中心窩軸の方向として定義することができる。中心窩軸とは、中心窩(光受容体の密度が最も高い眼の網膜上の領域)と眼の瞳孔の中心との間の軸のことである。一般に、ユーザの眼が1つの点に固定されているとき、ユーザの2つの眼の中心窩軸は、その点で交差する。眼の瞳孔軸は、瞳孔の中心を通り角膜面に垂直である軸として定義することができる。一般に、瞳孔軸と中心窩軸は瞳孔の中心で交差するが、瞳孔軸は中心窩軸と全く一直線にそろわないことがある。中心窩軸は眼の後方に位置する中心窩によって定義されるので、中心窩軸は、いくつかの視線追跡実施形態では直接測定することが困難か不可能なことがある。したがって、いくつかの実施形態では、瞳孔軸の向きが検出され、この検出された瞳孔軸に基づいて中心窩軸が推定されることがある。
ニアアイディスプレイ1720は、眼の向きを利用して、たとえば、ユーザの瞳孔間距離(IPD)を決定すること、注視方向を決定すること、奥行き表現を導入すること(たとえば、ユーザの主視線の外側の画像をぼかす)、人工現実メディアにおけるユーザ対話についての発見的方法(たとえば、露出刺激の関数としての、何か特別な対象、オブジェクト、またはフレームに費やす時間)、ユーザの眼の少なくとも片方の向きに一部は基づく何か他の関数、またはこれらのいくつかの組み合わせを集めることができる。向きはユーザの両眼について決定されるので、視線追跡ユニット1730は、ユーザがどこを見ているかを決定することができ得る。たとえば、ユーザの注視の方向を決定することには、ユーザの右眼および左眼の決定された向きに基づいて収束点を決定することが含まれ得る。収束点は、ユーザの眼の2つの中心窩軸が交差する点(または、2つの軸間の最も近い点)であり得る。ユーザの注視の方向は、収束点と、ユーザの眼の各瞳孔の間の中間点とを通る、線の方向であり得る。
入力/出力インターフェース1740は、ユーザがコンソール1710にアクション要求を送出できるようにするデバイスでよい。アクション要求とは、特別なアクションを行うことの要求であり得る。たとえば、アクション要求は、アプリケーションを開始もしくは終了すること、またはアプリケーション内で特別なアクションを行うことであり得る。入力/出力インターフェース1740は、1つまたは複数の入力デバイスを含み得る。例示的な入力デバイスには、キーボード、マウス、ゲームコントローラ、グローブ、ボタン、タッチスクリーン、または他の任意の適切な、アクション要求を受け取り、受け取られたアクション要求をコンソール1710に伝えるためのデバイスが含まれ得る。入力/出力インターフェース1740で受け取られたアクション要求はコンソール1710に伝えることができ、コンソールは、要求されたアクションに対応するアクションを遂行することができる。いくつかの実施形態では、入力/出力インターフェース1740は、コンソール1710から受け取った命令に応じてユーザに触覚フィードバックを与えることができる。たとえば、入力/出力インターフェース1740は、アクション要求が受け取られたときに、またはコンソール1710が要求されたアクションを遂行し、命令を入力/出力インターフェース1740に伝えたときに、触覚フィードバックを与えることができる。
コンソール1710は、外部撮像デバイス1750、ニアアイディスプレイ1720、および入力/出力インターフェース1740のうちの1つ以上から受け取った情報に応じて、ユーザに提示するためのコンテンツをニアアイディスプレイ1720に供給することができる。図17に示された例では、コンソール1710は、アプリケーション記憶装置1712、ヘッドセット追跡モジュール1714、人工現実エンジン1716、および視線追跡モジュール1718を含み得る。コンソール1710のいくつかの実施形態は、図17と併せて記述されたものとは別の、または追加のモジュールを含み得る。以下でさらに記述される機能が、コンソール1710の構成要素の間で、ここで記述されるものとは別の方法で分配されることがある。
いくつかの実施形態では、コンソール1710は、プロセッサと、プロセッサによって実行可能な命令を記憶する非一時的コンピュータ可読記憶媒体とを含み得る。プロセッサは、並行して命令を実行する複数のプロセスユニットを含み得る。コンピュータ可読記憶媒体は、ハードディスクドライブ、取り外し可能メモリ、またはソリッドステートドライブ(たとえば、フラッシュメモリまたはダイナミックランダムアクセスメモリ(DRAM))などの任意のメモリでよい。様々な実施形態では、図17と併せて記述されたコンソール1710のモジュールは、非一時的コンピュータ可読記憶媒体に命令としてコード化することができ、この命令は、プロセッサによって実行されると、以下でさらに記述される機能をプロセッサが遂行する。
アプリケーション記憶装置1712は、コンソール1710で実行するための1つまたは複数のアプリケーションを記憶することができる。1つのアプリケーションは、プロセッサで実行されたときにユーザに提示するためのコンテンツを生成する命令の群を含むことができる。アプリケーションによって生成されたコンテンツは、ユーザの眼の運動を介してユーザから受け取られた入力、または入力/出力インターフェース1740から受け取られた入力に応答していることがある。アプリケーションの例には、ゲームアプリケーション、会議アプリケーション、ビデオ再生アプリケーション、または他の適切なアプリケーションが含まれ得る。
ヘッドセット追跡モジュール1714は、外部撮像デバイス1750からの遅い較正情報を使用してニアアイディスプレイ1720の移動を追跡することができる。たとえば、ヘッドセット追跡モジュール1714は、遅い較正情報による観察されたロケータと、ニアアイディスプレイ1720のモデルとを使用してニアアイディスプレイ1720の基準点の位置を決定することができる。ヘッドセット追跡モジュール1714はまた、速い較正情報による位置情報を使用してニアアイディスプレイ1720の基準点の位置を決定することもできる。加えて、いくつかの実施形態では、ヘッドセット追跡モジュール1714は、速い較正情報の一部分、遅い較正情報、またはこれらの何らかの組み合わせを使用して、ニアアイディスプレイ1720の未来場所を予測することができる。ヘッドセット追跡モジュール1714は、ニアアイディスプレイ1720の推測または予測未来位置を人工現実エンジン1716に提供することができる。
ヘッドセット追跡モジュール1714は、1つまたは複数の較正パラメータを使用して人工現実システム環境1700を較正することができ、1つまたは複数の較正パラメータを調整して、ニアアイディスプレイ1720の位置を決定する際の誤差を低減することができる。たとえば、ヘッドセット追跡モジュール1714は、外部撮像デバイス1750の焦点を調整して、ニアアイディスプレイ1720の観察されるロケータのより正確な位置を得ることができる。さらに、ヘッドセット追跡モジュール1714で行われる較正はまた、IMU 1732から受け取られる情報を明らかにすることもできる。加えて、ニアアイディスプレイ1720の追跡ができなくなった場合(たとえば、外部撮像デバイス1750が少なくとも閾数のロケータ1726の視線を失う)、ヘッドセット追跡モジュール1714は、較正パラメータの一部または全部を再較正することができる。
人工現実エンジン1716は、人工現実システム環境1700内のアプリケーションを実行し、ニアアイディスプレイ1720の位置情報、ニアアイディスプレイ1720の加速度情報、ニアアイディスプレイ1720の速度情報、ニアアイディスプレイ1720の予測未来位置、またはこれらの何らかの組み合わせをヘッドセット追跡モジュール1714から受け取ることができる。人工現実エンジン1716はまた、推測された眼の位置および向き情報を視線追跡モジュール1718から受け取ることもできる。受け取った情報に基づいて、人工現実エンジン1716は、ユーザへの提示用にニアアイディスプレイ1720に提供するためのコンテンツを決定する。たとえば、受け取った情報がユーザは右を見ていることを示す場合、人工現実エンジン1716は、仮想環境中のユーザの眼球運動を映すニアアイディスプレイ1720用のコンテンツを生成することができる。加えて、人工現実エンジン1716は、入力/出力インターフェース1740から受け取ったアクション要求に応答してコンソール1710上で実行するアプリケーション内のアクションを遂行し、アクションが遂行されたことを示すフィードバックをユーザに与えることができる。フィードバックは、ニアアイディスプレイ1720を介する可視または可聴フィードバックでも、入力/出力インターフェース1740を介する触覚フィードバックでもよい。
視線追跡モジュール1718は、視線追跡ユニット1730からの視線追跡データを受け取り、その視線追跡データに基づいてユーザの眼の位置を決定することができる。この眼の位置には、ニアアイディスプレイ1720またはそのいずれかの要素に対する眼の向きもしくは場所、または両方が含まれ得る。眼の回転軸は眼窩内の眼の場所に応じて変化するので、眼窩内の眼の場所を決定すると視線追跡モジュール1718は、眼の向きをより正確に決定することが可能になる。
いくつかの実施形態では、視線追跡ユニット1730は、眼の画像を含む視線追跡データを出力することができ、視線追跡モジュール1718は、画像に基づいて眼の位置を決定することができる。たとえば、視線追跡モジュール1718は、視線追跡モジュール1730によって取り込まれた画像と眼の位置との間のマッピングを記憶して、視線追跡ユニット1730によって取り込まれた画像から眼の基準位置を決定することができる。別法として、または加えて、視線追跡モジュール1718は、眼の基準位置が決定されている画像を更新された眼の位置が決定されるべき画像と比較することによって、眼の基準位置に対して更新された眼の位置を決定することができる。視線追跡モジュール1718は、別の撮像デバイスまたは他のセンサからの測定値を使用して眼の位置を決定することができる。たとえば、上述のように、視線追跡モジュール1718は、遅い視線追跡システムからの測定値を使用して眼の基準位置を決定し、その後、速い視線追跡システムからの眼の基準位置に対する更新位置を、次の眼の基準位置が遅い視線追跡システムからの測定値に基づいて決定されるまで、決定することができる。
上で論じられた方法、システム、およびデバイスは例示的なものである。様々な実施形態で、様々な手順または構成要素を必要に応じて省略、置換、または追加することができる。たとえば、代替的な構成では、記述された方法は、記述されたものと異なる順序で遂行されてもよく、かつ/または様々な段階が追加され、省略され、および/または組み合わされてもよい。また、特定の実施形態に関して記述された特徴が、様々な他の実施形態において組み合わされてもよい。これらの実施形態の異なる態様と要素が、同様に組み合わされてもよい。また、技術が進歩するので、これらの要素の多くは、本開示の範囲をこれらの特定的な例に限定しない例である。
実施形態の完全な理解が得られるように、本明細書には特定的な詳細が付与されている。しかし、諸実施形態は、これらの特定的な詳細がなくても実践することができる。たとえば、よく知られている回路、プロセス、システム、構造、および技法が、実施形態を不明瞭にしないようにするために、不必要に詳述することなく示されている。本明細書は、例示的な実施形態のみを提供し、本発明の範囲、適用性、または構成を限定するものではない。むしろ、これらの実施形態についての前述の記述は、様々な実施形態を実施するための可能化記述を当業者に提供する。様々な変更が、本開示の趣旨および範囲から逸脱することなく諸要素の機能および配置に加えられ得る。
また、いくつかの実施形態が、流れ図またはブロック図で描かれたプロセスとして記述された。それぞれが動作を一連のプロセスとして記述していることがあるが、動作の多くは並行して、または同時に遂行されてもよい。加えて、動作の順序は再構成されてもよい。プロセスが、図に含まれていない追加のステップを有することがある。さらに、方法の諸実施形態は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはこれらの任意の組み合わせによって実施することができる。ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコードで実施される場合、関連するタスクを遂行するためのプログラムコードまたはコードセグメントは、記憶媒体などのコンピュータ可読媒体に記憶することができる。プロセッサが、関連するタスクを遂行することができる。
当業者には、実質的な変形形態が特定的な要件に応じて作られ得ることが明らかであろう。たとえば、カスタム化または特定用途のハードウェアもまた使用されてよく、かつ/または、特別な要素がハードウェアもしくはソフトウェア(アプレットなどのポータブルソフトウェアを含む)、または両方で実施されてもよい。さらに、ネットワーク入力/出力デバイスなどの他のコンピュータデバイスへの接続が採用されてもよい。
添付の図を参照すると、メモリを含むことができる構成要素は、非一時的機械可読媒体を含むことができる。本明細書で使用される用語の「機械可読媒体」および「コンピュータ可読媒体」とは、機械を特定的に動作させるデータを供給することに関与する任意の記憶媒体を指す。上に提示された諸実施形態では、様々な機械可読媒体が、命令/コードをプロセスユニットおよび/または他のデバイスに実行のために供給することに関わり合い得る。加えて、または別法として、機械可読媒体は、このような命令/コードを記憶および/または保持するために使用することもできる。多くの実装形態において、コンピュータ可読媒体は物理的および/または有形の記憶媒体である。このような媒体は、不揮発性媒体、揮発性媒体、および伝送媒体をこれだけには限らないが含む、多くの形を取ることができる。よくある形のコンピュータ可読媒体には、たとえば磁気媒体、および/またはコンパクトディスク(CD)もしくはデジタル多用途ディスク(DVD)などの光学媒体、パンチカード、紙テープ、孔のパターンが付いた他の任意の物理的媒体、RAM、プログラム可能読み出し専用メモリ(PROM)、消去可能プログム可能読み出し専用メモリ(EPROM)、FLASH-EPROM、他の任意のメモリチップもしくはカートリッジ、以下で記述する搬送波、または他の任意の、コンピュータが命令および/またはコードを読み出すことができる媒体が含まれる。コンピュータプログラム製品は、コードおよび/または機械実行可能命令を含むことができ、これらは、手順、機能、サブプログラム、プログラム、ルーチン、アプリケーション(App)、サブルーチン、モジュール、ソフトウェアパッケージ、クラス、または命令、データ構造もしくはプログラム文の任意の組み合わせであり得る。
当業者には、本明細書に記述されたメッセージを伝えるために使用される情報および信号が、多様な異なる技術および技法のいずれかを使用して表され得ることが理解されよう。たとえば、上の記述全体を通して参照され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、およびチップは、電圧、電流、電磁波、磁場もしくは磁性粒子、光場もしくは光学粒子、またはこれらの任意の組み合わせによって表すことができる。
本明細書で使用される用語の「および」および「または」は、このような用語が使用される文脈に少なくとも一部は基づいてまた予期される、多様な意味を含み得る。通常、「または」は、A、B、またはCなどのリストを結びつけるために使用される場合には、A、B、およびCを意味するものであり、ここでは包括的な意味で使用され、さらにはA、B、またはCも意味するものであり、ここでは排他的な意味で使用される。加えて、本明細書で使用される用語の「1つまたは複数の」は、いかなる特徴、構造、または特性も単数形で記述するのに使用することができ、あるいは、複数の特徴、構造、または特性の何らかの組み合わせを記述するのに使用することができる。しかし、これは単なる説明的な例であること、および特許請求される主題はこの例に限定されないことに留意されたい。さらに、「のうちの少なくとも1つ」は、A、B、またはCなどのリストを結びつけるために使用される場合には、A、AB、AC、BC、AA、ABC、AAB、AABBCCCなどの、A、B、および/またはCの任意の組み合わせを意味するものと解釈することができる。
さらに、特定の実施形態について、ハードウェアとソフトウェアの特別な組み合わせを使用して記述してきたが、ハードウェアとソフトウェアの別の組み合わせもまた可能であることを理解されたい。特定の実施形態は、ハードウェアだけで、またはソフトウェアだけで、またはこれらの組み合わせを使用して実施することができる。一例では、ソフトウェアが、本開示で記述されたステップ、動作、またはプロセスのいずれかまたは全部を遂行するために、1つまたは複数のプロセッサによって実行可能なコンピュータプログラムコードまたは命令を含有するコンピュータプログラム製品を用いて実施されてよく、この場合、コンピュータプログラムは、非一時的コンピュータ可読記憶媒体に記憶することができる。本明細書で記述された様々なプロセスは、同一のプロセッサで、または任意の組み合わせの別々のプロセッサで実施することができる。
デバイス、システム、構成要素またはモジュールが、特定の動作または機能を遂行するように構成されると記述される場合、このような構成は、たとえば、その動作を遂行するように電子回路を設計することによって、その動作をコンピュータ命令もしくはコードを実行することなどによって遂行するようにプログラム可能電子回路(マイクロプロセッサなど)をプログラムすることによって、または非一時的メモリ媒体に記憶されたコードもしくは命令を実行するようにプログラムされたプロセッサもしくはコアによって、またはこれらの任意の組み合わせによって、達成することができる。諸プロセスは、プロセス間通信のための従来の諸技法をこれだけには限らないが含む、多様な技法を使用して通信することができ、異なる対のプロセスにより、別々の技法を使用することができ、あるいは同一の対のプロセスにより、別々の技法を別々の時間に使用することができる。
したがって、本明細書および図面については、制限的な意味ではなく説明的な意味に注目されたい。しかし、追加、置換、削除、ならびに他の修正および変更が、特許請求項に記載された広い趣旨および範囲から逸脱することなく本明細書および図面に加えられていよいことは明らかであろう。したがって、特定的な諸実施形態について記述したが、これらは限定的なものではない。様々な修正および等価物が、添付の特許請求の範囲内にある。