開示される内容の様々な実施形態は、デジタル画像センサ上で、ローリングシャッタとは別個のグローバルシャッタを実施する手段を説明する。
グローバル電子シャッタの理想的な実施態様において、各行は、画像センサアレイ内におけるその垂直位置に関係なく、全ての他の行と同時に開始し、同時に終了する露光時間を有する。
その結果、グローバル電子シャッタは、ローリングシャッタ画像センサによく見られる撮像アーチファクトの発生を防ぐ。
例示的な実施形態
図2Aは、光感知性フィルムが重ねられた、CMOS集積回路用の典型的な3トランジスタ画素の一例を示す。実施形態において、光感知性フィルムは、有機、ポリマー、無機、ナノ結晶の材料、又はこれらの組み合わせからなる半導体などの感光性媒体であり得る。実施形態において、感光性媒体は、所定の波長帯の光を吸収することができ、その結果、電子正孔対を生成する。実施形態において、{電子、正孔}のうちの少なくとも1つは、画素回路にそれぞれ対応付けられた画素電極に収集することができる。実施形態において、読み出し集積回路は、画素回路からアナログレベルを取得することができ、画素の全てまた部分集合のレベルに関する情報を含むアナログ又はデジタルストリームを提供することができる。実施形態において、CMOS集積回路は、例えばシリコン又はシリコンオンインシュレータウェハー上に作製された集積回路を含むことができ、ここでは、トランジスタ、コンデンサ、レジスタを形成するためにインプラント、薄膜堆積、酸化ステップ、及び拡散ステップなどが提供され、電子素子の相互接続のために層間絶縁膜を介して相互接続部が設けられる。
感光性層すなわちフィルム(1)は、画素に入射する光量に大きさが比例する電流ソース(Iphoto)、並びに上部電極(3)と下部電極(4)との間に図示されるコンデンサ(Cfilm)の両方により表される。感知ノード(5)は、下部電極と、第1のトランジスタ(M1)のゲートと、第2のトランジスタ(M0)のソースとの交差部に形成される。
図2Aにおいて、寄生キャパシタンス(Csense)が感知ノードに図示されている。このキャパシタンスは、フィルムの上板と底板間の寄生キャパシタンスと、トランジスタM0のゲートからソースへのオーバーラップキャパシタンスと、トランジスタM1のゲートからソースへの及びゲートからドレインへのオーバーラップキャパシタンスと、トランジスタM1のゲートから接地へのキャパシタンスと、トランジスタM0のソースから接地へのキャパシタンスとの結果により生じ得る。図2Aでは、議論のためだけに、別個の素子Cとして示されている。
通常の画素動作において、トランジスタM0及びM1のドレインは、一般的に例えば約2.8Vである高DC電圧に接続されている。
画素動作は、以下のように説明することができる。
図3は、単純なハードリセットモデルの時間関数として、図2Aの感知ノード及びM0のゲートにおける典型的な電圧波形を示す。「リセット」と記された時間に、トランジスタM0のゲートは、少なくともM0の閾値電圧だけVDDよりも高い電圧、例えば約3.5Vに上昇し、これにより、トランジスタM0が導通し、感知ノードの電圧を約VDDにほぼ等しい「リセット電圧」に上昇させる。
感知ノードがリセットされた後、光感知性フィルムへの入射光により、電流(Iphoto)が感知ノードに流れる。この光電流は、電荷を感知ノードへドライブし、これにより、図3に示されるように、感知ノードの電圧は低下する。
一定時間(積分時間)の後、感知ノードの最終信号レベル(Vsignal)に到達し、ほどなくして、画素は再びリセットされる。
感知ノード電圧の読み出しは、以下のように説明することができる。
積分時間中にどのくらいの量の光が画素に入射したかを知るために、2つの電圧「リセット電圧」と「信号電圧」を、画素から読み出す必要がある。これらの2つの電圧の差分は、積分時間中に画素に入射した光の量に比例する。
感知ノードの電圧を読み出すために、トランジスタM1は、読み出しトランジスタM2を介して、出力ノード(列)に接続される。この列は、複数の画素に接続されている。読み出しトランジスタM2のゲート電圧(SEL)を上昇させることにより、各画素は1つずつこの列に接続される。この列は更に、電流ソース(Ibias)に接続されている。画素が出力ノードに接続されると、この電流ソースは、トランジスタM1に対する負荷として機能し、並びに、感知ノード電圧を追跡してこの列を同様の電圧に駆動する「ソースフォロア」型電圧バッファを形成する。このように接続されると、この列の電圧は、感知ノードの電圧からトランジスタM2の閾値電圧を差し引いた電圧にほぼ等しくなる。このようにして、感知ノードの電圧は、この列の電圧を測定することにより、読み出すことができる。
M3のソースの電圧に影響を与えずに感知ノードの電圧を読み出すために(図2C)、M3のゲートは一定の電位、例えば1Vに保つことができ、これにより、M3のソースとドレインとの間に電位障壁が形成され、光発生電荷は、ソースの電位に影響を与えることなく、障壁を越えてドリフトすることができる(図2H)。
電子シャッタ
CMOS画像センサ内の画素は、通常、一組の行と列に配列される。各行は、その行内の各画素を(M2を介して)選択し、それをその列線に接続することにより、順次読み出される。次に、各列電圧は、読み出し回路を介して順次読み出される。このように全部の行を順次読み出すには、特定の時間量を要する。この時間は、通常、「行時間」と称される。
説明される画素では、入射光は常に光感知性フィルムに当たる。各行の積分時間を等しく保つために、図4に示されるように、各行の積分時間の開始を行時間で調整することが一般的である。これにより、読み出しのためにいずれかの行が選択されるまでに、各行は他の行と同じ大きさの積分時間を経験することになる。
しかし、各行の積分時間の開始(及び終了)は、他の行の積分時間から時間的にずれるため、この「転がる」積分時間中のシーン内の任意の動きは、行ごとに異なる時点で捕捉される。その結果、画質に悪影響を及ぼし得るモーションアーチファクトが生じる。
したがって、画素アレイ内の全ての行が、実質的に又は正確に同じ時間に、実質的に又は正確に同じ大きさの時間で露光されるように、光発生電流を中断することが望ましい。このようにして、各画素に共通の「グローバル」積分時間を適用することができ、このグローバル積分時間後に光発生は停止され、次いで、それぞれの自身の感知ノードに自身の積分信号を蓄積したアレイ内の全ての画素は、実際の積分時間に影響を与えることなく、順次読み出され得る。
ある特定のカメラシステムでは、これは、読み出し時間中に入射光を遮断する機械的シャッタを使用することにより、達成することができる。数多くのモバイルデバイスなどの他のカメラシステムでは、機械的シャッタは実用的ではなく、電気的手段により光発生電流を停止させる手段を有することが望ましい。このような手段は、「電子シャッタ」と称される。
図2Aに説明される画素では、2つの外部スイッチ(S1及びS2)を用いて、電子シャッタを実現することができる。
スイッチS1及びS2は、フィルムが光電流を生成する状態から生成しない状態に変化するように、フィルムの両端電圧を変化させるのに用いることができる。
以下では、スイッチS1及びS2を使用して、電子シャッタを実現する2つの例示的な実施形態を説明する。
第1の手法では、フィルムの一方の電極に2つのバイアス電圧(フィルムバイアス1及びフィルムバイアス2)が印加される。フィルムバイアス1は、感知ノードの電圧より数ボルト低い電圧であり、フィルム両端のこの電圧差により、フィルムは光電流を生成する状態となる。フィルムバイアス2は、感知ノードの電圧にほぼ等しく、フィルム両端の電圧差がこのように欠如することにより、フィルムは光電流を生成しない状態となる。フィルムバイアス1からフィルムバイアス2へ切り替えることにより、フィルムは一方の状態から他方の状態へ変わり、これにより、有効な電子シャッタが形成される。
スイッチS1及びS2を使用して電子シャッタを実現する別の方法では、フィルムバイアス1及びフィルムバイアス2の両方からフィルムの底板電極を切断して、光発生電流が流れないようにする。
この手法の潜在的な制限は、感光性材の応答時間に依存することである。すなわち、光発生状態から光非発生状態への移行は、所望よりも遅いこともあるフィルムの再結合速度などのフィルム特性に依存する。
電子シャッタを実現するための別の手法が、図2Bに示される。この手法では、感知ノードとフィルム電極との間の画素に、第4のトランジスタ(M3)が追加される。この第4のトランジスタは、そのゲートに十分に低い電圧が印加されると、感知ノードから感光性材を電気的に遮断するために使用され、一方、そのゲートに十分に高い電圧が印加されると、光発生電荷が感知ノードへ流れるようにする。動作の一例として、以下が挙げられ得る。1)アレイの各画素内のトランジスタM0及びM3は、M0及びM3のゲートに十分に高い共通の電圧を印加することにより、包括的に導通することができる。これにより、画素アレイ内の全画素がリセットされる。2)全てのM0トランジスタは、それらのゲートに十分に低い電圧を印加することにより、包括的にターンオフすることができ、これにより、画素は、それぞれの感知ノードにおける光発生電荷の積分を開始することが可能となる。3)全てのM3トランジスタは、それらのゲートに十分に低い電圧を印加することにより、ターンオフすることができ、これにより、積分フェーズは終了する。4)各行のトランジスタM1を列読出し部に接続し、サンプル動画→リセット→サンプルリセットのサンプリングシーケンスを実行することにより、一度に一行ずつ、感知ノードを読み出すことができる。
この手法は、高インピーダンス感知ノードが容易に妨害されるという事実により、制限されることがある。この場合、図2BにCovと示される、ゲートからソースへのオーバーラップキャパシタンスが、ゲート上の電圧変化を感知ノードへ伝達するように作用し、光電流だけの積分から生じ得た値とは異なる値に、感知ノード電圧をドライブする。この実施態様において、M3のソースとドレインとの間の寄生キャパシタンス結合が原因で、感光性材を完全にターンオフさせるには、さらなる時間を要するかもしれないことに注意することも重要である。
開示される内容の様々な態様は、光発生電流が感知ノードへ流れる状態から、感知ノードの電圧を乱すことなく光発生電流が感知ノードへ流れず、再び戻らない状態に素早く移行する方法を含む。
図2Eは、図2Bの構造的制限のうちのいくつかを克服する、開示される内容の別の実施形態を表す。この画素では、第5のトランジスタが追加され、これにより、感知ノードから供給ノードへ光発生電流を導くように作用する「差動対」を、トランジスタM3及びM4が形成する。この手法と、先に説明した手法との基本的な違いは、光発生電流をM4からM3へ導く時に、M3及びM4のドレインの電圧が変化しないことである。更に、この手法は、光発生電流を突然停止させるのではなく、代わりにこの電流を供給ノードへ導き、この電流が感知ノードではもはや積分されなくなるようにする。これは、積分の開始から停止までの間に、場合により1μs未満の速い移行が求められる場合には、有益である。
図2Eの例示的な一実施形態において、トランジスタM3及びM4は、シャッタとして作動し、M3のゲートの電圧がM4のゲートの電圧よりも高い場合、光電流は、感光性材から電源又は接地などの低インピーダンスノードへ流れ、感知ノードの全積分電荷に寄与しないため、感知ノードは実質的に光電荷発生材から絶縁される。M3のゲートの電圧がM4のゲートの電圧よりも低い場合、感光性材に発生した光電流は、光電子が収集される感知ノードへ流れる。
例示的な一実施形態において、M3及びM4のゲート電圧は、画素のアレイ全体に対して包括的に駆動される。この場合、例示的なタイミングの実施態様は、以下のとおりである。初めに、RST信号をパルス化することにより、全画素が包括的にリセットされる。次に、M3及びM4からの差動制御は、シャッタOFFレベルからシャッタONレベルへの切り替えを行い、露出制御に要する時間の間、このモードを維持する。積分期間の終了時に、M3及びM4は、シャッタONレベルからシャッタOFFレベルに切り替わる。これにより、感知ノード上の光電荷積分が実質的に終了する。次に、読み出しが1行毎に開始される。読み出しフェーズの終了時には、センサは新たな積分期間の準備ができており、シーケンスを繰り返すことができる。
シャッタをON状態からOFF状態への切り替えに使用するレベルは、トランジスタのサイズ、使用する技術、及びアプリケーションにより要求されるシャッタ阻止の量に依存する。電圧差が大きくなるほど、感知ノードと光発生材との間の絶縁度は高くなる。
例示的なデバイスレイアウトが、図1に示されている。この内容のさらなる改良物が、図2Fに示されている。
図2Fでは、トランジスタM4と感知ノードとの間に、第6のトランジスタ、M5が追加されている。M4及びM5は、カスケード構成であり、このトランジスタのゲートは、固定電圧Vbに保持される。このカスコードは、センスノードをトランジスタM4のオーバーラップキャパシタンスから保護するシールドとして作用し、感知ノードの電圧をかく乱するM4のゲート切り替え徴候を防止する。
図2Gは、トランジスタ型がN型からP型に変更され、フィルム電圧の電位が画素電位よりも高い、同様の画素の実施態様を示す。この実施形態は、開示される内容が、n型の実施態様のみに限定されないことを示すためのものである。
更に、図2Dは、M3のゲートに例えば1Vの一定の電圧を維持し、シャッタ動作中には例えば1.5Vの高い電圧、並びに積分中には例えば0Vの低い電圧から、フィルムバイアスを包括的にパルス化することにより、光発生電荷のシャッタ動作を達成する画素の実施態様を示す。この場合、フィルムONの積分フェーズ中にM3のソースに一定の電圧を有し、同様にフィルムOFFのシャッタ動作フェーズ中にもM3のソースに一定の電圧を有することが望ましい。感光性材が、フィルムONフェーズ中に電荷収集のために十分な両端電位を有し、フィルムOFFフェーズ中には電荷再結合のために十分に低い両端電位を有する限り、この2つの電圧は同一である必要はない。
更に、Vbiasは、上記の条件を可能にするために、フィルムバイアスと同じ位相及び周波数でパルス化することができる。
更に、トランジスタM3のソースは、既知の電位、例えばM0のドレインと同じ電位にリセットすることができ、これにより、フィルムOFFフェーズ中に感光性材が適切な両端電圧を有することが可能となる。
実施形態において、M3のソースを所望の電圧にリセットする追加機能を可能にするために、第4のトランジスタ、M4を画素に追加することができる。リセットフェーズは、SNリセットフェーズと同期してもよいし、異なる時間に生じてもよい(図2I)。
実施形態において、画像センサは、感光性材と、感光性材と電気連通する感知ノードを備える画素回路であって、積分期間中に感光性材に入射する光の強度に比例する電気信号を蓄積するように構成された画素回路と、を含み、画素回路は、感光性材と電気連通する差動トランジスタ対を含み、差動トランジスタ対は、第1のトランジスタ及び第2のトランジスタを含み、第1のトランジスタは、感光性材と感知ノードとの間に配置されており、差動トランジスタ対は、積分期間中に第1のトランジスタを介して感光性材と感知ノードとの間に電流を導き、並びに積分期間後に第2のトランジスタを介して電流を導き、感知ノードへの電気信号の積分を停止するように構成されている。
実施形態において、第2のトランジスタは、感光性材と、感知ノードと電気連通していない第2のノードとの間に配置されている。
実施形態において、第2のノードは電源ノードである。
実施形態において、差動トランジスタ対は、低電圧差動制御信号により制御されるように構成されている。
実施形態において、差動トランジスタ対は、差動対トランジスタの閾値電圧Vtに近似する電圧差を有する差動制御信号により制御されるように構成されている。
実施形態において、画素回路は、第1のトランジスタと感知ノードとの間に配置された第3のトランジスタを更に備える。
実施形態において、第3のトランジスタのゲート電圧は、積分期間の終了時の差動トランジスタ対のスイッチング中に、実質的に一定のレベルに維持される。
実施形態において、画素回路は、リセットトランジスタと、読み出しトランジスタと、行選択トランジスタとを更に備える。
実施形態において、画素回路は、差動トランジスタ対を含む5トランジスタ(5T)回路である。
実施形態において、画素回路は、差動トランジスタ対を含む6トランジスタ(6T)回路である。
実施形態において、画素回路は、差動トランジスタ対を含むN個のトランジスタ回路であり、N−3個のトランジスタは、独立した感光性エリアに接続されたソースと、共通の感知ノードに接続されたドレインとを有する。
実施形態において、2つ以上の独立した感知エリアは、共通の感知ノードに同時に接続することができる(ビニング)。
実施形態において、感光性材は、基板の上方に配置されている。
実施形態において、感光性材は、ナノ結晶材を含む。
実施形態において、基板は、半導体材料を含む。
実施形態において、感光性材は、画素回路が形成される基板の一部を含む。
実施形態において、感光性材は、基板の第1の面に近接しており、画素回路は、基板の第2の面に近接している。
実施形態において、画像センサは、感光性材と、積分期間中に感光性材からの電荷を感知ノードへ積分し、積分期間後に電流を感知ノードから離れる方へ導くように構成された電流ステアリング回路を含む画素回路と、を備える。
実施形態において、電流ステアリング回路は、差動トランジスタ対を備える。
実施形態において、画像センサは、感光性材と、感知ノードと、感知ノードと感光性材との間の第1のトランジスタと、感知ノードに接続されていない電流ステアリング経路に感光性材を接続する第2のトランジスタと、感知ノードに接続されたリセットトランジスタと、感知ノードに接続された読み出しトランジスタと、読み出しトランジスタに接続された行選択トランジスタとを含む画素回路と、を備える。
実施形態において、第1のトランジスタは、積分期間中に電流ステアリング経路に優先して、感光性材と感知ノードとの間の電流伝達を可能にするように構成されており、第2のトランジスタは、積分期間後に感知ノードに優先して、感光性材と電流ステアリング経路との間の電流伝達を可能にするように構成されている。
実施形態において、画素回路における積分の方法は、積分期間中に、感光性材からの電荷を電荷蓄積部に積分することと、積分期間の終了時に、感光性材からの電流を電荷蓄積部から離れるように導くことと、を含む。
実施形態において、電流を導くステップは、差動トランジスタ対をスイッチンングすることを含む。
実施形態において、画素回路内の積分信号を電子的に遮断するための方法は、画素回路を反復的にリセットすることと、リセット後に、感光性材からの信号を画素回路内の感知ノードに積分することと、
積分期間の終了時に電流を感知ノードから離れるように導き、感知ノードに積分される信号を電子的に遮断することと、感知ノードから積分信号を読み出すことと、を含む。
実施形態において、電流を導くステップは、感光性材と電気連通する差動トランジスタ対をスイッチングすることを含む。
実施形態において、画像センサは、基板と、複数の画素領域であって、各画素領域は、受光のために配置された感光性材を含み、複数の画素領域は複数の行及び列を含む、複数の画素領域と、各画素領域の画素回路であって、各画素回路は、感知ノードと、リセットトランジスタと、読み出し回路を含む、各画素領域の画素回路と、各画素回路は更に、各画素領域の感知ノードと感光性材との間に第1のトランジスタを含む差動トランジスタ対を備え、差動トランジスタ対は、各画素回路の積分期間の終了時に電流を感知ノードから離れる方へ導くように構成され、読み出し対象の画素の行を選択するように構成された行選択回路であって、行内の各画素回路の読み出し回路は、行が選択されると、各列の列線に選択的に接続される、行選択回路と、を備える。
実施形態において、画像センサは、差動トランジスタ対を制御して、複数の画素の積分期間を実質的に同時に終了させるように構成された追加の制御回路を備える。
実施形態において、制御回路は、複数の行にわたる複数の画素の積分期間を、実質的に同時に終了させるように構成されている。
実施形態において、制御回路は、複数の列にわたる複数の画素の積分期間を、実質的に同時に終了させるように構成されている。
実施形態において、制御回路は、それぞれの画素回路の差動トランジスタ対に差動制御信号を供給して、それぞれの画素回路の積分期間を終了させる。
実施形態において、画像センサ回路は更に、差動トランジスタ対と、それぞれの画素回路の感知ノードとの間に、トランジスタを備える。
実施形態において、制御回路は、複数の行にわたる複数の画素回路の積分期間を同時に終了させるように構成されており、行選択回路は、積分期間終了後に行を順次読み出すように構成されている。
実施形態において、画像センサアレイの電子シャッタのための方法は、積分期間中に複数の画素領域からの電荷を複数の対応画素回路に積分することと、ここで各画素領域は受光のために配置された感光性材を備え、複数の画素領域は複数の行及び列を備え、各画素回路は対応画素領域から積分された電荷を蓄積するように構成された電荷蓄積部を備え、積分期間の終了時に、各画素領域からの電流を対応画素回路の電荷蓄積部から離れるように導き、画素を電子的に遮断することと、積分期間中に対応画素領域から積分した電荷に基づいて、積分期間終了後に各画素回路から信号を読み出すことと、を含む。
実施形態において、複数の画素領域のそれぞれは、実質的に同時に電子的に遮断される。
実施形態は、画像センサアレイの電子ビニング方法を含み、この方法は、積分期間中に複数の画素領域からの電荷を単一の感知ノードに積分することと、ここで各画素領域は受光のために配置された感光性材を備え、複数の画素領域は複数の行及び列を備え、各画素回路は対応画素領域から積分された電荷を蓄積するように構成された電荷蓄積部を備え、積分期間の終了時に、各画素領域からの電流を共通の電荷蓄積画素回路から離れるように導き、画素を電子的にビニングすることと、積分期間中に対応画素領域から積分した電荷に基づいて、積分期間終了後に共通画素回路から信号を読み出すことと、を含む。
図5A及び5Bを参照すると、例示的な実施形態は、画像を検出するために画素素子のアレイを使用する画像感知領域を提供する。画素素子は、感光性材を含むことができる。画像センサは、画素領域のそれぞれにおける感光性材から、感光性材に入射する光の強度に基づいて変化する信号を検出することができる。例示的な一実施形態において、感光性材は、相互接続されたナノ粒子の連続フィルムである。各画素エリアにわたりバイアスを印加するために、電極が使用される。ある期間にわたり各画素領域に関して、電荷蓄積部に信号を積分するために、画素回路が使用される。回路は、積分期間中に、感光性層に入射する光の強度に比例する電気信号を蓄積する。次いで、電気信号が画素回路から読み出され、画素素子のアレイに入射した光に対応したデジタル画像を形成するように処理することができる。
例示的な実施形態において、画素回路は、感光性材より下方の集積回路デバイス上に形成することができる。例えば、ナノ結晶感光性材をCMOS集積回路デバイス上に積層して、画像センサを形成することができる。CMOS集積回路からの金属接触層は、画素領域にわたりバイアスを与える電極に、電気的に接続することができる。2008年4月18日に出願された「Materials,Systems and Methods for Optoelectronic Devices」と題する米国特許出願第12/10625号(公開番号2009/0152664)は、例示的な実施形態に関連して使用され得る光電デバイス、システム、及び材料の追加説明を含み、参照によりその全体が本明細書に組み込まれるものとする。これは、例示的な一実施形態にすぎず、他の実施形態は、異なる光検出器及び感光性材を使用してもよい。例えば、実施形態は、シリコン又はガリウム砒素(GaAs)光検出器を使用することができる。
画像センサには、光検出器のアレイが組み込まれる。これらの光検出器は、光を感知し、これを光信号から電子信号に変換する。図5A及び5Bは、例示的な実施形態による、量子ドット画素チップ構造体(QDPC)100に関する構造及びエリアを示す。図5A及び5Bに示されるように、QDPC100は、量子ドット構造体1100が光などの放射線1000を受け取るように図示された放射線1000受信器として合することができる。本明細書にてより詳しく説明されるように、QDPC100は、量子ドット画素1800と、量子ドット画素1800から受信した電気信号を処理するようにチップが適合されたチップ2000とを含む。量子ドット画素1800は、量子ドット1200、量子ドット材200、並びにドット1200及びドット材200に関する特定の構成、すなわち量子ドットレイアウト300など、いくつかの構成要素及びサブ構成要素を含む量子ドット構造体1100を備える。量子ドット構造体1100は光検出器構造体1400を形成するために使用することができ、この光検出構造体では、量子ドット構造体1100が電気相互接続1404に対応付けられている。電気接続部1404は、量子ドット構造体から電気信号を受信し、画素構造体1500に対応付けられた画素回路1700へ電気信号を通信するために設けられる。
量子ドット構造体1100が平面及び垂直の両方で様々なパターンでレイアウトされ得るように、光検出器構造体1400も、特定の光検出器幾何学的レイアウトを有することができる。光検出器構造体1400は、画素構造体1500に対応付けることができ、ここで光検出器構造体の電気相互接続1404は、画素回路1700に電気的に対応付けられる。画素構造体1500はまた、チップ2000上の垂直及び平面レイアウトを含む画素レイアウト1600にレイアウトすることができ、画素回路1700は、例えばメモリを含む他の構成要素1900に対応付けることができる。画素回路1700は、画素1800レベルの信号を処理するための受動型及び能動型構成要素を含むことができる。画素1800は、チップ2000に機械的かつ電気的に対応付けられる。例示的な実施形態において、画素構造体1500及び画素回路1700は、本明細書にて説明されるように、複数の画素に対して別個の色要素のフィルムビニング及び/又は回路ビニングを行う構造及び回路を含む。電気的観点から、画素回路1700は、他の電子回路(例えばチッププロセッサ2008)と通信することができる。他の電子回路は、デジタル信号、アナログ信号、及び混合信号などを処理するように適合してもよく、画素回路1700から受信した信号を処理及び操作するように適合してもよい。別の実施形態において、チッププロセッサ2008又は他の電子回路は、QDPCと同じ半導体基板に含まれてもよく、システムオンチップアーキテクチャを使用して構成してもよい。他の電子回路には、例示的な実施形態において、デジタルビニングを提供する回路又はソフトウェアが含まれ得る。チップ2000はまた、物理的構造体2002及び他の機能構成要素2004も含み、これらは下記にてより詳細に説明される。
QDPC100は、実施形態にて電磁スペクトルからの任意の周波数の放射線であり得る電磁放射線1000を検出する。電磁スペクトルは連続的であるが、周波数範囲を、無線帯域、マイクロ波帯域、赤外帯域(IR)、可視帯域(VIS)、紫外帯域(UV)、X線、及びガンマ線などといった全電磁スペクトル内の帯域として、参照するのが一般的である。QDPC100は、全電磁スペクトル内の任意の周波数を感知することが可能であり得る。しかしながら、本明細書の実施形態は、電磁スペクトル内のある帯域又は帯域の組み合わせを参照し得る。議論におけるこれらの帯域の使用は、QDPC100が感知し得る周波数の範囲を制限する意図はなく、実施例としてのみ使用されることを理解されたい。更に、いくつかの帯域は、近赤外線(NIR)及び遠赤外線(FIR)などの一般使用のサブ帯域を有し、IRなどのより広い帯域の用語の使用は、QDPC100の感度を、いずれの帯域又はサブ帯域にも制限する意図はない。更に、以下の説明では、「電磁放射線」、「放射線」、「電磁スペクトル」、「スペクトル」、及び「放射線スペクトル」などといった用語は同じ意味で使用され、色という用語は、放射線1000のいずれかの部分内にあり得る放射線1000の選択帯域を示すために使用されるのであって、可視「色」などの任意の特定の範囲の放射線1000に限定される意図はない。
図5A及び5Bの例示的な実施形態において、光センサアレイ、画像センサ、又は他の光電子デバイスに、量子ドット画素1800を提供するために、前述のナノ結晶材及び光検出器構造体が使用され得る。例示的な実施形態において、画素1800は、放射線1000を受け取ることができる量子ドット構造体1100と、量子ドット構造体1100からエネルギーを受け取るように適合された光検出器構造体と、画素構造体とを含む。本明細書に説明される量子ドット画素は、いくつかの実施形態において、高いフィルファクタ、色ビニング、積層体の可能性、小さい画素サイズとなる可能性、より大きい画素サイズによる高性能、カラーフィルタアレイの簡素化、デモザイク処理の除去、自己ゲイン設定/自動ゲイン制御、高ダイナミックレンジ、グローバルシャッタ能力、自動露出、局所コントラスト、読み出し速度、画素レベルでの低ノイズ読み出し、より大きなプロセス形状(より低コスト)を使用する能力、一般的な製造プロセスを使用する能力、デジタル製造プロセスを使用したアナログ回路の構築、メモリなど他の機能の画素の下方への追加、A/D変換、真の相関二重サンプリング、ビニングなど、以上を提供するために使用され得る。例示的な実施形態は、これらの特徴のうちのいくつか又は全てを提供することができる。しかし、いくつかの実施形態において、これらの特徴は使用されないことがある。
量子ドット1200は、ナノ構造であってもよく、通常、伝導帯電子、価電子帯正孔、又は励起子(伝導帯電子と価電子帯正孔の結合対)を、3次元全ての方向で閉じ込める半導体ナノ構造であってもよい。量子ドットは、その吸収スペクトルにおいて、理想的なゼロ次元システムの離散量子化エネルギースペクトルの効果を発揮する。この離散エネルギースペクトルに対応する波動関数は、通常、実質は量子ドット内に空間的に局在するが、材料の結晶格子の多くの周期にわたって延在する。
図6は、量子ドット1200の一例を示す。例示的な一実施例において、QD1200は、半導体、又はPbSなどの化合物半導体材料のコア1220を有する。リガンド1225は、外面の一部又は全部に取り付けられてもよく、又は下記に更に説明されるように、いくつかの実施形態においては除去されてもよい。いくつかの実施形態において、隣接するQDのコア1220を一緒に融合させて、ナノスケールフィーチャを有するナノ結晶材の連続フィルムを形成することができる。別の実施形態では、コアは、リンカー分子により互いに連結されてもよい。
QD光学デバイスのいくつかの実施形態は、複数の画素を有する単一の画像センサチップであり、複数の画素のそれぞれは、例えば光学活性で、放射線1000に感応するQD層と、QD層と電気連通する少なくとも2つの電極とを含む。電極間の電流及び/又は電圧は、QD層により受け取られる放射線1000の量に関係する。具体的には、QD層により吸収された光子は電子正孔対を生成し、これにより、電気バイアスが印加されると電流が流れる。各画素の電流及び/又は電圧を特定することにより、チップ全体の画像を再構築することができる。画像センサチップは、低放射線検出1000用途に有益な高感度であり、優れた画像詳細を可能にする幅広いダイナミックレンジを有し、画素サイズが小さい。異なる光学波長に対するセンサチップの応答性もまた、QDにおける量子サイズ効果を利用して、デバイス内のQDのサイズを変更することにより、調整可能である。画素は、約1平方ミクロン以下ほど小さく、又は約30ミクロン×30ミクロン以上ほど大きく、あるいはこれらに含まれる任意の範囲で作られることができる。
図5及び図7の光検出器構造体1400は、例示的な実施形態では、放射線1000を検出するために使用できるように構成されたデバイスを示す。検出器は、所定の波長の放射線1000を検出するために、光検出器構造体1400で使用される量子ドット構造体1100の類を通して、「調整」され得る。光検出器構造体は、量子ドット構造体1100の状態にアクセスするのに課せられるある入力/出力能力のために、I/Oを有する量子ドット構造体1100として、説明されることができる。一旦状態が読み出されると、状態は、電気相互接続1404を介して、状態を読み出す電子回路(例えば受動型及び/又は能動型の電子回路)を含み得る画素回路1700へ伝達され得る。一実施形態において、光検出器構造体1400は、量子ドット構造体1100(例えばフィルム)、並びに、関連する量子ドット構造体の状態を読み出すために電子回路に対応付けられ得る電気接触パッドであり得る。
実施形態において、量子ドット構造体1100の固有の特性、又は読み出しプロセスに伴うランダムノイズを低減するために、画素のビニングが処理に含まれ得る。ビニングは、2×2、3×3、又は5×5などのスーパーピクセルを形成するような、画素1800の混合を伴い得る。エリアが直線的に増加するにつれてランダムノイズは平方根で増加するため、画素1800の混合又はビニングに伴いノイズ低減が行われ、これにより、ノイズが減少し、又は実効感度が高められる。微小画素のQDPC100の電位により、空間解像度を犠牲にする必要なく、ビニングを利用することができる。すなわち、画素混合がシステムに必要な空間解像度を低減させないほど、小さい画素で開始され得る。ビニングはまた、検出器が作動できる速度を上げるのに有効であり得るため、焦点又は露出などのシステムのある特徴は改善される。例示的な実施形態において、更に後述されるように、色/UV/IRの解像度を保持しながらスーパーピクセルの別個の要素を提供するために、ビニングを使用して、同じ色又は範囲の放射線(UV及び/又はIRを含む)のサブ画素素子が混合され得る。
実施形態において、チップは、高速読み出し能力を可能にする機能構成要素を有することができ、これにより、5メガ画素、6メガ画素、8メガ画素、又は12メガ画素などといった大きなアレイの読み出しが促進され得る。より速い読み出し能力には、画素1800アレイ下のより複雑でより大きなトランジスタカウント回路、より多くの層、より多くの電気相互接続、及びより広い相互接続とレースなどが必要とされ得る。
実施形態において、チップエリアに比例し得る総チップコストを低減するために、画像センササイズを縮小することが望ましい場合がある。しかしながら、チップサイズの縮小は、所定数の画素に関して、より小さい画素を意味し得る。既存の手法では、放射線1000は、相互接続層を通って、下に存在するモノリシック集積型シリコンフォトダイオードへ伝播する必要があるため、基礎を成すシリコンエリアの一部は相互接続により覆い隠され、同様にシリコンエリアの一部は読み出し時に使用されるトランジスタにより使い尽くされるという、フィルファクタ損失がある。1つの回避策はマイクロレンズであり、これはコストを増加させ、チップ内の位置(中心又は縁部)へのフォトダイオード照明の依存をもたらす。もう1つの回避策は、より小さなプロセス形状に進むことであり、これは、カスタムインプラントを伴う画像センサプロセスにおいて、費用が掛かり、特に困難である。
実施形態において、本明細書で説明される技術は、これらの損失の回避策を提供し得る。画素サイズ、したがってチップサイズは、フィルファクタを減少させることなく縮小させることができる。光検出器は上面上、相互接続の上方に存在することから、トランジスタサイズ及び相互接続線幅が画素を覆い隠し得ないため、より大きいプロセス形状を使用することができる。本明細書で提案される技術では、0.13μm及び0.18μmのような大きな形状が、画素を覆い隠すことなく用いられ得る。同様に、90nm以下のような小さい形状も用いることができ、これらは画像センサがカスタマイズされたプロセスではなく標準的なプロセスであってよく、低コストにつながる。小さな形状の使用は、同一チップ上の高速デジタル信号処理とより互換性がある。これは、チップ上のより速く、より安価な、及び/又はより高品質の画像センサ処理をもたらし得る。また、デジタル信号処理により高度な形状を使用することは、所定の程度の画像センサ処理機能を低消費電力化することに寄与し得る。
上記の光検出器、画素領域、及び画素回路と組み合わせて使用することができる例示的な集積回路システムが、ここで図9に関連して説明される。図9は、画像センサ集積回路(画像センサチップとも呼ばれる)のブロック図である。チップは、以下を含むことが示される。
入射光は電子信号に変換され、電気信号は、フレーム期間にわたって入射した積分光に関連するコンテンツ及び電圧レベルを有する電荷蓄積部に積分される、画素アレイ(100)であって、下記で更に説明されるカラーフィルムビニングのためのカラーフィルタ及び電極構造体を含み得る、画素アレイ(100)。
フレーム期間にわたる各画素に対する積分光に関連する情報をチップの外周へ伝達するために、各画素をリセットし、各電荷蓄積部のコンテンツに関連する信号を読み出すのに使用される、行回路及び列回路(110及び120)。画素回路は、以下に更に説明されるカラービニングの回路を含む。
アナログ回路(130、140、150、160、230)。列回路からの画素電気信号は、アナログ−デジタル変換(160)に供給され、各画素の光レベルを表すデジタル数に変換される。画素アレイ及びADCは、バイアス及び基準レベルを提供するアナログ回路(130、140、及び150)により支持される。
デジタル回路(170、180、190、200)。画像強調回路(170)は、ADCから出力されるデータに対し画像強調機能を提供し、信号対ノイズ比を改善する。ラインバッファ(180)は、デジタル画像処理及びIO機能を促進するために、いくつかの画素値ラインを一時的に記憶する。(190)は、システムのグローバル動作及び/又はフレームフォーマットを規定するレジスタのバンクである。ブロック200は、チップの動作を制御する。デジタル回路はまた、デジタルカラービニングのための回路又はソフトウェアも含み得る。
並列入力/出力及び直列入力/出力の両方に対応するIO回路(210及び220)。(210)は、画素値の全てのビットを同時に出力する並列IOインターフェースである。(220)は、画素値の全てのビットを順次出力する直列IOインターフェースである。
チップ全体にクロックを提供する位相固定ループ(230)。
特定の例示的な実施形態において、0.11μmのCMOS技術ノードが採用される場合、行軸に沿った画素と列軸に沿った画素の周期的な反復距離は、900nm、1.1μm、1.2μm、1.4μm、1.75μm、2.2μm、又はそれ以上であり得る。これらの画素サイズ、特に900nm、1.1μm、及び1.2μmの最小の実施態様は、いくつかの実施形態において、隣接する画素の対又はより大きなグループの間でのトランジスタ共有を必要とし得る。
光感知機能は、別の垂直レベルで、相互接続層の上方に存在する感光性層により別個に達成されることから、各画素に対応付けられたシリコン回路エリアの全てを、読み出し電子回路に使用することができるため、微小画素を部分的に実装することができる。
感光性層と、感光性材の特定の領域を読み出す読み出し回路は、集積回路の別々の面に存在するため、(1)画素読み出し回路と、(2)(1)により読み出される感光性領域、この2つの形状は(上から見た場合)、一般に異なり得る。例えば、画素に対応する感光性領域は、正方形に画定することが望ましくあり得、一方、対応する読み出し回路は、最も効率的に長方形として構成され得る。
下方の読み出し回路にビアを介して接続された上部感光性層に基づく撮像アレイでは、金属、ビア、及び相互接続誘電体の様々な層が、実質的に又は部分的にさえも、光学的に透明である必要はないが、いくつかの実施形態では透明であり得る。これは、実質的に透明な光路が相互接続積層体を横断して存在する必要がある前面照明型CMOS画像センサの場合とは対照的である。
画素回路は、量子ドット材200と接する電極から始まり、信号又は情報が画素から他の処理機能へ転送されると終了する構成要素、例えば基礎を成すチップ2000の機能構成要素2004又は別の量子ドット画素1800などを、含むように定義され得る。信号は、量子ドット材200上の電極から始まり、変換される、又は読み出される。実施形態において、量子ドット材200は、放射線1000に応じて、電流の流れに変化を与えることができる。量子ドット画素1800は、読み出し可能な信号を生成するために、バイアス回路1700を必要とし得る。この信号は更に、読み出しのために増幅し、選択することができる。
図8に示される画素回路の一実施形態は、リセットバイアストランジスタ1802と、増幅トランジスタ1804と、列アドレストランジスタ1808とを用いる。この3トランジスタ回路構成は、3T回路とも呼ばれ得る。ここで、リセット1704がアサートされると、リセットバイアストランジスタ1802は、バイアス電圧1702を光導電性光起電量子ドット材200に接続し、これにより量子ドット材料200の電気状態をリセットする。リセット1704の後、量子ドット材200は放射線1000に晒されてもよく、これにより、量子ドット材200の電気状態の変化、この事例では増幅器1804のゲートに至る電圧の変化がもたらされる。この電圧は次いで、増幅トランジスタ1804により昇圧され、アドレス選択トランジスタ1808へ提供され、選択されると、アドレス選択トランジスタ1808の列出力に現れる。いくつかの実施形態において、暗信号の影響を差し引く補助をするために、画素回路に付加回路を追加することができる。別の実施形態では、信号が画素回路から読み出された後に、暗信号の調整を行うことができる。例示的な実施形態において、フィルムビニング又は回路ビニングのために、付加回路を追加することができる。
図10は、コンピューティング、通信、ゲーム、及びインターフェースなどに使用され得る単一平面コンピューティングデバイス100の一実施形態を示す。単一平面コンピューティングデバイス100は、周辺領域101及び表示領域103を含むことが示される。ボタン又はタッチパッドなど、タッチベースのインターフェースデバイス117は、単一平面コンピューティングデバイス100と対話するのに使用され得る。
第1のカメラモジュール113の一例は、単一平面コンピューティングデバイス100の周辺領域101内に位置することが示され、下記にて更に詳しく説明される。例示的な光センサ115A、115Bも、単一平面コンピューティングデバイス100の周辺領域101内に位置することが示され、図13を参照して下記に更に詳しく説明される。第2のカメラモジュール105の一例は、単一平面コンピューティングデバイス100の表示領域103内に位置することが示され、図12を参照して下記に更に詳しく説明される。
光センサ107A、107Bの例は、単一平面コンピューティングデバイス100の表示領域103内に位置することが示され、図13を参照して下記に更に詳しく説明される。第1の照明光源111(構造化でも非構造化でもよい)の一例は、単一平面コンピューティングデバイス100の周辺領域101内に位置することが示される。第2の照明光源109の一例は、表示領域103に位置することが示される。
実施形態において、表示領域103は、タッチスクリーンディスプレイであってもよい。実施形態において、単一平面コンピューティングデバイス100は、タブレットコンピュータであってもよい。実施形態において、単一平面コンピューティングデバイス100は、モバイルハンドセットであってもよい。
図11は、コンピューティング、通信、ゲーム、及びインターフェースなどに使用され得る二重平面コンピューティングデバイス200の一実施形態を示す。二重平面コンピューティングデバイス200は、第1の平面210の第1の周辺領域201A及び第1の表示領域203Aと、第2の平面230の第2の周辺領域201B及び第2の表示領域203Bと、第1の平面210の第1のタッチ式インターフェースデバイス217Aと、第2の平面230の第2のタッチ式インターフェースデバイス217Bとを含むことが示される。例示的なタッチ式インターフェースデバイス217A、217Bは、二重平面コンピューティングデバイス200と対話するのに使用され得るボタン又はタッチパッドであり得る。第2の表示領域203Bも、様々な実施形態にて、入力領域であってもよい。
二重平面コンピューティングデバイス200はまた、第1の周辺領域201A内の第1のカメラモジュール213A、及び第2の周辺領域201B内の第2のカメラモジュール213Bの例を含むことが示される。カメラモジュール213A、213Bは、図12を参照して下記により詳しく説明される。図示されるように、カメラモジュール213A、213Bは、二重平面コンピューティングデバイス200の周辺領域201A、201B内に位置する。合計2つのカメラモジュールが示されるが、より多くの又はより少ない光センサが採用されてもよいことが、当業者には認識されよう。
いくつかの光センサ215A、215B、215C、215Dの例は、二重平面コンピューティングデバイスの周辺領域210A、210B内に位置することが示される。合計4つの光センサが図示されているが、より多くの又はより少ない光センサが採用されてもよいことが、当業者には認識されよう。光センサ215A、215B、215C、215Dの例は、図12を参照して下記に更に詳しく説明される。図示されるように、光センサ215A、215B、215C、215Dは、二重平面コンピューティングデバイス200の周辺領域201A、201B内に位置する。
二重平面コンピューティングデバイス200はまた、第1の表示領域203A内の第1のカメラモジュール205A、及び第2の表示領域203B内の第2のカメラモジュール205Bの例を含むことが示される。カメラモジュール205A、205Bは、図12を参照して下記により詳しく説明される。図示されるように、カメラモジュール205A、205Bは、二重平面コンピューティングデバイス200の表示領域203A、203B内に位置する。また、二重平面コンピューティングデバイス200の表示領域203A、203B内に位置するものとして、光センサ207A、207B、207C、207Dの例が示される。合計4つの光センサが図示されているが、より多くの又はより少ない光センサが採用されてもよいことが、当業者には認識されよう。光センサ207A、207B、207C、207Dの例は、図13を参照して下記に更に詳しく説明される。例示的な照明光源211A、211Bは、周辺領域201A、201B内に位置することが示され、別の例示的な照明光源明209A、209Bは、表示領域203A、203Bのうちの1つの領域内に位置することが示され、また図13を参照して下記にも説明される。図示又は説明された数及び位置以外の、様々な数及び位置の説明素子を実現できることが、当業者には認識されよう。
実施形態において、二重平面コンピューティングデバイス200は、ラップトップコンピュータであってもよい。実施形態において、二重平面コンピューティングデバイス200は、モバイルハンドセットであってもよい。
ここで図12を参照すると、図10又は図11のコンピューティングデバイスで使用され得るカメラモジュール300の一実施形態が示される。カメラモジュール300は、図10のカメラモジュール113、又は図11のカメラモジュール213A、213Bに対応し得る。図12に示されるように、カメラモジュール300は、基板301と、画像センサ303と、ボンドワイヤ305とを含む。ホルダ307は、基板の上方に配置される。光フィルタ309が、ホルダ307の一部に取り付けられているのが示される。鏡筒311は、レンズ313又はレンズ系を保持する。
図13は、図10又は図11のコンピューティングデバイスで使用され得る光センサ400の一実施形態を示す。光センサの一実施形態を示す。光センサ400は、図10の光センサ115A、115B、又は図11の光センサ215A、215B、215C、215Dに対応し得る。光センサ400は、図10の周辺領域101又は表示領域103のいずれか又は両方の一部に対応し得る基板401を含むことが示される。基板401はまた、図11の周辺領域201A、201B又は表示領域203A、203Bのいずれか又は両方の一部に対応し得る。光センサ400はまた、光吸収材405にわたりバイアスを付与し、そこから光電子を収集するために使用される電極403A、403Bを含むことが示される。封止材407又は封止材の積層体は、光吸収材405上に示される。任意選択的に、光吸収材405からの光電子にバイアスを加える及び/又は光吸収材405から光電子を収集するために、封止材407には導電性封止材が含まれ得る。
図10の単一平面コンピューティングデバイス100又は図11の二重平面コンピューティングデバイス200のいずれかの素子は、互いに接続あるいは別のやり方で結合されてもよい。コンピューティングデバイスの実施形態は、プロセッサを含み得る。プロセッサは、コンピューティング、画像処理、デジタル信号処理、データ記憶、データ通信(有線又は無線接続を介する)、デバイスへの電力供給、及びデバイス制御を達成する機能ブロック及び/又は物理的に別個の構成要素を含み得る。プロセッサと通信するデバイスは、図10のデバイスを含み、表示領域103と、タッチ式インターフェースデバイス117と、カメラモジュール105、113と、光センサ115A、115B、107A、107Bと、照明光源109、111とを含み得る。同様に、対応関係は、図11にも適用することができる。
図13の光センサは、様々な構成及び組成物の光吸収材405を含み得る。実施形態において、図13の光センサがコンピューティングデバイスの表示領域に組み込まれている事例では、センサに入射する可視光のわずかな部分のみが光吸収材により吸収されるように、光吸収材は、約450nm〜650nmの可視波長領域にわたって十分に小さい吸光度を有するよう構成され得る。この場合、表示領域を使用して表示される画像の品質は、ディスプレイの光路に沿って組み込まれた光吸収材により、実質的に損なわれない。実施形態において、光吸収材405は、可視スペクトル領域にわたり光吸収材に入射する光の30%未満、20%未満、又は10%未満を吸収し得る。
実施形態において、電極403A、403B、及び、407が導電性封止材の場合、上部電極407は、約450nm〜650nmの可視波長領域にわたり実質的に透明な材料を用いて構築され得る。この場合、表示領域を使用して表示される画像の品質は、ディスプレイの光路に沿って組み込まれた光吸収材により、実質的に損なわれない。
実施形態において、図13の光センサは、赤外線を感知可能な光感知材を含み得る。実施形態において、光感知材は、約0.5eV〜1.9eVの範囲などの赤外線エネルギーに対応するバンドギャップを有する半導体であり得る。実施形態において、光感知材は、赤外スペクトル範囲で測定可能な吸収作用を有してもよく、可視スペクトル範囲でも測定可能な吸収作用を有してもよい。実施形態において、光感知材は、赤外スペクトル範囲のように、可視スペクトル範囲内においても、より高い吸光度を実現することができる。それにもかかわらず、赤外スペクトル範囲内のジェスチャ関連信号を感知するために使用され得る。
例示的な一実施形態において、光感知ディスプレイ組み込み材の吸光度は、可視光で約2%〜20%の範囲にあり得、赤外線で約0.1%〜5%の範囲にあり得る。例示的な一実施形態において、周囲の可視光及び/又はディスプレイから放出される可視光の存在は、光センサの光吸収材内の材料可視波長吸収の結果、光センサ内に背景信号を生成し得る。例示的な一実施形態において、赤外線領域での感知も達成され得る。ジェスチャ認識の補助に使用される光源は、光センサで観察される信号の可視波長関連成分と区別できるように、空間的又は時間的コードを使用して変調されてもよい。例示的な一実施形態において、ジェスチャ認識の補助に使用される少なくとも1つの光源は、100Hz、1000Hz、10kHz、又は100kHzよりも高い周波数成分を有するコードを用いて時間的に変調され得る。例示的な一実施形態において、光センサは、上記の周波数成分よりも高いカットオフ周波数を有する時間応答を有し得る。実施形態において、室内環境に関連する背景成分、ディスプレイ照明、及び他のそのような非ジェスチャ関連背景情報が実質的に除去された状態で、ジェスチャ認識に対応する周波数成分を確実に抽出及び監視できるように、回路は用いられ得る。この例では、光センサは、可視光と赤外光の両方を吸収するものの、ジェスチャ認識における関心のジェスチャ情報に主に関連する信号を提供することができる。
例示的な一実施形態において、約1mWの全光電力を有する光源が採用され得る。面積が約1cm2であり、拡散反射率が約20%である物体を約10cm離れた距離で照明する場合、面積が1cm2の光センサに入射する電力量は、100pWのオーダであり得る。例示的な一実施形態において、光源、及び物体の反射若しくは散乱による照明の結果、受光した光に関連する光電流に応じて、吸光度が1%の光センサを用いてもよく、したがって光センサへの入射は、pWオーダとなり得る。例示的な実施形態において、光センサが伝える電気信号は、光源の変調周波数の約pA信号成分に対応し得る。実施形態において、nA又はμAの範囲のような大きな付加信号成分は、可視及び赤外線の背景、ディスプレイ光などが原因で生じることがある。
例示的な実施形態において、比較的小さい信号成分でも、照明源の変調(時間的及び/又は空間的)により与えられるその特有の時間及び/又は空間シグネチャにより、他の背景/信号に対して分離することができ、ジェスチャ情報を識別するために用いることができる。
実施形態において、光吸収材405は、ある帯域の赤外光を主に吸収し、可視波長光に対し実質的に透明な材料から構成されてもよい。例示的な一実施形態において、PBDTT−DPP、近赤外光感応ポリマーポリ(2,60−4,8−ビス(5−エチルヘキシルチエニル)ベンゾ−[1,2−b:3,4−b]ジチオフェン−alt−5−ジブチルオクチル−3,6−ビス(5−ブロモチオフェン−2−イル)ピロロ[3,4−c]ピロール−1,4−ジオン)などの材料を、光吸収層の構成要素として用いることができる。
実施形態において、光センサにより生成された電子信号は、電子増幅のデバイスへ伝達され得る。このデバイスは、特定の電子周波数帯域を他の帯域よりも増幅して、ジェスチャ情報に関連する強調された信号成分を生成し得る。増幅(潜在的に周波数依存の増幅)の組み合わせを有する可能性のある光センサからの信号は、ジェスチャ情報に関連するデジタル信号を生成可能なアナログ/デジタル変換器へ入力され得る。ジェスチャ情報に関連するデジタル情報は、システムに即して、他の集積回路及び/又は信号処理エンジンへ更に伝達され得る。例えば、アプリケーションプロセッサに伝達されてもよい。
実施形態において、ジェスチャ認識を可能にする目的で空間体積を照明するのに使用される光源は、人間の目では実質見えない近赤外波長の照明を使用し得る。例示的な一実施形態において、約950nmの中心波長を有する発光ダイオードを使用してもよい。
実施形態において、コンピューティングデバイスに埋め込まれ、並びにカメラの一部である画像センサに実質的に焦点を合わせた画像を提供するレンズを有する少なくとも1つのカメラからの情報を組み合わせることにより、ジェスチャ認識は達成することができ、ジェスチャ認識はまた、周辺領域内のセンサ及び/又は表示領域に統合されたセンサを組み入れ得る。実施形態において、分散型センサは、撮像される物体の時空間移動に関する一般情報を提供することができ、少なくとも1つのカメラ(複数可)からの信号は、分散センサの信号と組み合わせることにより、ジェスチャ認識の対象物体の2次元又は3次元動作のより空間的/時間的に正確な画像が提供され得る。例示的な一実施形態において、カメラは、QVGA、VGA、SVGAなどといった適度な空間解像度を提供する画像センサを用いてもよく、よって、ダイサイズが小さく、すなわち低コストである画像センサを使用して実施されてもよく、また、周辺領域面積の消費を最小にすることができ、タブレット又は他のコンピューティングデバイスのzの高さの実質的な追加を不要とすることができる小さいx、y、及びzの形状因子を有するカメラモジュールを使用して実施されてもよい。
実施形態において、15fps、30fps、又は60fpsなどの適度なフレームレートを採用することができ、これは、適度な解像度と組み合わすことにより、ジェスチャ認識において低コストのデジタル通信チャネル及び中程度に複雑な信号処理が可能となる。実施形態において、少なくとも1つのカメラモジュールは、ディスプレイに対するジェスチャの評価において広い角度範囲を提供するために、広い視野撮像を実施し得る。実施形態において、少なくとも1つのカメラモジュールは、その注意角度がディスプレイに対する法線方向(垂直方向)と非平行であるように傾けることができ、これにより、少なくとも1つのカメラは、ディスプレイにより近接した角度範囲を撮像することが可能となる。
実施形態において、それぞれの注意角度が少なくともお互いに異なる複数のカメラを組み合わせて使用することができ、これにより、ディスプレイに適度に近接したジェスチャを撮像し解釈することが可能となる。実施形態において、少なくとも1つのカメラは、照明源により用いられる近赤外波長において、例えば30%を超える高い量子効率をもたらす光検出材を使用して増感された画像センサを使用し得る。これにより、照明源の電力及び/又は強度に対する要求を低減することが可能となる。実施形態において、照明源は、特定の周波数で、及び特定の時間パターン(例えば既知の時間間隔及び時間幅の一連のパルス)を用いて、時間的に変調され得る。少なくとも1つのカメラ及び/又は少なくとも1つの分散センサからの信号は、照明源の位相及び時間的プロファイルの知識を用いて解釈され得る。このようにして、ロックイン若しくはボックスカー平均化、あるいは他のフィルタリング及び/又はアナログ若しくはデジタル信号処理方法に類似して、増加した信号対ノイズ比を使用することで、変調信号ゆえに照明信号を実質的に特定し、背景シーンに対応付けられた背景信号を実質的に除去又は最小化することができる。
図14は、ジェスチャ認識の方法の一実施形態を示す。この方法は、カメラモジュール(複数可)のうちの少なくとも1つのそれぞれから得られる少なくとも2つの画像の経時的ストリームを取得することを含む動作501と、同様に、光センサのうちの少なくとも1つのそれぞれから得られる少なくとも2つの信号の経時的ストリームを取得することを含む動作507と、を含む。この方法は更に、動作503及び509にて、画像及び/又は信号をプロセッサに伝達することを含む。この方法は更に、動作505にて、プロセッサを使用して、画像及び信号の組み合わせに基づいて、ジェスチャの意味及びタイミングを推定することを含む。
図15は、ジェスチャ認識の方法の一実施形態を示す。この方法は、カメラモジュールのうちの少なくとも1つのそれぞれから得られる少なくとも2つの画像の経時的ストリームを取得することを含む動作601と、同様に、タッチ式インターフェースデバイスのうちの少なくとも1つのそれぞれから得られる少なくとも2つの信号の経時的ストリームを取得することを含む動作607と、を含む。この方法は更に、動作603及び609にて、画像及び/又は信号をプロセッサに伝達することを含む。この方法は更に、動作605にて、プロセッサを使用して、画像及び信号の組み合わせに基づいて、ジェスチャの意味及びタイミングを推定することを含む。
実施形態において、それぞれが端末機及び/又はディスプレイあるいは表示/入力領域のいずれかの範囲内に存在する(1)タッチ式インターフェースデバイス、(2)カメラモジュール、(3)光センサ、これらのうちの少なくとも1つにより受信される信号を採用することができ、デバイスのユーザが示すジェスチャの存在及び種類を特定するために、単独で又は併用して使用され得る。
図14を再び参照すると、実施形態において、画像の経時的ストリームが、カメラモジュールのうちの少なくとも1つのそれぞれから取得される。光センサの少なくとも1つそれぞれから得られる少なくとも2つの信号の経時的ストリームも取得される。実施形態において、ストリームは、異なるクラスの周辺デバイスから同期的に取得され得る。実施形態において、ストリームは、既知のタイムスタンプにより取得されることができ、既知のタイムスタンプは、各ストリームが他と相対的に取得された時、例えばある協定基準時点を示す。実施形態において、ストリームはプロセッサに伝達される。プロセッサは、画像と信号の組み合わせに基づいて、ジェスチャの意味及びタイミングの推定を計算する。
実施形態において、少なくとも1つカメラモジュールは、約40度を超える広い視野を有する。実施形態において、少なくとも1つのカメラモジュールは、眼レンズを採用する。実施形態において、少なくとも1つの画像センサは、その中心ではより高い解像度を達成し、その周辺では解像度を低下させる。実施形態において、少なくとも1つの画像センサは、その中心付近ではより小さい画素を使用し、その周辺ではより大きな画素を使用する。
実施形態において、少なくとも1つの光源を介した能動型照明は、近接する物体の部分反射及び/又は部分散乱と合併され、少なくとも1つの光モジュール又は光センサを使用する光感知と組み合わされた能動型照明であり、物体への近接を検出するために組み合わせることができる。実施形態において、このような近接に関する情報を使用して、デバイスの電力消費を低減することができる。実施形態において、ディスプレイなどの電力消費構成要素を減光又は停止することにより、電力消費を低減することができる。
実施形態において、少なくとも1つの光源が赤外光を放出し得る。実施形態において、少なくとも1つの光源は、約700nmと約1100nmの間の近赤外線の赤外光を放出し得る。実施形態において、少なくとも1つの光源は、約1100nmと約1700nmの波長の間の短波長赤外線の赤外光を放出し得る。実施形態において、光源が発する光は、デバイスのユーザには実質見えない。
実施形態において、少なくとも1つの光源は、構造化光画像を投影し得る。実施形態において、撮像と組み合わされた空間パターン照明を用いて、撮像システムに対する物体の相対距離を推定することができる。
実施形態において、少なくとも2つのレンズ化システムを用いて、モノリシック集積型単一画像センサ集積回路の2つの別個の領域上にシーン又はシーンの一部を画像化することができ、このように画像センサ集積回路を用いて取得された光のパターンを使用することで、画像センサシステムに対する物体の相対距離又は絶対距離の推定を促進することができる。
実施形態において、少なくとも2つのレンズ化システムを用いて、単一カメラシステム内に収容された2つの別個の画像センサ集積回路上にシーン又はシーンの一部を画像化することができ、このように画像センサ集積回路を用いて取得された光のパターンを使用することで、画像センサシステムに対する物体の相対距離又は絶対距離の推定を促進することができる。
実施形態において、少なくとも2つのレンズ化システムを用いて、異なるカメラシステム又はサブシステム内に収容された2つの別個の画像センサ集積回路上にシーン又はシーンの一部を画像化することができ、このように画像センサ集積回路を用いて取得された光のパターンを使用することで、画像センサシステム又はサブシステムに対する物体の相対距離又は絶対距離の推定を促進することができる。
実施形態において、少なくとも2つの光学的システムがシーンを知覚する異なる注意角度又は視点を使用することで、画像センサシステムに対する物体の相対距離又は絶対距離の推定を促進することができる。
実施形態において、図10の周辺領域101に位置する光センサ115A、115B、及び/又は図10の表示領域103に位置する光センサ107A、107Bなどの光センサを、単独で、又は互いに組み合わせて、及び/又はカメラモジュールと組み合わせて使用することで、シーンに関する情報を取得することができる。実施形態において、光センサはレンズを用いて、シーンのある領域からの光を特定の光センサに配向することを補助し得る。実施形態において、ある光センサにシーンからの光が入射する限定的角度範囲を画定する、遮光筐体などの開口用システムを、光センサは採用してもよい。実施形態において、特定の光センサは、開口を活用して、特定の入射角円錐内からの光を感知する責務を担う。
実施形態において、少なくとも2つの光学的システムがシーンを知覚する異なる注意角度又は視点を使用することで、画像センサシステムに対する物体の相対距離又は絶対距離の推定を促進することができる。
実施形態において、少なくとも2つの光センサからの光検出器の時間系列を使用して、物体の方向及び速度を推定することができる。実施形態において、少なくとも2つの光センサからの光検出器の時間系列を使用して、ジェスチャがコンピューティングデバイスのユーザにより行われたことを確認することができる。実施形態において、少なくとも2つの光センサからの光検出器の時間系列を使用して、コンピューティングデバイスのユーザが行ったジェスチャを分類することができる。実施形態において、ジェスチャの分類に関する情報、並びに分類されたジェスチャの推定発生時間は、処理ユニットを含む、コンピューティングデバイス内の他のシステム又はサブシステムへ伝達する。
実施形態において、例えば図10の光センサ107A、107Bなどの光センサは、コンピューティングデバイスの表示領域に統合することができる。実施形態において、光センサの表示領域への組み込みは、ユーザへの視覚情報の伝達におけるディスプレイ動作を実質的に変更することなく、実現することができる。実施形態において、ディスプレイは、約400nm〜約650nmの範囲の可視波長を主に使用してユーザに視覚情報を伝達し得るが、光センサは、約650nmより長い波長の赤外光を主に使用してシーンに関する視覚情報を取得することができる。実施形態において、可視波長領域で主に作動する「表示面」は、赤外スペクトル領域で主に作動し得る「光感知面」よりもユーザの手前に存在してもよい。
実施形態において、第1の種類の構造化光を用いることができ、第2の種類の構造化光も用いることができ、少なくとも2つの構造化光照明からの情報を有効に組み合わせて、分離されたいずれかの構造化光画像に含まれる情報を超えるシーンに関する情報を確認することができる。
実施形態において、第1の種類の構造化光は、シーンを照明するために用いられてもよく、第1の照明角度をもたらす第1の光源から提供することができ、第2の種類の構造化光は、シーンを照明するために用いられてもよく、第2の照明角度をもたらす第2の光源から提供することができる。
実施形態において、第1の種類の構造化光及び第1の照明角度は、第1の感知角度をもたらす第1の画像センサを使用して、また第2の感知角度をもたらす第2の画像センサを使用して、感知することができる。
実施形態において、第1のパターンを有する構造化光は第1の光源から提供することができ、第2のパターンを有する構造化光は、第2の光源から提供することができる。
実施形態において、第1のパターンを有する構造化光は、第1の時間周期中に光源から提供することができ、第2のパターンを有する構造化光は、第2の時間周期中に光源から提供することができる。
実施形態において、第1の波長の構造化光を用いて、第1の照明角度を有する第1の光源からシーンを照明することができ、第2の波長の構造化光を用いて、第2の照明角度を有する第2の光源からシーンを照明することができる。
実施形態において、第1のパターンを使用してシーンを照明するために、第1の波長の構造化光を使用することができ、第2のパターンを使用してシーンを照明するために、第2の波長の構造化光を使用することができる。実施形態において、第1の画像センサは、第1の波長での強い応答、及び第2の波長での弱い応答により、シーンを感知することができ、第2の画像センサは、第2の波長での強い応答、及び第1の波長での弱い応答により、シーンを感知することができる。実施形態において、画像センサは、第1の波長での強い応答及び第2の波長での弱い応答を有する第1のクラスの画素、並びに第2の波長での強い応答及び第1の波長での弱い応答を有する第2のクラスの画素から、構成することができる。
実施形態は、第1の帯域通過スペクトル領域と、第1の帯域遮断スペクトル領域と、第2の帯域通過スペクトル領域とを有するフィルタを用いる画像センサシステムを含む。実施形態は、可視スペクトル領域に対応する第1の帯域通過領域と、赤外線の第1の部分に対応する第1の帯域遮断スペクトル領域と、赤外線の第2の部分に対応する第2の帯域通過スペクトル領域とを含む。実施形態は、第1の時間周期を使用して、可視波長シーンを主に検出することと、第2の時間周期中に第2の帯域通過領域内で能動型照明を使用して、可視波長シーンと能動型照明赤外線シーンとの和を検出することと、2つの時間周期中に取得された画像間の差異を使用して、能動型照明赤外線シーンを主に推定することと、を含む。実施形態は、第2の時間周期中に構造化光を使用することを含む。実施形態は、赤外線の構造光を使用することを含む。実施形態は、構造化光画像を使用して、シーンに関する奥行き情報を推測することと、可視画像をタグ付け又は操作するのに、構造化光画像に基づいて取得された奥行きに関する情報を用いることと、を含む。
実施形態において、推定されるジェスチャには、親指1本上げ、親指2本上げ、指1本スワイプ、指2本スワイプ、指3本スワイプ、指4本スワイプ、親指と指1本スワイプ、親指と指2本スワイプなどが含まれ得る。実施形態において、推定されるジェスチャには、第1の指の第1の方向への移動と、第2の指の実質反対方向への移動が含まれ得る。推定されるジェスチャには、くすぐりが含まれ得る。
物体に入射する光の強度の感知は、多数の用途において使用することができる。このような用途の1つは、物体に入射する周囲光のレベルの推定を含み、これにより、物体自体の発光強度を好適に選択することができる。携帯電話、パーソナルデジタルアシスタント、及びスマートフォンなどのモバイルデバイスでは、バッテリ寿命、したがって消費電力の低減が重要である。同時に、LCD又は画素化されたLEDに基づくようなディスプレイを使用するなどして、情報を視覚的に表示することも必要であり得る。この視覚情報が表示される強度は、シーンの周囲照明に少なくとも部分的に依存する。例えば、非常に明るい環境光で、ディスプレイの視覚印象又は画像が背景光レベル上で明確に見えるようにするためには、一般に、より高い光強度がディスプレイにより発せられる必要がある。環境光が弱い場合、ディスプレイからより低いレベルの光を発することにより、より少ないバッテリ電力を消費することができる。
その結果、表示領域付近又は表示領域内の光レベルを感知することが重要である。既存の光感知方法は、単一の光センサ、又は非常に少ない光センサを含むことが多く、小面積の光センサであることが多い。これは、特に、対象とするデバイスの周囲照明が空間的に不均質である場合に、周囲照明レベルの推定において望ましくない異常及び誤差をもたらし得る。例えば、光を遮る又は部分的に光を遮る物体による陰影は、物体が1つ又はいくつかの感知素子を覆い隠す場合、真の平均照明条件下の望ましい明るさよりも低い明るさの表示強度をもたらし得る。
実施形態は、正確に光レベルの特定を可能にする1つ以上のセンサを実現することを含む。実施形態は、溶液から作られた光吸収材を用いて実現される少なくとも1つのセンサを含む。実施形態は、コロイド量子ドットフィルムが一次光吸収素子を構成するセンサを含む。実施形態は、センサに入射する光レベルに関する信号を伝達するシステムを含み、システムは、信号が受動型センサと、伝達に使用された電気信号に変調を行う能動型電子回路との間の距離を伝達されることにより存在する信号内のノイズを、低減又は緩和する。実施形態は、(1)光吸収感知素子と、(2)感知素子に入射する光強度に関する信号を伝達する電気相互接続と、(3)離れた光吸収感知素子に電気相互接続を介して接続され、感知された信号の低ノイズ伝達を電気相互接続を介して実現する回路と、を備えるシステムを含む。実施形態は、相互接続の長さが1センチメートルを超えるシステムを含む。実施形態は、相互接続が特別なシールドを必要としなくとも、実用上有益な信号対ノイズレベルを達成するシステムを含む。
実施形態は、コンピューティングデバイスの表示領域を照明する平均色温度を推定するために、単独で又は組み合わせて用いられるセンサ又はセンサシステムを含む。実施形態は、約20度を超える入射から垂直入射まで、又は約30度を超える入射から垂直入射まで、又は約40度を超える入射から垂直入射までといった、広い角度範囲から光を受け入れるセンサ又はセンサシステムを含む。実施形態は、第1のスペクトル帯域を主に通過させる第1の種類と、第2のスペクトル帯域を主に通過させる第2の種類との、少なくとも2つの種類の光フィルタを備えるセンサ又はセンサシステムを含む。実施形態は、表示領域、又は表示領域に近接する領域を照明する色温度を推定するために、少なくとも2つの種類の光フィルタを用いる少なくとも2つのセンサからの情報を使用することを含む。
実施形態は、少なくとも2つの種類のセンサを使用するシステムを含む。実施形態は、第1の光感知材からなる第1の種類と、第2の光感知材からなる第2の種類とを含む。実施形態は、第1のスペクトル帯域の光を吸収し、変換するように構成された第1の光感知材と、第2のスペクトル帯域を変換するように構成された第2の光感知材料とを含む。実施形態は、第1の平均直径を有する複数のナノ粒子を用いる第1の光感知材と、第2の平均直径を有する複数のナノ粒子を用いる第2の光感知材とを含む。実施形態は、約1nm〜約2nmの範囲の第1の直径と、約2nmを超える第2の直径とを含む。
実施形態は、インクジェット式印刷を伴って、コンピューティングデバイス内に、又はこのようなコンピューティングデバイス上に、光感知材を組み込む方法を含む。実施形態は、ノズルを使用して、所定の領域にわたって光感知材を付けることを含む。実施形態は、電極を使用して一次光感知領域を画定することを含む。実施形態は、コンピューティングデバイス内に、又はコンピューティングデバイス上に統合される光感知デバイスを製造する方法であって、方法は、第1の電極を規定することと、第2の電極を規定することと、第1及び第2の電極と電気連通する光感知領域を画定することと、を含む。実施形態は、コンピューティングデバイス内に、又はコンピューティングデバイス上に統合される光感知デバイスを製造する方法であって、方法は、第1の電極を規定することと、光感知領域を画定することと、第2の電極を規定することと、を含み、光感知領域は、第1及び第2の電極と電気的に連通している。
実施形態は、インクジェット印刷を使用して、コンピューティングデバイス内に、又はこのようなコンピューティングデバイス上に、少なくとも2つの種類のセンサを統合することを含む。実施形態は、第1のスペクトル帯域の光を吸収して変換するように構成された第1の光感知材を含む第1のリザーバを使用することと、第2のスペクトル帯域の光を吸収して変換するように構成された第2の光感知材を含む第2のリザーバを使用することを含む。
実施形態は、任意の外部干渉を実質的に抑制するために、差動又は変調シグナリングの使用を含む。実施形態は、暗背景ノイズを減じることを含む。
実施形態は、図16に示される差動システムを含む。図16は、光感知動作に対する外部干渉を低減する3電極差動レイアウトシステム700の一実施形態を示す。3電極差動レイアウトシステム700は、3つの電極701、703、705の全てを覆う光感知材を含むことが示される。光遮蔽材707(黒色)は、第1電極701及び第2電極703を使用して電気的にアクセスされる領域内の光感知材に、光が入射することを防ぐ。実質的に透明な材料709(透明)は、第2の電極703及び第3の電極705を使用して電気的にアクセスされる実質的に異なる領域内の光感知材に、光が入射することを可能にする。透明被覆電極対及び黒色被覆電極対を流れる電極の差は、光電流に等しく、すなわちこの差は、暗電流を全く含まないが、代わりに光強度に比例し、いずれの暗オフセットも実質的に除去される。
実施形態は、以下のような3電極システムの使用を含む。各電極は金属ワイヤから成る。光吸収材は、金属ワイヤと電気連通することができる。実施形態は、空気、水、湿気、ほこり及び汚れなどの周囲環境状況から光吸収材を保護する実質的に透明な材料を用いて光吸収材を封止することを含む。3つの電極の中央は、電圧V1にバイアスされてもよく、典型的な電圧の一例は約0Vである。外側の2つの電極は、電圧V2にバイアスされてもよく、典型的な値は約3Vである。実施形態は、光感知材上の入射光を実質的に防止又は低減する光遮蔽材を使用して、デバイスの一部を覆うことを含む。
光遮蔽材は、一対の電極に光をほとんど又は全く当たらないことを確実にする。この対は、暗電極対、すなわち基準電極対と呼ばれる。他方の電極対上に透明の材料を使用することにより、光が入射すると、実質的に光感知材に入射することが確実となる。この対は、光電極対と呼ばれる。
光電極対及び暗電極対を流れる電極の差は、光電流に等しく、すなわちこの差は、暗電流を全く含まないが、代わりに光強度に比例し、いずれの暗オフセットも実質的に除去される。
実施形態において、これらの電極は、ツイストペア形態で配線される。このようにして、外部ソースからのコモンモードノイズが低減又は緩和される。図17のツイストペアレイアウト800を有する電極801、803、805を参照すると、ツイストペア構造の平面アナログの使用の結果、外部ソースからのコモンモードノイズは低減又は緩和される。
別の実施形態において、光遮蔽層を必要としないように、バイアスを使用することができる。3つの電極は、3つの電圧V1、V2、及びV3にバイアスされ得る。一例において、V1=6V、V2=3V、V3=0Vである。6Vと3Vの間の光センサ、及び0Vと3Vの間の光センサが、6Vと0Vの間で読み出されると、逆方向の電流を生成する。その結果得られる差動信号は、次に、ツイストペア様式で伝送される。
実施形態において、電極レイアウトは、それ自体がツイスト状に構成されることで、センサ内部のノイズ耐性を更に向上させることができる。この場合、電極が別の電極と交差し得るアーキテクチャが使用される。
実施形態において、電気バイアス変調を使用することができる。一対の電極間に、交流バイアスを使用することができる。流れる光電流は、時変電気バイアスの時間的展開を実質的に模倣する。読み出し法は、低ノイズの電気信号を生成するためのフィルタリングを含む。バイアスの時間的変化には、正弦波状、方形波状、又は他の周期的なプロファイルが含まれる。例えば、図18を参照すると、変調周波数ではない外部ノイズを低減するために、電極に印加される信号901に対し時間変調バイアス900を行う一実施形態が示される。信号を時間的に変調することにより、変調周波数ではない外部ノイズを除去することができる。
実施形態は、差動レイアウト法を変調法と組み合わせることで、信号対ノイズレベルのさらなる改善を達成することを含む。
実施形態は、形状、サイズ、及びスペクトル応答(例えば異なる色に対する感度)が異なる多数のセンサを用いることを含む。実施形態は、マルチレベル出力信号を生成することを含む。実施形態は、好適な回路及びアルゴリズムを使用して信号を処理し、入射光のスペクトル及び/又は他の特性に関する情報を再構築することを含む。
開示される内容の利点には、可能性のある距離よりも長い距離にわたる光強度に関する正確な情報を伝送できることが含まれる。結果として、利点には、より低いレベルの光の検出が含まれる。利点には、より広い範囲の可能性のある光レベルを感知することが含まれる。利点には、より広い温度範囲にわたる良好な光強度特定が含まれ、これは、本明細書に記載される差動法を用いて暗基準を減ずる場合に特に得られる利点である。
実施形態は、第1の電極、第2の電極、及び第3の電極を含む光センサを含む。光吸収半導体は、第1、第2、及び第3の電極のそれぞれと、電気連通する。光遮蔽材は、第2の電極と第3の電極との間に存在する光吸収半導体の部分への光の入射を実質的に減衰させ、第2の電極と第1及び第3の電極との間には電気バイアスが印加され、第2の電極を流れる電流はセンサに入射する光に関連する。
実施形態は、第1の電極と、第2の電極と、電極と電気連通する光吸収半導体とを含む光センサを含み、第1電極と第2電極との間には、時変電気バイアスが印加され、電極間を流れる電流は、時変電気バイアスプロファイルに従ってフィルタリングされ、結果得られる電流成分は、センサに入射する光に関連する。
実施形態には、第1、第2、及び第3の電極が、金、白金、パラジウム、銀、マグネシウム、マンガン、タングステン、チタン、窒化チタン、二酸化チタン、酸窒化チタン、アルミニウム、カルシウム、及び鉛の中から選ばれた材料で構成される、上記の実施形態が含まれる。
実施形態には、光吸収半導体が、PbS、PbSe、PbTe、SnS、SnSe、SnTe、CdS、CdSe、CdTe、Bi2S3、In2S3、In2Te3、ZnS、ZnSe、ZnTe、Si、Ge、GaAs、ポリピロール、ペンタセン、ポリフェニレンビニレン、ポリヘキシルチオフェン、及びフェニル−C61−酪酸メチルエステルの中から選ばれた材料を含む、上記の実施形態が含まれる。
実施形態には、バイアス電圧が約0.1Vより大きく約10V未満である、上記の実施形態が含まれる。実施形態には、電極が互いに約1μm〜約20μmの距離をあけた、上記の実施形態が含まれる。
実施形態には、光感知領域と、バイアス及び読み出しに使用される能動型回路との間の距離が、約1cmより大きく約30cm未満である、上記の実施形態が含まれる。
適用エリアの範囲においては、撮像によるようなシーンに関する視覚情報の取得が望ましい。場合によっては、撮像システムと対象シーンとの間に存在する媒体の光学特性は、光吸収、光散乱、又はその両方を示し得る。場合によっては、光吸収及び/又は光散乱は、第2のスペクトル範囲と比較して、第1のスペクトル範囲においてより強く生じ得る。場合によっては、強吸収又は強散乱の第1のスペクトル範囲は、約470nm〜約630nmの可視スペクトル範囲の一部又は全部を含むことができ、より弱吸収又はより弱散乱の第2のスペクトル範囲は、波長が約650nm〜約24μmの範囲に及ぶ赤外線の部分を含むことができる。
実施形態において、約650nmの波長よりも長い波長に対する感度を有する画像センサアレイを設けることにより、画質を向上させることができる。
実施形態において、撮像システムは、可視波長撮像用の第1のモードと、赤外線撮像用の第2のモードとの、2つのモードで作動することができる。実施形態において、第1のモードは、画像センサ上にいくつかの赤外線波長の光が入射することを実質的に遮断するフィルタを用いることができる。
ここで図19を参照すると、様々な撮像用途に使用され得るフィルタの透過率スペクトル1000の一実施形態が示される。可視スペクトル領域1001内の波長は、実質的に透過され、可視波長撮像を可能にする。約750nm〜約1450nmの赤外線帯域1003、また約1600nmを超える領域1007における波長は、実質的に遮断され、周囲の赤外線照明に伴う影像効果を低減する。約1450nm〜約1600nmの赤外線帯域1005における波長は、実質的に透過され、この帯域内の主要なスペクトルパワーを有する能動型光源が作動されると、赤外波長撮像が可能となる。
実施形態において、撮像システムは、可視波長撮像用の第1のモードと、赤外線撮像用の第2のモードとの、2つのモードで作動することができる。実施形態において、システムは、第1の赤外スペクトル帯域にわたる光の入射を実質的に遮断するモードと、第2の赤外スペクトル帯域にわたる光の入射を実質的に通過させるモードとの、2つのモードのそれぞれにおいて有効であり続ける光フィルタを用いることができる。実施形態において、遮断される第1の赤外スペクトル帯域は、約700nm〜約1450nmに及び得る。実施形態において、実質的に遮断されない第2の赤外スペクトル帯域は、約1450nmから始まってよい。実施形態において、実質的に遮断されない第2の赤外スペクトル帯域は、約1600nmで終了してよい。実施形態において、赤外線撮像用の第2のモードでは、実質的に遮断されない第2の赤外スペクトル帯域のパワーを含む能動型照明を使用することができる。
実施形態において、実質的可視波長の画像が、第1のモードの画像キャプチャにより取得することができる。実施形態において、実質的能動型赤外線照明の画像が、第2のモードの画像キャプチャにより取得され得る。実施形態において、実質的能動型赤外線照明の画像は、第2のモードの画像キャプチャにより取得され、第1のモード中に取得された画像の減算により補助することができる。実施形態において、第1のモードと第2のモードとの間で、時間周期的な交替が採用することができる。実施形態において、非赤外線照明と、能動型赤外線照明との間で、時間周期的な交替が採用され得る。実施形態において、実質的可視波長の画像を報告することと、実質的能動型照明の赤外線画像を報告することとの間で、時間周期的な交代が採用することができる。実施形態において、可視波長画像及び赤外波長画像に関する情報を、重ね合わせて表示する合成画像が生成され得る。実施形態において、可視波長画像を表すために青などの第1の可視波長色を、並びに能動型照明赤外波長画像を表すために赤などの第2の可視波長色を、重ね合わせて使用した合成画像が生成することができる。
画像センサにおいて、照明のない状況でも(暗闇であっても)、非ゼロの不均一な画像が存在することがある。暗画像は、除去されていない場合、照明された画像の提示において、画像歪み及びノイズをもたらすことがある。
実施形態において、暗闇に存在する信号を表す画像を取得することができる。実施形態において、照明画像と暗画像との差分を表す画像が、撮像システムの出力に提示することができる。実施形態において、画像センサの光に対する感度を低下させるために、電気バイアスを使用して暗画像を取得することができる。実施形態において、画像センサシステムは、実質的暗画像を取得するために第1のバイアス方式による第1の時間間隔を、光画像を取得するために第2のバイアス方式による第2の時間間隔を採用することができる。実施形態において、画像センサシステムは、実質的暗画像をメモリに記憶することができ、光画像と実質的暗画像との差分を表す画像を提示する際、記憶された実質的暗画像を使用することができる。実施形態は、この方法を使用して、画像歪みを低減することと、ノイズを低減することと、を含む。
実施形態において、リセット後に存在する信号を表す第1の画像を取得することができ、積分時間後に存在する信号を表す第2の画像を取得することができ、2つの画像の差分を表す画像を提示することができる。実施形態において、2つの入力画像のうちの少なくとも1つを記憶するために、メモリを使用することができる。実施形態において、結果の差分画像は、相関二重サンプリングノイズと一致する時間ノイズ特性をもたらすことがある。実施形態において、sqrt(kTC)ノイズによりもたらされる等価時間的ノイズよりも相当少ない等価時間的ノイズを有する画像を提示することができる。
実施形態は、暗減算画像をユーザに迅速に提示するために、暗画像の高速読み出しと、光画像の高速読み出しと、メモリへの高速アクセス及び高速画像処理とを含む。
実施形態は、画像を取得することを示すユーザ間の間隔が約1秒未満であり、画像の取得に伴う積分期間が約1秒未満である、カメラシステムを含む。実施形態は、画像センサとプロセッサとの間にメモリ素子を備えるカメラシステムを含む。
実施形態は、ショット間の時間が約1秒未満であるカメラシステムを含む。
実施形態は、第1の画像が取得されてメモリに記憶され、第2の画像が取得され、第1の画像及び第2の画像からの情報を用いる画像を生成するためにプロセッサが使用される、カメラシステムを含む。実施形態は、第1の画像及び第2の画像からの情報を組み合わせることにより、高いダイナミックレンジを有する画像を生成することを含む。実施形態は、第1の焦点を有する第1の画像と、第2の焦点を有する第2画像とを含み、第1の画像及び第2の画像から、より高い等価焦点深度を有する画像を生成することを含む。
より温度の高い物体は一般に、より冷たい物体と比べて、より短い波長のより高いスペクトルパワー密度を放出する。したがって、第1の帯域内のスペクトルパワーと第2の帯域内のスペクトルパワーとの比に基づいて、シーン内で撮像された物体の相対温度に関する情報を抽出することができる。
実施形態において、画像センサは、主に第1のスペクトル帯域内の光を感知するように構成された第1の画素集合と、主に第2のスペクトル帯域内の光を感知するように構成された第2の画素集合とを含み得る。実施形態において、第1及び第2の集合の近接画素からの情報を組み合わせた推定画像を報告することができる。実施形態において、第1及び第2の集合の近接画素からの信号の比率を提供する推定画像を報告することができる。
実施形態において、画像センサは、物体温度を推定する手段を含んでもよく、可視波長画像を取得する手段を更に含んでもよい。実施形態において、画像処理を使用して、可視波長画像上に、推定された相対物体温度を表す画像を偽色表示することができる。
実施形態において、画像センサは、長さ寸法が約2μm×2μm未満の画素を少なくとも1つ含み得る。
実施形態において、画像センサは、第1のスペクトル帯域の感知を提供する第1の層と、第2のスペクトル帯域の感知を提供する第2の層とを含み得る。
実施形態において、可視画像は、シーンのユーザに対しよく知られた表現を提示するために使用されることができ、赤外線画像は、温度又は色素などに関する付加情報を提供することができ、あるいは霧、かすみ、煙、又は布などの散乱媒体及び/又は可視吸収媒体の透過を可能にすることができる。
場合によっては、単一の画像センサを使用して可視画像と赤外線画像の両方を取得することが望ましくあり得る。場合によっては、したがって可視画像及び赤外線画像の登録は、実質的に簡単となる。
実施形態において、画像センサは、単一クラスの光吸収光感知材を用いることができ、その上に、フィルタとしても知られるパターン化層を用いることができ、これは自身を透過する光をスペクトル選択する責務を担う。実施形態において、光吸収光感知材は、可視領域、及び赤外スペクトル領域の少なくとも一部の両方にわたって、高量子効率光感知を提供することができる。実施形態において、パターン化層は、単一画像センサ回路上に、可視波長画素領域及び赤外波長画素領域の両方が存在することを可能にし得る。
実施形態において、画像センサは、2つのクラスの光吸収光感知材、すなわち、第1の範囲の波長を吸収及び感知するように構成された第1の材料と、第2の範囲の波長を吸収及び感知するように構成された第2の材料とを使用することができる。第1及び第2の範囲は、少なくとも部分的に重複していてもよく、又は重複していなくてもよい。
実施形態において、2つのクラスの光吸収光感知材を、画像センサの異なる領域に配置することができる。実施形態において、リソグラフィ及びエッチングを使用して、どの領域がどの光吸収光感知材を用いて覆われるかを定めることができる。実施形態において、インクジェット印刷を使用して、どの領域がどの光吸収光感知材を用いて覆われるかを定めることができる。
実施形態において、2つのクラスの光吸収光感知材を、互いに上下に積層することができる。実施形態において、最下層は、赤外光及び可視光の両方を感知することができ、最上層は、主に可視光を感知することができる。
実施形態において、感光性デバイスは、第1の電極と、第1の光吸収光感知材と、第2の光吸収光感知材と、第2の電極と、を含み得る。実施形態において、光キャリアが主に第1の光吸収光感知材から効率的に収集されるように、第1の電極と第2の電極との間に第1の電気バイアスを付与することができる。実施形態において、光キャリアが主に第2の光吸収光感知材から効率的に収集されるように、第1の電極と第2の電極との間に第2の電気バイアスを付与することができる。実施形態において、第1の電気バイアスは、主に第1の波長の光に対する感度をもたらし得る。実施形態において、第2の電気バイアスは、主に第1の波長の光に対する感度をもたらし得る。実施形態において、第1の波長の光は赤外光であり得、第2の波長の光は可視光であり得る。実施形態において、第1の画素集合に第1のバイアスを付与することができ、第2の画素集合に第2のバイアスを付与することができ、これにより、第1の画素集合は主に第1の波長の光に応答し、第2の画素集合は主に第2の波長の光に応答することが確実となる。
実施形態において、第1の電気バイアスは、第1の期間中に付与することができ、第2の電気バイアスは、第2の期間中に付与することができ、これにより、第1の期間中に取得された画像は、主に第1の波長の光に関する情報を提供し、第2の期間中に取得された画像は、主に第2の波長の光に関する情報を提供する。実施形態において、2つの期間中に取得された情報は、単一画像に結合され得る。実施形態において、単一の報告画像において、2つの期間のそれぞれの間に取得された情報を表すために、偽色を使用することができる。
実施形態において、焦点面アレイは、所定のバイアスにおいて実質的に横方向に均一のスペクトル応答を有し、並びにバイアスに依存するスペクトル応答を有する、実質的に横方向に空間的に均一のフィルムから構成される。実施形態において、空間的に不均一なバイアスを印加することができ、例えば、異なる画素領域は、フィルムに異なるようにバイアスをかけることができる。実施形態において、所定の空間依存するバイアス構成の下、異なる画素は、異なるスペクトル応答を提供し得る。実施形態において、第1のクラスの画素は主に可視波長の光に応答することができ、第2のクラスの画素は主に赤外波長の光に応答することができる。実施形態において、第1のクラスの画素は、青などの1つの可視波長色に主に応答することができ、第2のクラスの画素は、緑などの特徴的な可視波長色に主に応答することができ、第3のクラスの画素は、赤などの特徴的な画素波長色に主に応答することができる。
実施形態において、画像センサは、読み出し集積回路と、少なくとも1つの第1のクラスの画素電極と、少なくとも1つの第2のクラスの画素電極と、感光性材の第1の層と、感光性材の第2の層とを備え得る。実施形態において、画像センサは、第1の画素電極クラスに対し第1のバイアスの印加を、第2の画素電極クラスに対し第2のバイアスの印加を用いることができる。
実施形態において、第1の画素電極クラスに対応する画素領域は、第1のスペクトル応答を示すことができ、第2の画素電極クラスに対応する画素領域は、第2のスペクトル応答を示すことができ、第1のスペクトル応答と第2のスペクトル応答は大幅に異なる。実施形態において、第1のスペクトル応答は、可視波長領域に実質的に限定することができる。実施形態において、第2のスペクトル応答は、可視波長領域に実質的に限定され得る。実施形態において、第2のスペクトル応答は、可視スペクトル領域の部分と赤外スペクトル領域の部分の両方を含むことができる。
実施形態において、高量子効率の画像センサを、低暗電流と組み合わせて製造することが望ましくあり得る。
実施形態において、デバイスは、第1の電極、第1の選択スペーサ、光吸収材、第2の選択スペーサ、及び第2の電極から構成することができる。
実施形態において、電子を注出するために、第1の電極を使用することができる。実施形態において、第1の選択スペーサは、電子の注出を容易にし、しかし正孔の注入を阻止するために使用することができる。実施形態において、第1の選択スペーサは、電子輸送層であってもよい。実施形態において、光吸収材は、半導体ナノ粒子を含み得る。実施形態において、第2の選択スペーサは、正孔の注出を容易にし、しかし電子の注入を阻止するために使用することができる。実施形態において、第2の選択スペーサは、正孔輸送層であってもよい。
実施形態において、第1の選択スペーサのみを採用してもよい。実施形態において、第1の選択スペーサは、TiO2、ZnO、及びZnSの中から選択してもよい。実施形態では、第2の選択スペーサは、NiOであってもよい。実施形態において、第1及び第2の電極は、同じ材料を用いて作製してもよい。実施形態において、第1の電極は、TiN、W、Al、及びCuの中から選択してもよい。実施形態において、第2の電極は、ZnO、Al:ZnO、ITO、MoO3、Pedot、及びPedot:PSSの中から選択してもよい。
実施形態において、第1の間隔中に光感知素子が光キャリアを蓄積でき、第2の間隔中に光キャリアを回路内の別のノードへ伝送するように構成することのできる画像センサを実現することが望ましい。
実施形態は、第1の電極と、光感知材と、遮断層と、第2の電極とを備えるデバイスを含む。
実施形態は、光キャリアが第1の遮断層に向かって輸送されるように、積分期間として知られる第1の間隔中にデバイスを電気的にバイアスすることを含み、光キャリアは、積分期間中に遮断層との境界面付近に蓄積される。
実施形態は、伝送期間中に蓄積された光キャリアが回路内の別のノードに注出されるように、伝送期間として知られる第2の間隔中にデバイスを電気的にバイアスすることを含む。
実施形態は、TiN、W、Al、Cuの中から選択される第1の電極を含む。実施形態において、第2の電極は、ZnO、Al:ZnO、ITO、MoO3、Pedot、及びPedot:PSSの中から選択してもよい。実施形態において、遮断層は、HfO2、Al2O3、NiO、TiO2、及びZnOの中から選択することができる。
実施形態において、積分期間中のバイアス極性は、伝送期間中のバイアス極性とは反対であってもよい。実施形態において、積分期間中のバイアスは、伝送期間中のバイアスと同じ極性であってもよい。実施形態において、伝送期間中のバイアスの振幅は、積分期間中のバイアスの振幅よりも大きくてもよい。
実施形態は、感光性材がシリコントランジスタのゲートとして機能する光センサを含む。実施形態は、トランジスタに接続されたゲート電極と、感光性材と、第2の電極とを備えるデバイスを含む。実施形態は、ゲート電極と感光性材との境界面における光電子の蓄積を含む。実施形態は、トランジスタのチャネル内に正孔を蓄積させる光電子の蓄積を含む。実施形態は、照明による光電子の変化の結果として、トランジスタにおける電流の流れの変化を含む。実施形態は、感光性層における各1電子/秒の光電流の流れの変化に対し、トランジスタにおける1000電子/秒を超える電流の流れの変化を含む。実施形態は、トランジスタ電流対光子衝突伝送曲線が光子フルエンスに劣線形依存し、これにより圧縮及び向上したダイナミックレンジがもたらされる飽和挙動を含む。実施形態は、トランジスタ上のノードにバイアスを印加することにより、感光性層における電荷をリセットして、リセット期間中に電流をゲートに流すことを含む。
実施形態は、上記の画像センサ、カメラシステム、製造方法、アルゴリズム、及びコンピューティングデバイスの組み合わせを含み、少なくとも1つの画像センサは、グローバル電子シャッタモードで動作することが可能である。
実施形態において、少なくとも2つの画像センサ又は画像センサ領域は、それぞれグローバルシャッタモードで動作することができ、異なる波長の画像、又は異なる角度からの画像、又は異なる構造化光を用いた画像の実質的同期取得を提供することができる。
実施形態は、アナログドメインにおいて相関二重サンプリングを実施することを含む。実施形態は、各画素内に含まれる回路を使用して、このように実施することを含む。図20は、ノイズ電力を低減するために各画素内で用いられ得る回路1100の例示的な概略図を示す。実施形態において、第1のコンデンサ1101(C1)と第2のコンデンサ1103(C2)とが図示されるように組み合わせて用いられる。実施形態において、ノイズ電力は、C2/C1の比に応じて低減される。
図21は、シリコン内に実装され得るフォトゲート/PINダイオード蓄積部の回路1200の例示的な概略図を示す。実施形態において、シリコン内のフォトゲート/PINダイオード蓄積部は、図示のように実装される。実施形態において、蓄積PINダイオードは、リセット中に完全に空乏化される。実施形態において、C1(実施形態における量子ドットフィルムなどの光センサのキャパシタンスに対応する)は、一定のバイアスを見込む。
実施形態において、読み出し集積回路と統合され、読み出し集積回路を用いて読み出される光感知材の使用を通して、光感知が可能となり得る。同一の例示的な実施形態が、2010年6月8日に共に出願された、「Stable,Sensitive Photodetectors and Image Sensors Made Therefrom Including Circuits for Enhanced Image Performance」と題する米国仮特許出願第61/352,409、並びに「Stable,Sensitive Photodetectors and Image Sensors Made Therefrom Including Process and Materials for Enhanced Image Performance」と題する米国仮特許出願第61/352,410に含まれ、これらの全体は参照により本明細書に組み込まれるものとする。
実施形態において、ジェスチャ認識の方法が提供され、方法は、少なくとも1つのカメラモジュールのそれぞれから得られる少なくとも2つの画像の経時的ストリームを取得することと、少なくとも1つの光センサのそれぞれから得られる少なくとも2つの信号の経時的ストリームを取得することと、少なくとも2つの画像及び少なくとも2つの信号をプロセッサへ伝達することと、を含み、プロセッサは、少なくとも2つの画像及び少なくとも2つの信号の組み合わせに基づいて、ジェスチャの意味及びタイミングの推定を生成するように構成されている。
実施形態において、少なくとも1つの光センサは、約450nm〜650nmの可視波長領域にわたって吸収度が約30%未満の光吸収材を含む。
実施形態において、光吸収材は、PBDTT−DPP、近赤外光感性ポリマーポリ(2,60−4,8−ビス(5−エチルヘキシルチエニル)ベンゾ−[1,2−b:3,4−b]ジチオフェン−alt−5−ジブチルオクチル−3,6−ビス(5−ブロモチオフェン−2−イル)ピロロ[3,4−c]ピロール−1,4−ジオン)を含む。
実施形態において、少なくとも1つの光センサは、赤外光を感知することができる光感知材を含む。
実施形態において、方法は、空間コード及び時間コードから選択される少なくとも1つのコードを使用して光源を変調することを含む。
実施形態において、光源は、約900nm〜約1000nmの範囲の発光波長を有する。
一実施形態において、カメラシステムは、中央撮像アレイ領域と、中央撮像アレイ領域の外側の少なくとも1つの光感知領域と、撮像モードと呼ばれる第1のモードと、感知モードと呼ばれる第2のモードとを含む。第2のモードで消費される電力は、第1のモードで消費される電力より少なくとも10倍低い。
実施形態において、少なくとも1つの光センサは、赤外光を感知することができる光感知材を含む。
実施形態において、光感知材に入射する光は、変調される。
実施形態において、光感知材に入射する光の一部は、約800nm〜約1000nmの範囲の発光波長を有する発光素子を使用して生成される。
実施形態において、中央撮像アレイは、少なくとも6百万画素を含む。
実施形態において、中央撮像アレイは、幅約2μm、高さ約2μmより小さい画素を含む。
一実施形態において、画像センサ回路は、第1の視野を有する中央撮像アレイ領域と、第2の視野を有する中央撮像アレイ領域の外側の少なくとも1つの光感知領域とを含む。第2の視野は、角度で視野を測定した場合、第1の視野の半分未満である。
一実施形態において、集積回路は、基板と、当該半導体基板の第1の領域を占有し、複数の感光性画素領域を含む画像感知アレイ領域と、画素領域ごとの画素回路とを含み、各画素回路は、電荷蓄積部及び読み出し回路と、画像感知アレイ領域の外側の感光性領域とを含む。画像感知アレイ領域は第1の視野を有し、感光性領域は第2の視野を有し、第2の視野の角度は、第1の視野の角度の半分未満である。
実施形態において、画像感知アレイ及び画像感知アレイ領域の外側の感光性領域のうちの少なくとも1つは、赤外光を感知することが可能な光感知材を含む。
実施形態において、画像感知アレイ及び画像感知アレイ領域の外側の感光性領域のうちの少なくとも1つに入射する光は、変調される。
実施形態において、画像感知アレイ、及び画像感知アレイ領域の外側の感光性領域のうちの少なくとも1つに入射する光の一部は、約800nm〜約1000nmの範囲の発光波長を有する発光素子を使用して生成される。
実施形態において、画像感知アレイは、少なくとも6百万画素を含む。
実施形態において、画像感知アレイは、幅約2μm、高さ約2μmより小さい画素を含む。
一実施形態において、画像センサは、周辺領域と通信して、画像を画素化して感知する中央撮像アレイ領域を含む。周辺領域は、画素化された光感知領域に対してバイアス、読み出し、アナログデジタル変換、及び信号調整を提供する回路を含む。感光性材が、周辺領域の上に積層する。
実施形態において、少なくとも1つの光センサは、赤外光を感知することができる光感知材を含む。
実施形態において、光感知材に入射する光は、変調される。
実施形態において、光感知材に入射する光の一部は、約800nm〜約1000nmの範囲の発光波長を有する発光素子を使用して生成される。
実施形態において、中央撮像アレイは、少なくとも6百万画素を含む。
実施形態において、中央撮像アレイは、幅約2μm、高さ約2μmより小さい画素を含む。
実施形態において、感光性材は、シリコン、コロイド量子ドットフィルム、及び半導体ポリマーの中から少なくとも1つの材料を含むように選択される。
実施形態において、感光性材は、第1の基板上に作られ、続いて中央撮像アレイ領域上に組み込まれる。
本明細書に提供される方法及び装置の様々な例示は、様々な実施形態の構造の一般的な理解を提供する意図があり、本明細書で説明される構造、特徴、及び材料を利用し得る装置及び方法の全ての要素及び特徴の完全な説明を提供する意図はない。
本明細書で開示される当方法及び他の方法に関して、様々な方法の一部を成す活動は、ある事例において、異なる順序で実施されてもよく、並びに繰り返されても、同時に実行されても、又はお互いに置き換えられてもよいことが、当業者には明らかであろう。更に、概説された行為、動作、及び装置は例としてのみ提供され、行為及び動作のうちのいくつかは任意であり、より少ない行為及び動作に組み合わされ、又は開示される実施形態の本質を損なうことなく追加の行為及び動作に拡張され得る。
したがって、本開示は、本出願にて説明される特定の実施形態に関して限定されるものではなく、様々な態様の例示として意図される。本開示を読み、理解することにより、当業者には明らかであるように、多数の変更及び変形を行うことが可能である。本明細書に列挙したものに加えて、本開示の範囲に入る機能的に同等な方法及び装置は、前述の説明から当業者には明らかであろう。いくつかの実施形態の部分及び特徴は、他の実施形態の一部及び特徴に含まれてもよく、又は他の実施形態の一部及び特徴と置き換えられてもよい。数多くの他の実施形態も、本明細書で提供される説明を読み、理解することにより、当業者には明らかであろう。このような変更及び変形は、添付の特許請求の範囲内に含まれることが意図される。本開示は、添付の特許請求の範囲及びそのような特許請求の範囲が権利を有する同等物の全範囲によってのみ限定される。本明細書で使用される用語は、特定の実施形態を説明することのみを目的とするものであって、限定することを意図するものではないことも理解されたい。
更に、前述の発明を実施するための形態において、本開示を簡素化する目的で、単一の実施形態に様々な特徴が一緒にグループ化されていることが理解されよう。本開示のこの方法は、請求項を限定するものとして解釈されるべきではない。したがって、以下の請求項は、発明を実施するための形態に組み込まれており、それぞれの請求項が、別個の実施形態として独立して存在する。
本発明の実施形態は、拡張現実及び/又は仮想現実を提供するシステムを含む。このようなシステムは、ユーザと環境との空間的及び配向的関係を捕らえる感覚体験をユーザに提供することができる。例えば、ユーザの環境に対するユーザの運動(並進運動及び/又は角運動)は、AR/VRシステムに入力することができ、ユーザに対し投影される画像の更新を可能にすることができ、これは、環境(実環境と仮想/拡張環境の両方)との新たな空間的関係を実質正確に反映する。
実施形態において、ユーザとは離れており、通常ユーザを撮像することができる少なくとも1つのカメラを使用して、ユーザの位置及び角度配向は、取得することができる。実施形態において、ユーザに合わせられるのは光源であり、例えば発光ダイオードが、ユーザに固定されたヘルメット、衣服、眼鏡などに貼り付けられ得る。実施形態において、当該光源は、可視波長、又は赤外線波長、又は紫外線波長、又は様々な組み合わせを放出し得る。第1のカメラは、第1の視点から、ユーザ及び関連する光源を撮像することができる。第2のカメラは、第2の視点から、ユーザを撮像することができる。当該少なくとも2つのカメラからの画像データは、単一のカメラを使用した場合と比べて、遠近、配向、及び距離/位置に関してより多くの情報又はより正確な情報を追加するような、単一のカメラと比較して拡張された情報を提供することができる。
実施形態において、当該少なくとも第1のカメラは、通常、ユーザから約5フィート〜100フィートの範囲内の距離にあり得る。
実施形態において、少なくとも第1のカメラは、少なくとも2百万画素、3百万画素、5百万画素、1千万画素、1千300マン画素、1千8百万画素、2千4百万画素、又は4千2百万画素以上を含むような、最高解像度のカメラであり得る。
実施形態において、カメラのうちの少なくとも1つを構成する画素アレイの変調伝達関数は、好適に小さい画素サイズを使用することにより、高い空間解像度を提供することができる。例えば、撮像システムからの光は、空間的変化を有する焦点面アレイ上に集束され得るため、第1の画素に入射する強度は、その近傍に入射する強度の約2倍となり、当該第1の画素により報告される信号は、当該近傍により報告される信号より少なくとも1.5倍高くなり得る。
実施形態において、AR/VRは、ユーザに繋がれたカメラ又は複数のカメラにより提供され得る。典型的には、当該カメラ間の距離、並びに互いに対するそれらの配向、及びユーザに対するそれらの配向が取得され、画像をユーザに提示する際に使用されるデータを提供する。実施形態において、シーンの照明は、ユーザ上に配置されていない光源によりもたらされてもよい。実施形態において、シーンの照明は、ユーザ上に配置された光源によりもたらされてもよい。必要とされる総電力、特にユーザにつながれたようなモバイルデバイスに求められる総電力を低減するシステム解決策を提供することが望ましい。カメラ、光源、総重量、総電力の数量、又はお互いに組み合わされた場合のこれらの数量及び他の考慮点を、最小化することが望ましくあり得る。
本明細書における発明の実施形態は、AR/VRシステムを含み、AR/VRシステムは、少なくとも1つのカメラと、少なくとも1つ1つの光源と、を備え、少なくとも1つの光源は、経時的に一連の照明パルスを提供し、少なくとも1つのカメラは、グローバル電子シャッタモードを有し、当該カメラのグローバル電子シャッタは、少なくとも1つの光源からの光の放出に同期される。
実施形態において、光源は、NIR光を放出する。
実施形態において、光源は、約940nmを中心とする光を、約+/−50nmの範囲で放出する。
実施形態において、光放出パルスの持続時間は、グローバルシャッタ「作動」期間の持続時間と実質的に同じである。
実施形態において、システム(少なくとも1つのカメラ及び少なくとも1つの光源を含む)の時間平均電力は、約1ワット未満である。
実施形態において、システム(少なくとも1つのカメラ及び少なくとも1つの光源を含む)の時間平均電力は、約100mW未満である。
実施形態において、システム(少なくとも1つのカメラ及び少なくとも1つの光源を含む)の時間平均電力は、約10mW未満である。
実施形態において、システム(少なくとも1つのカメラ及び少なくとも1つの光源を含む)の時間平均電力は、約1mW未満である。
実施形態において、光源の瞬時電力は、光源の時間平均電力の少なくとも約10倍である。
実施形態において、少なくとも2つのカメラが設けられ、当該少なくとも2つのカメラから取得される情報により、ユーザに立体画像を提示することが可能となる。2つのカメラは、実質的に同時に情報を取り込むために、同期されたシャッタを有し得る。
実施形態は、シーンの照明において構造化光を使用することを含む。例示的な実施形態において、照明は空間的に不均一であり、その空間プロファイルは照明器により規定され、画像を評価し、AR/VR拡張現実に入力を与えるために使用されるコンピュータプロセッサへ、空間プロファイルは伝えられる。
実施形態において、システムは、ユーザの少なくとも1つの眼を撮像するように方向づけられたカメラを含み得る。実施形態において、システムは、視線追跡を提供する。実施形態において、システムは、眼球運動追跡を提供する。実施形態において、システムは、基準点などの登録点に対する瞳孔の空間的位置の追跡を提供する。
文脈が明らかに他の意味を要求しない限り、説明及び請求項を通して、「comprise(含む/備える)」、「comprising(含む/備える)」などの英単語は、排他的又は網羅的な意味とは反対の包括的な意味で、すなわち「含むが、これに限定されない」という意味で、解釈されるべきである。単数又は複数の数字を使用する単語は、複数又は単数の数字もそれぞれ含む。更に、単語「herein(本明細書にて)」、「hereunder(本明細書の下)」、「above(上記)」、「below(下記)」、及び類似の意味の単語は、本明細書で使用される場合、本出願全体を指し、本出願の任意の特定の部分を指すものではない。2つ以上の項目のリストを参照する際に単語「or(又は)」が使用される場合、この単語は、リスト内の項目のいずれか、リスト内の項目の全て、及びリスト内の項目の任意の組み合わせ、以上の単語の解釈を全て含む。
実施形態の上記の説明は、網羅的であること、又はシステム及び方法を開示された厳密な形態に限定することを、意図するものではない。実施形態の具体的実施形態及び実施例が、説明の目的で本明細書に記載されるが、当業者には認識されるように、システム及び方法の範囲内で、様々な同等の変更が可能である。本明細書にて提供される実施形態の教示は、前述のシステム及び方法だけでなく、他のシステム及び方法にも適用することができる。
前述の様々な実施形態の要素及び行為は、さらなる実施形態を提供するために組み合わされてもよい。これら及び他の変更は、上記の詳細な説明に照らして、実施形態に行ってもよい。