JP2019533383A - フラックスレートユニットセル焦点面アレイ - Google Patents

フラックスレートユニットセル焦点面アレイ Download PDF

Info

Publication number
JP2019533383A
JP2019533383A JP2019522463A JP2019522463A JP2019533383A JP 2019533383 A JP2019533383 A JP 2019533383A JP 2019522463 A JP2019522463 A JP 2019522463A JP 2019522463 A JP2019522463 A JP 2019522463A JP 2019533383 A JP2019533383 A JP 2019533383A
Authority
JP
Japan
Prior art keywords
register
counter
integration
capacitor
unit cell
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019522463A
Other languages
English (en)
Other versions
JP6734478B2 (ja
Inventor
ジョナス，マシュー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Raytheon Co
Original Assignee
Raytheon Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Raytheon Co filed Critical Raytheon Co
Publication of JP2019533383A publication Critical patent/JP2019533383A/ja
Application granted granted Critical
Publication of JP6734478B2 publication Critical patent/JP6734478B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/59—Control of the dynamic range by controlling the amount of charge storable in the pixel, e.g. modification of the charge conversion ratio of the floating node capacitance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

一態様に従って、本願の実施形態は、光検出器と、第１積分キャパシタと、積分期間中に光検出器から受け取られる光電流に対応する電荷を第１積分キャパシタで保持するよう構成される第１入力回路と、第１積分キャパシタへ結合され、第１積分キャパシタに係る第１積分電圧を第１閾基準電圧と比較するよう構成される第１コンパレータと、第１コンパレータへ結合されるレジスタと、レジスタへ結合され、積分期間にわたってカウンタ値を繰り返しインクリメントするよう構成されるカウンタとを有し、第１積分電圧が第１閾基準電圧に対して一定のレベルにあると決定することに応答して、第１コンパレータが、カウンタのカウンタ値をラッチするようにレジスタを制御するよう構成される第１出力信号を出力するよう更に構成される、ユニットセル回路を提供する。

Description

デジタルカメラ、ビデオカメラ、あるいは、他の写真及び／又は画像捕捉装置のような、多種多様な画像捕捉デバイスがある。それらの画像捕捉デバイスは、所望のシーンから画像を捕捉するために画像センサを使用し得る。例えば、画像センサは、レンズを介して光を受けるユニットセルのアレイ（すなわち、焦点面アレイ）を含んでよい。受け取られた光は、アレイ内の各ユニットセルに、その位置での光の強さに比例した電荷を蓄積させる。
焦点面アレイ（ＦＰＡ）は、一般に、行及び列で編成された検出器又はユニットセル（すなわち、ピクセル）の２次元アレイを含む。ＦＰＡの各ユニットセル内の回路は、ＦＰＡの視野（ＦＯＶ）内のシーン又はオブジェクトの画像を生成するよう、そのユニットセル内の光検出器での入射フラックス放射に対応する電荷を蓄積する。例えば、電荷は容量素子で蓄積され、容量素子は電荷を積分し、積分電圧を生成する。積分電圧は、積分期間（又は積分インターバル、又は積分時間）と呼ばれる所与の期間にわたる放射フラックスの強さに対応する。結果として現れる電圧は、追加の回路によってＦＰＡの出力部へ運ばれ、次いで、光学的放射を発したシーンの画像を構成するために使用され得る。いくつかの場合に、そのような電圧又は電荷は、ＦＰＡの回路によってデジタル化され得、ＦＰＡの各ユニットセルごとに１つの値であるデジタル値のアレイをもたらす。然るに、いくつかの場合に、ＦＰＡは、フラックスの２次元パターンをデジタル値の２次元アレイに変換して、デジタル画像を得るために使用されてよい。
ＦＰＡにおける各ユニットセルは、一般に、所望のシーンの最終的な画像におけるピクチャ要素又はピクセルに対応する。ピクセルは、デジタル画像の最小部分と見なされる。デジタル画像は、一般に、ピクセルのアレイから構成される。画像捕捉デバイスへ結合された回路は、各ユニットセルからの蓄積電荷をピクセル情報に変換するよう、光捕捉後の処理ステップを実行してよい。この情報は、デジタル画像記憶又は表示フォーマットが必要とし得る不均一性補正、色、彩度、輝度、又は他の情報を含んでよい。デジタル画像は、．ＪＰＥＧ、．ＧＩＦ、．ＴＩＦＦ、又はあらゆる他の適切なフォーマットのようなフォーマットで記憶されてよい。デジタル画像は、ＳＭＰＴＥ−２６２、ＳＭＰＴＥ−４２４、Ｃａｍｅｒａ Ｌｉｎｋ、ＣｏａＸＰｒｅｓｓ、Ｅｔｈｅｒｎｅｔ（登録商標）、ＨＤＭＩ（登録商標）、又はあらゆる他の適切なフォーマットのようなフォーマットで転送されてよい。
本明細書で説明される態様及び実施形態は、改善された高ダイナミック強度レンジのイメージングシステム、ＦＰＡ、及びイメージングシステムユニットセル回路を提供する。特に、従来のアプローチによって提案されているように一定の積分期間にフラックスを積分することよりむしろ、本明細書で説明されるイメージングシステム、ＦＰＡ、及びイメージングシステムユニットセルの様々な態様及び実施形態は、可変な量の時間に一定量のフラックスを積分するよう構成される。より具体的には、本明細書で記載されるフラックスレートユニットセルは、カウンタが動作している（例えば、インクリメントしている）間、比較的に小さいサイズの積分キャパシタにおいてフラックスを積分する。積分キャパシタにおける電荷が所望の閾レベルに達する場合に、カウンタの値はレジスタにラッチされる。ピクセルの時間に基づくレジスタ値は、ユニットセルの積分されたフラックス値をシステム内の他のユニットセルに対して推定するために、共通時間値（例えば、積分キャパシタを満たす推定される時間）に正規化され得る。画像プロセッサは、次いで、イメージングシステム内の各ユニットセルからの正規化された値に基づき、デジタル画像を生成することができる。
一定の期間にわたって蓄積された電荷の量をモニタするのではなく、比較的に小さい積分キャパシタを閾レベルに充電するのに必要な時間をモニタすることによって、マルチビット・アナログ−デジタル変換器及び大規模な積分キャパシタに対する依存性は、高ダイナミックレンジのユニットセルを依然として提供しながら、取り除かれ得る。その上、上述されたように、時間に基づくフラックスユニットセルを利用することによって、デジタルピクセル回路において一般に使用されている正確な電荷ダンプ回路（precision charge dump circuit）の必要性は取り除かれ得、ユニットセルの電力要件は、従来のユニットセルアプローチに対して低減され得、時間値の非同期ラッチングは、従来のユニットセルアプローチで通常見られる広域電流スパイクを低減し得る。
態様に従って、光学的放射を受けることに応答して光電流を生成するよう構成される光検出器と、第１積分キャパシタと、前記光検出器へ及び前記第１積分キャパシタへ結合され、積分期間中に前記光検出器から受け取られる前記光電流に対応する電荷を前記第１積分キャパシタで保持するよう構成される第１入力回路と、前記第１積分キャパシタへ結合され、該第１積分キャパシタにかかる第１積分電圧を第１閾基準電圧と比較するよう構成される第１コンパレータと、前記第１コンパレータへ結合されるレジスタと、前記レジスタへ結合され、前記積分期間にわたってカウンタ値を繰り返しインクリメントするよう構成されるカウンタとを有し、前記第１積分電圧が前記第１閾基準電圧に対して一定のレベルにあると決定することに応答して、前記第１コンパレータは、前記カウンタの前記カウンタ値をラッチするように前記レジスタを制御するよう構成される第１出力信号を出力するよう更に構成される、イメージングシステムユニットセル回路が本明細書において提供される。
１つの実施形態に従って、前記第１入力回路は、前記積分期間中に前記光検出器から受け取られる前記光電流に対応する電荷を前記第１積分キャパシタで蓄積するよう更に構成され、前記第１積分電圧が前記第１閾基準電圧よりも大きいと決定することに応答して、前記第１コンパレータは、前記第１出力信号を出力するよう更に構成され、前記第１出力信号を受信することに応答して、前記レジスタは、前記カウンタの前記カウンタ値をラッチするよう構成される。１つの実施形態において、当該イメージングシステムユニットセル回路は、前記レジスタへ結合される画像処理ユニットを更に有し、前記画像処理ユニットは、前記レジスタから前記ラッチされたカウンタ値を読み出し、前記ラッチされたカウンタ値を共通時間値に正規化し、前記正規化されたカウンタ値に少なくとも部分的に基づきデジタル画像を生成するよう構成される。
他の実施形態に従って、前記第１入力回路は、前記積分期間中に前記光検出器から受け取られる前記光電流に対応する電荷の量を前記第１積分キャパシタから取り除くよう更に構成され、前記第１積分電圧が前記第１閾基準電圧よりも小さいと決定することに応答して、前記第１コンパレータは、前記第１出力信号を出力するよう更に構成され、前記第１出力信号を受信することに応答して、前記レジスタは、前記カウンタの前記カウンタ値をラッチするよう構成される。
１つの実施形態に従って、当該イメージングシステムユニットセル回路は、第２積分キャパシタと、前記光検出器へ及び前記第２積分キャパシタへ結合され、前記積分期間中に前記光検出器から受け取られる前記光電流に対応する電荷を前記第２積分キャパシタで保持するよう構成される第２入力回路とを更に有する。１つの実施形態において、当該イメージングシステムユニットセル回路は、前記第２積分キャパシタへ結合され、該第２積分キャパシタにかかる第２積分電圧を第２閾基準電圧と比較するよう構成される第２コンパレータを更に有し、前記第２積分電圧が前記第２閾基準電圧に対して一定のレベルにあると決定することに応答して、前記第２コンパレータは、前記カウンタの前記カウンタ値をラッチするように前記レジスタを制御するよう構成される第２出力信号を出力するよう更に構成される。他の実施形態において、当該イメージングシステムユニットセル回路は、ＯＲゲートを更に有し、前記第１コンパレータは、前記ＯＲゲートへ結合される第１出力部を含み、前記第２コンパレータは、前記ＯＲゲートへ結合される第２出力部を含み、前記ＯＲゲートは、前記第１出力信号及び前記第２出力信号のうちの少なくとも一方を受信するよう、かつ、前記第１出力信号及び前記第２出力信号のうちの少なくとも一方を受信することに応答して前記カウンタの前記カウンタ値をラッチするように前記レジスタを制御するよう構成される。
他の実施形態に従って、当該イメージングシステムユニットセル回路は、前記第１積分キャパシタと前記第１コンパレータとの間に結合される第１スイッチと、前記第２積分キャパシタと前記第１コンパレータとの間に結合される第２スイッチと、前記第１スイッチへ及び前記第２スイッチへ結合され、前記第１キャパシタを前記第１コンパレータへ選択的に結合する第１動作モードにおいて前記第１スイッチを閉じるように動作させ、前記第２キャパシタを前記第１コンパレータへ選択的に結合する第２動作モードにおいて前記第２スイッチを閉じるように動作させるよう構成されるコントローラとを更に有し、前記第１動作モードの間、前記第１コンパレータは、前記第１積分キャパシタにかかる前記第１積分電圧を前記第１閾基準電圧と比較し、前記第１積分電圧が前記第１閾基準電圧に対して前記一定のレベルにあると決定することに応答して、前記第１出力信号を出力するよう構成され、前記第２動作モードの間、前記第１コンパレータは、前記第２積分キャパシタにかかる第２積分電圧を前記第１閾基準電圧と比較し、前記第２積分電圧が前記第１閾基準電圧に対して前記一定のレベルにあると決定することに応答して、前記カウンタの前記カウンタ値をラッチするように前記ラッチを制御するよう構成される第２出力信号を出力するよう構成される。
１つの実施形態に従って、当該イメージングシステムユニットセル回路は、前記第１積分キャパシタにわたって結合されるスイッチを更に有し、前記積分期間の開始時にコントローラから第１リセット信号を受信することに応答して、前記スイッチは、前記第１積分キャパシタが接地に放電するように、前記第１積分キャパシタを接地へ選択的に結合するよう構成される。１つの実施形態において、前記カウンタは、前記積分期間の前記開始時に前記コントローラから第２リセット信号を受信するよう更に構成され、前記第２リセット信号を受信することに応答して、前記カウンタは、前記カウンタ値をリセットするよう構成される。他の実施形態において、前記レジスタは、前記積分期間の前記開始時に前記コントローラから第３リセット信号を受信するよう構成され、前記第３リセット信号を受信することに応答して、前記レジスタは、該レジスタをクリアするよう構成される。
本明細書で説明される他の態様は、画像を検出する方法であって、光検出器により、該光検出器で光学的放射を受けることに応答して光電流を生成することと、前記光検出器へ結合される第１入力回路により、積分期間中に前記光検出器から受け取られる前記光電流に対応する電荷を第１積分キャパシタで保持することと、前記第１積分キャパシタにかかる第１積分電圧を第１閾基準電圧と比較することと、前記積分期間にわたってカウンタのカウンタ値を繰り返しインクリメントすることと、前記第１積分電圧が前記第１閾基準電圧に対して一定のレベルにあると決定することに応答して、前記カウンタの前記カウンタ値をラッチするようにレジスタを動作させるよう第１出力信号を前記レジスタへ供給することとを有する方法を提供する。
１つの実施形態に従って、電荷を前記第１積分キャパシタで保持することは、前記積分期間中に前記光検出器から受け取られる前記光電流に対応する電荷を前記第１積分キャパシタで蓄積することを含み、前記カウンタの前記カウンタ値をラッチするように前記レジスタを動作させるよう前記第１出力信号を前記レジスタへ供給することは、前記第１積分電圧が前記第１閾基準電圧よりも大きいと決定することに応答して、前記カウンタの前記カウンタ値をラッチするように前記レジスタを動作させることを含む。１つの実施形態において、電荷を前記第１積分キャパシタで保持することは、前記積分期間中に前記光検出器から受け取られる前記光電流に対応する電荷の量を前記第１積分キャパシタから取り除くことを含み、前記カウンタの前記カウンタ値をラッチするように前記レジスタを動作させるよう前記第１出力信号を前記レジスタへ供給することは、前記第１積分電圧が前記第１閾基準電圧よりも小さいと決定することに応答して、前記カウンタの前記カウンタ値をラッチするように前記レジスタを動作させることを含む。
他の実施形態に従って、当該方法は、前記レジスタから前記ラッチされたカウンタ値を読み出すことと、前記ラッチされたカウンタ値を共通時間値に正規化することと、前記正規化されたカウンタ値に少なくとも部分的に基づきデジタル画像を生成することとを更に有する。１つの実施形態において、当該方法は、前記積分期間の開始時に少なくとも１つのリセット信号を受信することと、前記積分期間の前記開始時に前記少なくとも１つのリセット信号を受信することに応答して、前記第１積分キャパシタが接地に放電するように前記第１積分キャパシタを接地へ選択的に結合し、前記カウンタ値をリセットし、前記レジスタをクリアすることとを更に有する。他の実施形態において、当該方法は、前記光検出器へ結合される第２入力回路により、前記積分期間中に前記光検出器から受け取られる前記光電流に対応する電荷を第２積分キャパシタで保持することと、前記第２積分キャパシタにかかる第２積分電圧を第２閾基準電圧と比較することと、前記第２積分電圧が前記第２閾基準電圧に対して一定のレベルにあると決定することに応答して、前記カウンタの前記カウンタ値をラッチするように前記レジスタを動作させるよう第２出力信号を前記レジスタへ供給することとを更に有する。
本明細書で説明される少なくとも１つの態様は、複数のユニットセルを含む焦点面アレイであり、前記複数のユニットセルの各ユニットセルが、光学的放射を受けることに応答して光電流を生成するよう構成される光検出器と、積分キャパシタと、前記光検出器へ及び前記積分キャパシタへ結合され、積分期間中に前記光検出器から受け取られる前記光電流に対応する電荷を前記積分キャパシタで保持するよう構成される入力回路と、前記積分キャパシタへ結合され、該積分キャパシタにかかる積分電圧を閾基準電圧と比較するよう構成されるコンパレータとを有する、前記焦点面アレイと、夫々のレジスタが、前記複数のユニットセルのうちの１つのユニットセルの前記コンパレータへ結合される、複数のレジスタと、前記複数のユニットセルの各ユニットセルの前記レジスタへ結合され、前記積分期間にわたってカウンタ値を繰り返しインクリメントするよう構成されるカウンタと、前記複数のユニットセルの各ユニットセルの前記レジスタへ結合される画像処理ユニットとを有し、前記積分電圧が前記閾基準電圧に対して一定のレベルにあると決定することに応答して、各コンパレータは、前記カウンタの前記カウンタ値をラッチするように対応するレジスタを制御するよう構成される出力信号を出力するよう更に構成され、前記画像処理ユニットは、前記複数のユニットセルの各ユニットセルの前記レジスタから前記ラッチされたカウンタ値を読み出し、夫々の読み出されたラッチされたカウンタ値を共通時間値に正規化し、該正規化されたカウンタ値の夫々に基づきデジタル画像を生成するよう構成される、イメージングシステムを提供する。
１つの実施形態に従って、各入力回路は、前記積分期間中に対応する光検出器から受け取られる前記光電流に対応する電荷を対応する積分キャパシタで蓄積するよう更に構成され、対応する積分電圧が対応する閾基準電圧よりも大きいと決定することに応答して、各コンパレータは、前記出力信号を出力するよう更に構成され、前記出力信号を受信することに応答して、各レジスタは、前記カウンタの前記カウンタ値をラッチするよう構成される。
他の実施形態に従って、各入力回路は、前記積分期間中に対応する光検出器から受け取られる前記光電流に対応する電荷の量を対応する積分キャパシタから取り除くよう更に構成され、対応する積分電圧が対応する閾基準電圧よりも小さいと決定することに応答して、各コンパレータは、前記出力信号を出力するよう更に構成され、前記出力信号を受信することに応答して、各レジスタは、前記カウンタの前記カウンタ値をラッチするよう構成される。
更なる他の態様、実施形態、並びにそれらの例となる態様及び実施形態の利点は、以下で詳細に説明される。本明細書で開示される実施形態は、本明細書で開示される原理の少なくとも１つと整合する如何なる方法でも他の実施形態と組み合わされてよく、「実施形態」、「いくつかの実施形態」、「代替の実施形態」、「様々な実施形態」、「１つの実施形態」、等への言及は、必ずしも相互排他的ではなく、記載される特定の特徴、構造、又は特性が少なくとも１つの実施形態に含まれ得ることを示すよう意図される。本明細書中のそのような語の出現は、必ずしも全てが同じ実施形態に言及しているわけではない。本明細書で記載される様々な態様及び実施形態は、記載される方法又は機能のいずれかを実行するための手段を含んでよい。
少なくとも１つの実施形態の様々な態様は、添付の図面を参照して以下で説明される。図面は、実寸通りであるよう意図されない。図は、実例並びに様々な態様及び実施形態の更なる理解を提供するために含まれており、本明細書の部分に組み込まれてそれを構成するが、本発明の制限の定義として意図されない。図中、様々な図で説明される夫々の同じ又は略同じ構成要素は、同じ番号によって表される。明りょうさのために、あらゆる構成要素があらゆる図で符号を付されなくてもよい。
本発明の態様に従う画像捕捉デバイスを表すブロック図である。 本発明の態様に従うユニットセル及び支援外部回路の一例の概略図である。 本発明の態様に従って、正方向に傾いている、積分キャパシタにかかる電圧を表すグラフである。 本発明の態様に従って、正に傾いている電圧に基づき動作する積分回路の一実施形態の概略図である。 本発明の態様に従って、正に傾いている電圧に基づき動作する積分回路の他の実施形態の概略図である。 本発明の態様に従って、負方向に傾いている、積分キャパシタにかかる電圧を表すグラフである。 本発明の態様に従って、負に傾いている電圧に基づき動作する積分回路の一実施形態の概略図である。 本発明の態様に従って、負に傾いている電圧に基づき動作する積分回路の他の実施形態の概略図である。 本発明の態様に従って、複数の入力回路の論理組み合わせを可能にするユニットセル回路において並列に連結された複数の積分回路の概略図である。 本発明の態様に従って、複数の入力回路の選択を可能にするユニットセル回路において並列に連結された複数の積分回路の他の実施形態の概略図である。
上述されたように、典型的なユニットセル回路は、衝突する光学的放射のフラックスに対応する電荷を蓄積する。旧来のアナログユニットセルでは、ウェルキャパシタが検出器ダイオードへ結合される。ウェルキャパシタは、積分インターバル（例えば、１０μｓ）にわたって検出器ダイオードからの光電流を積分する。フレームごとに一度、ウェルキャパシタ上の電圧はサンプル・アンド・ホールドキャパシタに転送され、次いで、ラインごとに、アナログ−デジタル変換器（ＡＤＣ）へ送出される。ＡＤＣは、電圧をバイナリ値に変換する。しかし、望まれるユニットセルサイズが小さくなるにつれて、電荷の有効な量を保持するウェルキャパシタの能力は落ちている。
より具体的には、従来のＦＰＡアナログユニットは、通常、光学的放射の強さが大きくなりすぎる場合に飽和する。例えば、これは、閃光状態（glint conditions）（例えば、可視光が自動車に反射する、又は高温排気（hot exhaust））が起こる場合に現れ得る。実際に、多くの従来のＦＰＡユニットセルは、ユニットセルのパラメータ（容量素子のサイズ）によって制限された閾値に強さが達する場合に、好ましくなく飽和する。これは、画像データの量、及び受け取られる光学的放射から取り出され得るダイナミックレンジを制限する。
旧来の“デジタル”ユニットセルは、蓄積された電荷のアナログ−デジタル変換を提供する。ユニットセル内のアナログ−デジタル変換イメージングは、ユニットセルの望まれるサイズが縮小し続ける（例えば、１５ミクロン）場合でさえ、改善された光電荷容量を提供する。例えば、旧来のデジタルユニットセル設計は、量子化アナログフロントエンド回路を含み、この回路は、比較的に小さい積分キャパシタにわたって電荷を蓄積し、閾電荷がキャパシタに蓄えられるたびにリセット（例えば、放電）される。充電及びリセットのパターンは、より多くの光電流が積分するにつれて繰り返される。夫々のリセット事象は、デジタルカウンタ回路により累積（すなわち、カウント）される。フレームごとに、大域的スナップショットが、デジタルカウンタコンテンツをスナップショットレジスタにコピーし、次いで、スナップショットレジスタをラインごとに読み出すことによって、取得される。その効果は、比較的に小さいユニットセルサイズを保ちながら、イメージャのウェル容量を指数関数的に増大させることである。
しかし、そのようなデジタルユニットセルにおいて、積分キャパシタにおける蓄積電荷の非同期／同期リセットは、高い精度を必要とし、デジタルユニットセルにおいて比較的に高い電流スパイクをもたらし得る。その上、デジタルユニットセルの積分キャパシタがリセットされている間、デジタルユニットセルは、通常は、追加の電荷を蓄積せず、デジタルユニットセルに入射する光学的放射の如何なるフラックスも、通常、積分されない。また、デジタルユニットセルにおいて、残留電荷のための任意のデジタル化回路、及び高速な高分解能アナログ−デジタル変換器は、比較的に大量の電力を利用する。最後に、積分キャパシタを含むデジタルピクセル回路全体をユニットセル内に収めることは、困難であり得る。
然るに、本明細書で説明される様々な態様及び実施形態は、改善された高ダイナミック強度レンジのイメージングシステム、ＦＰＡ、及びイメージングシステムユニットセル回路を提供する。特に、従来のアプローチによって提案されているように一定の積分期間にフラックスを積分することよりむしろ、本明細書で説明されるイメージングシステム、ＦＰＡ、及びイメージングシステムユニットセルの様々な態様及び実施形態は、可変な量の時間に一定量のフラックスを積分するよう構成される。より具体的には、本明細書で記載されるフラックスレートユニットセルは、カウンタが動作している（例えば、インクリメントしている）間、比較的に小さいサイズの積分キャパシタにおいてフラックスを積分する。積分キャパシタにおける電荷が所望の閾レベルに達する場合に、カウンタの値はレジスタにラッチされる。ピクセルの時間に基づくレジスタ値は、ユニットセルの積分されたフラックス値をシステム内の他のユニットセルに対して推定するために、共通時間値（例えば、積分キャパシタを満たす推定される時間）に正規化され得る。システム内の各ユニットセル回路からの正規化された値は、次いで、システムのＦＯＶの画像を生成するために画像プロセッサによって利用され得る。
一定の期間にわたって蓄積された電荷の量をモニタするのではなく、比較的に小さい積分キャパシタを閾レベルに充電するのに必要な時間をモニタすることによって、マルチビット・アナログ−デジタル変換器及び大規模な積分キャパシタに対する依存性は、高ダイナミックレンジのユニットセルを依然として提供しながら、取り除かれ得る。その上、上述されたように、時間に基づくフラックスユニットセルを利用することによって、正確な電荷ダンプ回路の必要性は取り除かれ得、ユニットセルの電力要件は、従来のユニットセルアプローチに対して低減され得、非同期ラッチは、従来のユニットセルアプローチで通常見られる広域電流スパイクを低減し得る。
当然ながら、本明細書で説明される方法及び装置の実施形態は、以下の説明で示されるか又は添付の図面に表される構成の詳細及び構成要素の配置への適用において制限されない。方法及び装置は、他の実施形態における実施、及び様々な方法で実施又は実行されること、が可能である。具体的な実施の例は、もっぱら説明のために本明細書中で与えられ、制限であることは意図されない。また、本明細書で使用される表現及び用語は、記載のためであり、制限と見なされるべきではない。「〜を含む」（including）、「〜を有する」（〜comprising）、「〜を具備する」（having）、「〜を包含する」（containing）、「〜を伴う」（involving）、及びそれらの変形の本明細書中の使用は、その前に記載されているアイテム及びそれらの同等物並びに更なるアイテムを網羅するよう意図される。「又は」（or）への言及は、「又は」を用いて記載される如何なる項目も、記載されている項目の１つ、１つよりも多く、及び全てのいずれかを示し得るように、包括的に解釈され得る。前及び後ろ、左及び右、上及び下、上位及び下位、並びに垂直及び水平への言及は、記載の便宜のためであり、本システム及び方法又はそれらの構成要素をいずれか１つの位置又は空間的配置に制限するよう意図されない。
図１は、本明細書で記載される態様に従って、画像を捕捉するために使用され得る画像捕捉デバイス１０を表すブロック図である。例えば、デバイス１０は、デジタルカメラ、ビデオカメラ、赤外線カメラ、あるいは、他の写真及び／又は画像捕捉装置であってよい。画像捕捉デバイス１０は、画像センサ１２０及び画像処理ユニット１０６を有する。画像センサ１２０は、画像を捕捉することができるアクティブピクセルセンサ（ＡＰＳ）又は他の適切な光検知デバイスであってよい。画像処理ユニット１０６は、画像センサ１２０から信号情報を受け、信号情報をデジタル画像に変換するよう動作可能であるハードウェア、ソフトウェア、及び／又はファームウェアの組み合わせであってよい。
画像センサ１２０は、ユニットセル１６０のアレイ１７０を含む。アレイ１７０は、ユニットセル１６０をいくつでも含むことができる。アレイ１７０内の各ユニットセル１６０は、視野内のその位置での光強度に比例した電荷を蓄積し、その位置での光の強さの指示を画像処理ユニット１０６へ供給する。各ユニットセル１６０は、捕捉された電子画像におけるピクセルに対応し得る。
画像捕捉デバイス１０を使用した画像捕捉のための特定の方法は、リップル捕捉動作、リップル読み出し動作、及びリップルリセット動作を伴ってよい。リップル捕捉動作は、画像センサ１２０からのユニットセル１６０の各行を順に光に晒す。例えば、リップル捕捉動作は、画像センサ１２０のユニットセル１６０の一番の上の行を、続いて２番目の行を、続いて３番の行を、以降、画像センサ１２０のユニットセル１６０の最後の行が光に晒されるまで、光に晒してよい。リップル読み出し動作は、画像センサ１２０からのユニットセル１６０の各行によって捕捉された光を順に処理する。リップル捕捉と同様に、リップル読み出しは、画像センサ１２０のユニットセル１６０の一番上の行を、続いてに２番目の行を、続いて３番目の行を、以降、画像センサ１２０のユニットセル１６０の最後の行が処理されるまで、処理してよい。画像センサ１２０のユニットセル１６０の行をリセットするリップルリセット動作は、同様にして実行されてよい。
リップル捕捉動作、リップル読み出し動作、及びリップルリセット動作は、通常、連続する行に対して実行される。例えば、リップル捕捉動作は、セル１６０の最初の行から開始してよい。リップル捕捉動作が２番目の行に移ると、リップル読み出し動作はセル１６０の最初の行から開始してよい。リップル捕捉動作が３番目の行へ移った後、リップル読み出し動作は２番目の行に対して開始してよく、リップルリセット動作は最初の行に対して開始してよい。これは、最後の行が処理されるまで続いてよい。最後の行が処理されると、画像は画像処理ユニット１０６によって処理、記憶、及び／又は送信されてよい。
上述されたように、リップルに基づく動作は、画像捕捉デバイス１０を使用した画像の捕捉について先に記載されているが、他の実施形態では、画像捕捉デバイス１０は、異なる画像捕捉方法を利用してよい。例えば、少なくとも１つの実施形態では、画像捕捉デバイスは、デバイス１０内の全てのセル１６０が同時にフラックスを積分するよう構成されるところの、スナップショットに基づく方法を利用する。
図２は、本発明の態様に従うユニットセル回路２００の一例の概略図である。ユニットセル回路２００の少なくとも一部は、図１のユニットセル１６０の少なくとも１つに含まれる。ユニットセル回路２００は、光検出器２０２、積分回路２０４、カウンタ２０６、レジスタ２０８、及び出力部２１０を含む。１つの実施形態において、積分回路２０４は、入力回路２１２、積分キャパシタ２１４、コンパレータ２１６、及びスイッチ２１８を含む。
フォトダイオード２０５が入力回路２１２の入力部へ結合されている。入力回路２１２の出力部は、スイッチ２１８の第１端子、積分キャパシタ２１４の第１の側、及びコンパレータ２１６の第１端子へ結合されている。スイッチ２１８の第２端子及び積分キャパシタ２１４の第２の側は、接地２１５へ結合されている。コンパレータ２１６の第２の端子は、閾電圧基準２２０へ結合されている。コンパレータ２１６の出力部は、レジスタ２０８の入力部へ結合されている。レジスタ２０８の出力部は、画像処理ユニット（例えば、図１に示される画像処理ユニット１０６）へ結合されるよう構成される。カウンタ２０６は、クロック２０７へ及びレジスタ２０８の制御入力部へ結合されるよう構成される。
様々な実施形態において、光検出器２０２は、撮像される画像から所与の波長の光学的放射を受け、対応する光電流を生成するよう構成される。光検出器２０２によって受け取られる光学的放射のフラックスレベルが増大するにつれて、光検出器２０２によって生成される光電流は比例的に増大する。特定の実施形態では、光検出器２０２は、所望の波長の光学的放射に反応するよう選択された如何なる検出器も含んでよい。少なくとも１つの例で、光学的放射は、可視光、赤外線放射、及び／又は紫外線放射を含む。例えば、光検出器２０２は、０．３ミクロンから２．５ミクロン以上の範囲に及ぶ光の波長を受けることに応答して光電流を生成するよう構成されるフォトダイオード２０５を含んでよい。
ユニットセル回路２００の各積分期間の開始時に、コントローラからの第１リセット信号（Ｒｅｓｅｔａ）２２２が、キャパシタ２１４が放電されるように積分キャパシタ２１４を接地２１５へ結合するべくスイッチ２１８へ供給され、コントローラからの第２リセット信号（Ｒｅｓｅｔｂ）２２４が、カウンタ２０６をリセットすべくカウンタ２０６へ供給され、コントローラからの第３リセット信号（Ｒｅｓｅｔｃ）２２６が、レジスタ２０８をクリアすべくレジスタ２０８へ供給される。リセット信号２２２、２２４、２２６が印加された後、それらはその後に取り除かれ、それにより、積分キャパシタ２１４はもはや接地に放電せず（充電を蓄積することができ）、カウンタ２０６はそのカウンタ値を繰り返しインクリメントし始め、レジスタ２０８は、そうするよう制御される場合に、ラッチされた値を保持することが可能になる。１つの実施形態において、画像処理ユニット１０６がリセット信号２２２、２２４、２２６を供給する。しかし、他の実施形態では、リセット信号２２２、２２４、２２６は、任意の数の異なるコントローラによって供給されてもよい。１つの実施形態に従って、リセット信号２２２、２２４、２２６は同期している。
リセット信号２２２、２２４、２２６が取り除かれた後、光検出器２０２は、撮像されているシーンから光検出器２０２に入射する光学的放射に応答して光電流を生成することができる。光電流に対応する充電又は放電のレベル、特に、光検出器２０２によって受け取られる光学的放射のフラックスレベル（すなわち、強さ／輝度）は、入力回路２１２によって積分キャパシタ２１４で保持される。１つの実施形態に従って、入力回路２１２は、光検出器２０２の出力を受けてユニットセル回路２００内の使用可能な積分電圧に増幅する容量性トランスインピーダンス増幅器（ＣＴＩＡ）である。他の実施形態では、入力回路２１２は、他の適切なタイプのユニットセル入力回路、例えば、直接注入（direct injection）（ＤＩ）回路、ソースフォロワ・パー・ディテクタ（source follower per detector）（ＳＦＤ）回路、又はフィードバック・エンハンス直接注入（feedback enhance direct injection）（ＦＥＤＩ）回路であることができる。
少なくとも１つの実施形態に従って、入力回路２１２は、光電流に対応する電荷を積分キャパシタ２１４で保持する。電荷が積分キャパシタ２１４で蓄積するか又はそれから取り除かれる場合に、積分キャパシタ２１４にかかる電圧は増大又は低下する。コンパレータ２１６は、積分キャパシタ２１４にかかる電圧を閾電圧基準２２０と比較し、積分キャパシタ２１４にかかる電圧と閾電圧基準２２０との間の関係に基づき信号を出力する。例えば、電荷が積分キャパシタ２１４で蓄積している１つの実施形態では、積分キャパシタ２１４にかかる電圧が閾電圧基準２２０よりも小さいことに応答して、コンパレータ２１６は、レジスタ２０８をラッチしない信号（例えば、ロー信号）を出力する。積分キャパシタ２１４にかかる電圧が閾電圧基準２２０を超えることに応答して、コンパレータ２１６は、レジスタ２０８にカウンタ２０６の現在の値をラッチさせる信号（例えば、ハイ信号）を出力する。
レジスタ２０８で保持されている時間に基づく値は、出力部２１０から画像処理ユニット（例えば、図１に示される画像処理ユニット１０６）によって読み出される。画像処理ユニット１０６は、ユニットセル回路２００の積分されたフラックス値をアレイ１７０内の他のユニットセル１６０に対して推定するために、ユニットセル回路２００の時間に基づく値を、アレイ１７０内の全てのユニットセル１６０にわたって利用される共通時間値（積分キャパシタ２１４を満たす推定される時間）に正規化する。（例えば、各ユニットセル１６０の）各ユニットセル回路２００から読み出された正規化された時間に基づく値を利用して、画像処理ユニット１０６は、撮像されているシーンのデジタル画像を生成することができる。
一定の期間にわたって蓄積された電荷の量をモニタするのではなく、比較的に小さい積分キャパシタを閾レベルに充電するのに必要な時間をモニタすることによって、マルチビット・アナログ−デジタル変換器及び大規模な積分キャパシタに対する依存性は、高ダイナミックレンジのユニットセルを依然として提供しながら、取り除かれ得る。その上、上述されたように、時間に基づくフラックスユニットセルを利用することによって、正確な電荷ダンプ回路の必要性は取り除かれ得、ユニットセルの電力要件は、従来のユニットセルアプローチに対して低減され得、レジスタの非同期ラッチは、従来のユニットセルアプローチで通常見られる広域電流スパイクを低減し得る。
積分回路２０４の動作は、図３〜６に関して以下で更に詳細に説明される。上述されたように、１つの実施形態に従って、ユニットセル回路２００は、光電流に対応する電荷を積分キャパシタ２１４で蓄積するように構成される。例えば、図３Ａは、電荷が積分キャパシタ２１４で蓄積するにつれて正の方向に傾いている積分キャパシタ２１４にかかる電圧を表すトレース３０１を説明するグラフ３００である。図３Ｂは、積分キャパシタ２１４における正に傾いている電圧３０１に基づき動作する積分回路（例えば、図２の積分回路２０４）の一実施形態の第１の概略図３０２を含む。第１の概略図３０２に示されるように、積分回路２０４は、その出力部で、ＮＯＴ演算を実装するコンパレータ３０４を含む。コンパレータ３０４の非反転入力部は閾電圧２２０（図３ＡのＶｔｈｒｅｓｈｏｌｄ）へ結合され、コンパレータ３０４の反転入力部は積分キャパシタ２１４へ結合されている。
電圧３０１が積分キャパシタ２１４の両端で増大するにつれて、コンパレータ３０４は、電圧３０１を閾電圧２２０（Ｖｔｈｒｅｓｈｏｌｄ）と比較する。閾電圧２２０（Ｖｔｈｒｅｓｈｏｌｄ）が積分キャパシタ２１４にかかる電圧３０１よりも大きいことに応答して、ＮＯＴ演算を備えたコンパレータ３０４は、負ラッチ信号をレジスタ２０８へ供給する。閾電圧２２０（Ｖｔｈｒｅｓｈｏｌｄ）が積分キャパシタ２１４にかかる電圧３０１よりも小さいことに応答して、ＮＯＴ演算を備えたコンパレータ３０４は、正ラッチ信号をレジスタ２０８へ供給する。正ラッチ信号は、カウンタ２０６の現在の値をラッチするようレジスタ２０８を制御する（上記のとおり。）。
図３Ｃは、積分キャパシタ２１４における正に傾いている電圧に基づき動作する積分回路（例えば、図２の積分回路２０４）の他の実施形態の第２の概略図３１０を含む。第２の概略図３１０に示されるように、積分回路２０４は、その出力部でコンパレータ３１４を含む。コンパレータ３１４の非反転入力部は積分キャパシタ２１４へ結合され、コンパレータ３１４の反転入力部は閾電圧２２０（Ｖｔｈｒｅｓｈｏｌｄ）へ結合されている。電圧３０１が積分キャパシタ２１４の両端で増大するにつれて、コンパレータ３１４は、電圧３０１を閾電圧２２０（Ｖｔｈｒｅｓｈｏｌｄ）と比較する。閾電圧２２０（Ｖｔｈｒｅｓｈｏｌｄ）が積分キャパシタ２１４にかかる電圧３０１よりも大きいことに応答して、コンパレータ３１４は、負ラッチ信号をレジスタ２０８へ供給する。閾電圧２２０（Ｖｔｈｒｅｓｈｏｌｄ）が積分キャパシタ２１４にかかる電圧３０１よりも小さいことに応答して、コンパレータ３１４は、正ラッチ信号をレジスタ２０８へ供給する。正ラッチ信号は、カウンタ２０６の現在の値をラッチするようレジスタ２０８を制御する（上記のとおり。）。
上述されたように、ユニットセル回路２００は、光電流に対応する電荷が積分キャパシタ２１４で蓄積して、電荷が積分キャパシタ２１４で蓄積するにつれて正方向に傾く（すなわち、増大する）電圧を積分キャパシタ２１４の両端で生じさせるように、構成される。しかし、他の実施形態では、ユニットセル回路２００は、異なるように構成されてよい。１つの実施形態において、光検出器２０２に入射する光学的放射に応じた光電流を受けることに応答して、光電流に対応する電荷、特に、光検出器２０２によって受け取られる光学的放射のフラックスレベル（すなわち、強さ／輝度）は、入力回路２１２によって積分キャパシタ２１４から取り除かれる。そのようなものとして、かような実施形態では、回路２００に入射する光学的放射に応じた光電流を入力回路２１２が受ける場合に、積分キャパシタ２１４にかかる電圧は負方向に傾く（すなわち、低下する）。
例えば、図４Ａは、回路２００に入射する光に応じて光電流が生成されることに応答して負方向に傾く積分キャパシタ２１４にかかる電圧を表すトレース４０１を説明するグラフ４００である。図４Ｂは、積分キャパシタ２１４における負に傾いている電圧４０１に基づき動作する積分回路（例えば、図２の積分回路２０４）の一実施形態の第１の概略図４０２である。第１の概略図４０２に示されるように、積分回路２０４は、その出力部でコンパレータ４０４を含む。コンパレータ４０４の非反転入力部は閾電圧２２０（図４ＡのＶｔｈｒｅｓｈｏｌｄ）へ結合され、コンパレータ４０４の反転入力部は積分キャパシタ２１４へ結合されている。
電圧４０１が積分キャパシタ２１４の両端で低下するにつれて、コンパレータ４０４は、電圧４０１を閾電圧２２０（Ｖｔｈｒｅｓｈｏｌｄ）と比較する。閾電圧２２０（Ｖｔｈｒｅｓｈｏｌｄ）が積分キャパシタ２１４にかかる電圧４０１よりも小さいことに応答して、コンパレータ４０４は、負ラッチ信号をレジスタ２０８へ供給する。閾電圧２２０（Ｖｔｈｒｅｓｈｏｌｄ）が積分キャパシタ２１４にかかる電圧４０１よりも大きいことに応答して、コンパレータ４０４は、正ラッチ信号をレジスタ２０８へ供給する。正ラッチ信号は、カウンタ２０６の現在の値をラッチするようレジスタ２０８を制御する（上記のとおり。）。
図４Ｃは、積分キャパシタ２１４における負に傾いている電圧に基づき動作する積分回路（例えば、図２の積分回路２０４）の他の実施形態の第２の概略図４１０である。第２の概略図４１０に示されるように、積分回路２０４は、その出力部でコンパレータ４１４を含む。コンパレータ４１４の反転入力部は、積分キャパシタ２１４へ、かつ、インバータ４１６を介して入力回路２１２へ結合されている。コンパレータ４１４の非反転入力部は閾電圧２２０（Ｖｔｈｒｅｓｈｏｌｄ）へ結合されている。電圧４０１が積分キャパシタ２１４の両端で低下するにつれて、コンパレータ４１４は、電圧４０１を閾電圧２２０（Ｖｔｈｒｅｓｈｏｌｄ）と比較する。閾電圧２２０（Ｖｔｈｒｅｓｈｏｌｄ）が積分キャパシタ２１４にかかる電圧４０１よりも小さいことに応答して、コンパレータ４１４は、負ラッチ信号をレジスタ２０８へ供給する。閾電圧２２０（Ｖｔｈｒｅｓｈｏｌｄ）が積分キャパシタ２１４にかかる電圧４０１よりも大きいことに応答して、コンパレータ４１４は、正ラッチ信号をレジスタ２０８へ供給する。正ラッチ信号は、カウンタ２０６の現在の値をラッチするようレジスタ２０８を制御する（上記のとおり。）。
少なくとも１つの実施形態に従って、ユニットセル回路２００は、複数の積分回路２０４を含むよう構成される。例えば、図５は、少なくとも１つの実施形態に従って、ユニットセル回路内で並列結合された複数の積分回路５０２ａ、５０２ｘの概略図５００である。夫々の積分回路５０２ａ、５０２ｘは、夫々の積分回路５０２ａ、５０２ｘの出力５０５ａ、５０５ｘ（すなわち、夫々のコンパレータ５０４ａ、５０４ｘの出力５０５ａ、５０５ｘ）が論理ゲート５２２へ結合されている点を除いて、図３Ａ〜４Ｃに関して上述された積分回路３０２、３１０、４０２、４１０と略同じように動作するよう構成され得る。１つの実施形態において、論理ゲート５２２はＯＲゲートである。しかし、他の実施形態では、論理ゲート５２２は他のタイプのゲート（例えば、ＡＮＤゲート）であってもよい。論理ゲート５２２がＯＲゲートであるとして、積分回路５０２ａ、５０２ａのうちのいずれか１つが正信号を出力する場合に（上記のとおり。）、ＯＲゲート５２２は正信号を受信し、相応して正ラッチ信号をレジスタ２０８（図２に図示。）へ出力する。正ラッチ信号は、カウンタ２０６の現在の値をラッチするようレジスタ２０８を制御する（図２に図示され、上述されたとおり。）。
２つのコンパレータを利用すること（図５に図示されたとおり。）によって、ユニットセル回路２００は、異なるタイプの光（異なる波長を有している光）を捕らえるよう、正に傾いている積分キャパシタ電圧及び負に傾いている積分キャパシタ電圧の両方に対して作用することができる。例えば、１つの実施形態に従って、コンパレータ５０４ａは、図３Ｂに関して上述された積分回路３０２と略同じように動作する（すなわち、入力回路５１２ａによって保持される正に傾いている積分キャパシタ電圧に対して作用する）よう構成され、コンパレータ５０４ｘは、図４Ｂに関して上述された積分回路４０２と略同じように動作する（すなわち、入力回路５１２ｘによって保持される負に傾いている積分キャパシタ電圧に対して作用する）よう構成される。かようなデュアルバンド実施形態において、積分回路５０２ａは、第１の波長を有してユニットセル回路２００に入射する光に対応する電荷を積分キャパシタ５１４ａで蓄積するよう構成され得、積分回路５０２ｘは、第２の波長を有してユニットセル回路２００に入射する光に対応する電荷を積分キャパシタ５１４ｘで取り除くよう構成され得る。積分キャパシタ５１４ａにおける電圧が閾電圧５２０ａを超えるか、又は積分キャパシタ５１４ｘにおける電圧が閾電圧５２０ｘを下回る場合には、ＯＲゲート５２２は、カウンタ２０６の現在の値をラッチするようレジスタ２０８を制御する正ラッチ信号をレジスタ２０８へ出力する（上記のとおり。）。
図６は、図２のユニットセル回路２００内で連結されている複数の積分回路６０２ａ、６０２ｘを含む他の実施形態の概略図６００である。夫々の積分回路６０２ａ、６０２ｘは、夫々の積分回路６０２ａ、６０２ｘが同じ閾電圧基準６２０及び同じコンパレータ６０４を利用する点を除いて、図３Ｂに関して上述された積分回路３０２と略同じように構成され（、動作す）る（すなわち、入力回路６１２ａ、６１２ｘによって保持される正に傾いている積分キャパシタ電圧に対して作用する）。より具体的には、コントローラ（例えば、画像処理ユニット１０６）は、第１の時間に積分キャパシタ６１４ａをコンパレータ６０４へ結合するよう第１スイッチ６２２ａを作動させ、第２の時間に積分キャパシタ６１４ｘをコンパレータ６０４へ結合するよう第２スイッチ６２２ｘを作動させる。第１スイッチ６２２ａが閉じられている第１の時間中に、積分キャパシタ６１４ａにかかる電圧が閾電圧基準６２０を超える場合には、コンパレータ６０４は、カウンタ２０６の現在の値をラッチするようレジスタ２０８を制御する正ラッチ信号をレジスタ２０８へ供給する（上記のとおり。）。第２スイッチ６２２ｘが閉じられている第２の時間中に、積分キャパシタ６１４ｘにかかる電圧が閾電圧基準６２０を超える場合には、コンパレータ６０４は、カウンタ２０６の現在の値をラッチするようレジスタ２０８を制御する（図２に図示され、上述されたとおり。）正ラッチ信号をレジスタ２０８へ供給する（図２に図示。）。
上述されたように（例えば、図５〜６に示されたように）、２つの積分回路は、ユニットセル内で並列に連結される。しかし、他の実施形態では、積分回路はいくつでも、並列に選択的に連結可能である。例えば、Ｘ＝０〜Ｘの繰り返される積分回路を考えると、Ａ〜Ｘ個の積分回路が並列に選択的に連結され得る。
他の実施形態に従って、ユニットセル回路２００は、異なる積分キャパシタ極性ランプ、閾値、及び複数の積分キャパシタに適応するよう任意の数の種々の方法で適応され得る。例えば、ユニットセル回路２００は、コンパレータ（例えば、シングルビットＡ／Ｄコンバータ）及び対応するラッチ機能が異なる実施に適応することを可能にするよう、ユニットセル回路２００の複製された部分又は追加のインバータ回路を含むことができる。
上述されたように、ユニットセル回路２００は、少なくとも１つの閾電圧基準を、少なくとも１つの積分キャパシタにかかる電圧と比較する。１つの実施形態において、閾電圧基準は予め定義される。他の実施形態では、閾電圧基準は、異なるユニットセルトポロジ及び検知信号極性をサポートするようプログラム可能又は選択可能である。
また上述されたように、コンパレータは、カウンタの現在の値をラッチするようレジスタを制御する正ラッチ信号をレジスタへ供給する。少なくとも１つの実施形態において、出力されるラッチ信号は、異なる実施に適応するよう反転されてもよい。少なくとも１つの実施形態に従って、上記のユニットセル回路によって利用される少なくとも１つのコンパレータは、時間値の複数のラッチングを防ぐヒステリシス機能を備えてよい。
上述されたように、ユニットセル回路２００は、カウンタ２０６の現在の値をラッチするようレジスタ２０８を制御する正ラッチ信号をレジスタ２０８へ供給する。カウンタ２０６は、画像センサ１２０に含まれるアレイ１７０内の１つよりも多いユニットセル１６０へ結合される部分的カウンタ、画像センサ１２０のアレイ１７０内の各ユニットセル１６０へ結合される大域的カウンタ、又は画像センサ１２０のアレイ１７０内の単一のユニットセル１６０へのみ結合される局所的カウンタであってよい。少なくとも１つの実施形態に従って、ユニットセル回路２００のカウンタ２０６及びレジスタ２０８は一体化される。他の実施形態では、カウンタ２０６及びレジスタ２０８は、シリアル又はパラレルバスを介して連結される。少なくとも１つの実施形態において、カウンタ２０６は線形カウンタである。他の実施形態では、カウンタ２０６は非線形カウンタである。他の実施形態では、カウンタ２０６は、如何なる他の適切なタイプのカウンタであることもできる（例えば、グレイコードカウンタ、線形シフトレジスタ、など）。上述されたように、カウンタ２０６は、カウンタ値をインクリメントするよう構成される。しかし、少なくとも１つの他の実施形態では、カウンタ２０６は、リセット条件からカウンタ値をデクリメントするよう構成される。
１つの実施形態に従って、レジスタ２０８は、ユニットセル回路２００内に位置する局所的レジスタであってよい。他の実施形態では、レジスタ２０８は、ユニットセル回路２００の外に位置する遠隔レジスタである。１つの実施形態において、レジスタ２０８はメモリ記憶デバイスである。
少なくとも１つの実施形態に従って、第１リセット信号（Ｒｅｓｅｔａ）２２２はまた、レジスタ２０８がカウンタ２０６の値を獲得すると、光電流をダンプするためにも使用され得る。この機能は、隣接するピクセルに対する過剰な光電流の影響を軽減するために利用され得る。
本明細書で説明される様々な態様及び実施形態は、改善された高ダイナミック強度レンジのイメージングシステム、ＦＰＡ、及びイメージングシステムユニットセル回路を提供する。特に、従来のアプローチによって提案されているように一定の積分期間にフラックスを積分することよりむしろ、本明細書で説明されるイメージングシステム、ＦＰＡ、及びイメージングシステムユニットセルの様々な態様及び実施形態は、可変な量の時間に一定量のフラックスを積分するよう構成される。より具体的には、本明細書で記載されるフラックスレートユニットセルは、カウンタが動作している（例えば、インクリメントしている）間、比較的に小さいサイズの積分キャパシタにおいてフラックスを積分する。積分キャパシタにおける電荷が所望の閾レベルに達する場合に、カウンタの値はレジスタにラッチされる。ピクセルの時間に基づくレジスタ値は、ユニットセルの積分されたフラックス値をシステム内の他のユニットセルに対して推定するために、共通時間値（例えば、積分キャパシタを満たす推定される時間）に正規化され得る。
一定の期間にわたって蓄積された電荷の量をモニタするのではなく、比較的に小さい積分キャパシタを閾レベルに充電するのに必要な時間をモニタすることによって、マルチビット・アナログ−デジタル変換器及び大規模な積分キャパシタに対する依存性は、高ダイナミックレンジのユニットセルを依然として提供しながら、取り除かれ得る。その上、上述されたように、時間に基づくフラックスユニットセルを利用することによって、正確な電荷ダンプ回路の必要性は取り除かれ得、ユニットセルの電力要件は、従来のユニットセルアプローチに対して低減され得、非同期ラッチは、従来のユニットセルアプローチで通常見られる広域電流スパイクを低減し得る。
このように本発明の少なくとも１つの実施形態のいくつかの態様について記載してきたが、当然ながら、様々な代替、変更、及び改善は当業者に容易に想到可能である。そのような代替、変更、及び改善は、本開示の部分であるよう意図され、本発明の精神及び適用範囲の中にあるよう意図される。然るに、上記の記載及び図面は、単なる一例である。

Claims (20)

  1. 光学的放射を受けることに応答して光電流を生成するよう構成される光検出器と、
    第１積分キャパシタと、
    前記光検出器へ及び前記第１積分キャパシタへ結合され、積分期間中に前記光検出器から受け取られる前記光電流に対応する電荷を前記第１積分キャパシタで保持するよう構成される第１入力回路と、
    前記第１積分キャパシタへ結合され、該第１積分キャパシタにかかる第１積分電圧を第１閾基準電圧と比較するよう構成される第１コンパレータと、
    前記第１コンパレータへ結合されるレジスタと、
    前記レジスタへ結合され、前記積分期間にわたってカウンタ値を繰り返しインクリメントするよう構成されるカウンタと
    を有し、
    前記第１積分電圧が前記第１閾基準電圧に対して一定のレベルにあると決定することに応答して、前記第１コンパレータは、前記カウンタの前記カウンタ値をラッチするように前記レジスタを制御するよう構成される第１出力信号を出力するよう更に構成される、
    イメージングシステムユニットセル回路。
  2. 前記第１入力回路は、前記積分期間中に前記光検出器から受け取られる前記光電流に対応する電荷を前記第１積分キャパシタで蓄積するよう更に構成され、
    前記第１積分電圧が前記第１閾基準電圧よりも大きいと決定することに応答して、前記第１コンパレータは、前記第１出力信号を出力するよう更に構成され、
    前記第１出力信号を受信することに応答して、前記レジスタは、前記カウンタの前記カウンタ値をラッチするよう構成される、
    請求項１に記載のイメージングシステムユニットセル回路。
  3. 前記レジスタへ結合される画像処理ユニットを更に有し、
    前記画像処理ユニットは、
    前記レジスタから前記ラッチされたカウンタ値を読み出し、
    前記ラッチされたカウンタ値を共通時間値に正規化し、
    前記正規化されたカウンタ値に少なくとも部分的に基づきデジタル画像を生成する
    よう構成される、
    請求項２に記載のイメージングシステムユニットセル回路。
  4. 前記第１入力回路は、前記積分期間中に前記光検出器から受け取られる前記光電流に対応する電荷の量を前記第１積分キャパシタから取り除くよう更に構成され、
    前記第１積分電圧が前記第１閾基準電圧よりも小さいと決定することに応答して、前記第１コンパレータは、前記第１出力信号を出力するよう更に構成され、
    前記第１出力信号を受信することに応答して、前記レジスタは、前記カウンタの前記カウンタ値をラッチするよう構成される、
    請求項１に記載のイメージングシステムユニットセル回路。
  5. 第２積分キャパシタと、
    前記光検出器へ及び前記第２積分キャパシタへ結合され、前記積分期間中に前記光検出器から受け取られる前記光電流に対応する電荷を前記第２積分キャパシタで保持するよう構成される第２入力回路と
    を更に有する、
    請求項１に記載のイメージングシステムユニットセル回路。
  6. 前記第２積分キャパシタへ結合され、該第２積分キャパシタにかかる第２積分電圧を第２閾基準電圧と比較するよう構成される第２コンパレータを更に有し、
    前記第２積分電圧が前記第２閾基準電圧に対して一定のレベルにあると決定することに応答して、前記第２コンパレータは、前記カウンタの前記カウンタ値をラッチするように前記レジスタを制御するよう構成される第２出力信号を出力するよう更に構成される、
    請求項５に記載のイメージングシステムユニットセル回路。
  7. ＯＲゲートを更に有し、
    前記第１コンパレータは、前記ＯＲゲートへ結合される第１出力部を含み、
    前記第２コンパレータは、前記ＯＲゲートへ結合される第２出力部を含み、
    前記ＯＲゲートは、前記第１出力信号及び前記第２出力信号のうちの少なくとも一方を受信するよう、かつ、前記第１出力信号及び前記第２出力信号のうちの少なくとも一方を受信することに応答して前記カウンタの前記カウンタ値をラッチするように前記レジスタを制御するよう構成される、
    請求項６に記載のイメージングシステムユニットセル回路。
  8. 前記第１積分キャパシタと前記第１コンパレータとの間に結合される第１スイッチと、
    前記第２積分キャパシタと前記第１コンパレータとの間に結合される第２スイッチと、
    前記第１スイッチへ及び前記第２スイッチへ結合され、前記第１積分キャパシタを前記第１コンパレータへ選択的に結合する第１動作モードにおいて前記第１スイッチを閉じるように動作させ、前記第２積分キャパシタを前記第１コンパレータへ選択的に結合する第２動作モードにおいて前記第２スイッチを閉じるように動作させるよう構成されるコントローラと
    を更に有し、
    前記第１動作モードの間、前記第１コンパレータは、前記第１積分キャパシタにかかる前記第１積分電圧を前記第１閾基準電圧と比較し、前記第１積分電圧が前記第１閾基準電圧に対して前記一定のレベルにあると決定することに応答して、前記第１出力信号を出力するよう構成され、
    前記第２動作モードの間、前記第１コンパレータは、前記第２積分キャパシタにかかる第２積分電圧を前記第１閾基準電圧と比較し、前記第２積分電圧が前記第１閾基準電圧に対して前記一定のレベルにあると決定することに応答して、前記カウンタの前記カウンタ値をラッチするように前記ラッチを制御するよう構成される第２出力信号を出力するよう構成される、
    請求項５に記載のイメージングシステムユニットセル回路。
  9. 前記第１積分キャパシタにわたって結合されるスイッチを更に有し、
    前記積分期間の開始時にコントローラから第１リセット信号を受信することに応答して、前記スイッチは、前記第１積分キャパシタが接地に放電するように、前記第１積分キャパシタを接地へ選択的に結合するよう構成される、
    請求項１に記載のイメージングシステムユニットセル回路。
  10. 前記カウンタは、前記積分期間の前記開始時に前記コントローラから第２リセット信号を受信するよう更に構成され、
    前記第２リセット信号を受信することに応答して、前記カウンタは、前記カウンタ値をリセットするよう構成される、
    請求項９に記載のイメージングシステムユニットセル回路。
  11. 前記レジスタは、前記積分期間の前記開始時に前記コントローラから第３リセット信号を受信するよう構成され、
    前記第３リセット信号を受信することに応答して、前記レジスタは、該レジスタをクリアするよう構成される、
    請求項１０に記載のイメージングシステムユニットセル回路。
  12. 画像を検出する方法であって、
    光検出器により、該光検出器で光学的放射を受けることに応答して光電流を生成することと、
    前記光検出器へ結合される第１入力回路により、積分期間中に前記光検出器から受け取られる前記光電流に対応する電荷を第１積分キャパシタで保持することと、
    前記第１積分キャパシタにかかる第１積分電圧を第１閾基準電圧と比較することと、
    前記積分期間にわたってカウンタのカウンタ値を繰り返しインクリメントすることと、
    前記第１積分電圧が前記第１閾基準電圧に対して一定のレベルにあると決定することに応答して、前記カウンタの前記カウンタ値をラッチするようにレジスタを動作させるよう第１出力信号を前記レジスタへ供給することと
    を有する方法。
  13. 電荷を前記第１積分キャパシタで保持することは、前記積分期間中に前記光検出器から受け取られる前記光電流に対応する電荷を前記第１積分キャパシタで蓄積することを含み、
    前記カウンタの前記カウンタ値をラッチするように前記レジスタを動作させるよう前記第１出力信号を前記レジスタへ供給することは、前記第１積分電圧が前記第１閾基準電圧よりも大きいと決定することに応答して、前記カウンタの前記カウンタ値をラッチするように前記レジスタを動作させることを含む、
    請求項１２に記載の方法。
  14. 電荷を前記第１積分キャパシタで保持することは、前記積分期間中に前記光検出器から受け取られる前記光電流に対応する電荷の量を前記第１積分キャパシタから取り除くことを含み、
    前記カウンタの前記カウンタ値をラッチするように前記レジスタを動作させるよう前記第１出力信号を前記レジスタへ供給することは、前記第１積分電圧が前記第１閾基準電圧よりも小さいと決定することに応答して、前記カウンタの前記カウンタ値をラッチするように前記レジスタを動作させることを含む、
    請求項１２に記載の方法。
  15. 前記レジスタから前記ラッチされたカウンタ値を読み出すことと、
    前記ラッチされたカウンタ値を共通時間値に正規化することと、
    前記正規化されたカウンタ値に少なくとも部分的に基づきデジタル画像を生成することと
    を更に有する、
    請求項１２に記載の方法。
  16. 前記積分期間の開始時に少なくとも１つのリセット信号を受信することと、
    前記積分期間の前記開始時に前記少なくとも１つのリセット信号を受信することに応答して、前記第１積分キャパシタが接地に放電するように前記第１積分キャパシタを接地へ選択的に結合し、前記カウンタ値をリセットし、前記レジスタをクリアすることと
    を更に有する、
    請求項１２に記載の方法。
  17. 前記光検出器へ結合される第２入力回路により、前記積分期間中に前記光検出器から受け取られる前記光電流に対応する電荷を第２積分キャパシタで保持することと、
    前記第２積分キャパシタにかかる第２積分電圧を第２閾基準電圧と比較することと、
    前記第２積分電圧が前記第２閾基準電圧に対して一定のレベルにあると決定することに応答して、前記カウンタの前記カウンタ値をラッチするように前記レジスタを動作させるよう第２出力信号を前記レジスタへ供給することと
    を更に有する、
    請求項１２に記載の方法。
  18. 複数のユニットセルを含む焦点面アレイであり、前記複数のユニットセルの各ユニットセルが、光学的放射を受けることに応答して光電流を生成するよう構成される光検出器と、積分キャパシタと、前記光検出器へ及び前記積分キャパシタへ結合され、積分期間中に前記光検出器から受け取られる前記光電流に対応する電荷を前記積分キャパシタで保持するよう構成される入力回路と、前記積分キャパシタへ結合され、該積分キャパシタにかかる積分電圧を閾基準電圧と比較するよう構成されるコンパレータとを有する、前記焦点面アレイと、
    夫々のレジスタが、前記複数のユニットセルのうちの１つのユニットセルの前記コンパレータへ結合される、複数のレジスタと、
    前記複数のユニットセルの各ユニットセルの前記レジスタへ結合され、前記積分期間にわたってカウンタ値を繰り返しインクリメントするよう構成されるカウンタと、
    前記複数のユニットセルの各ユニットセルの前記レジスタへ結合される画像処理ユニットと
    を有し、
    前記積分電圧が前記閾基準電圧に対して一定のレベルにあると決定することに応答して、各コンパレータは、前記カウンタの前記カウンタ値をラッチするように対応するレジスタを制御するよう構成される出力信号を出力するよう更に構成され、
    前記画像処理ユニットは、前記複数のユニットセルの各ユニットセルの前記レジスタから前記ラッチされたカウンタ値を読み出し、夫々の読み出されたラッチされたカウンタ値を共通時間値に正規化し、該正規化されたカウンタ値の夫々に基づきデジタル画像を生成するよう構成される、
    イメージングシステム。
  19. 各入力回路は、前記積分期間中に対応する光検出器から受け取られる前記光電流に対応する電荷を対応する積分キャパシタで蓄積するよう更に構成され、
    対応する積分電圧が対応する閾基準電圧よりも大きいと決定することに応答して、各コンパレータは、前記出力信号を出力するよう更に構成され、
    前記出力信号を受信することに応答して、各レジスタは、前記カウンタの前記カウンタ値をラッチするよう構成される、
    請求項１８に記載のイメージングシステム。
  20. 各入力回路は、前記積分期間中に対応する光検出器から受け取られる前記光電流に対応する電荷の量を対応する積分キャパシタから取り除くよう更に構成され、
    対応する積分電圧が対応する閾基準電圧よりも小さいと決定することに応答して、各コンパレータは、前記出力信号を出力するよう更に構成され、
    前記出力信号を受信することに応答して、各レジスタは、前記カウンタの前記カウンタ値をラッチするよう構成される、
    請求項１８に記載のイメージングシステム。
JP2019522463A 2016-11-02 2017-08-02 フラックスレートユニットセル焦点面アレイ Expired - Fee Related JP6734478B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/341,090 US10084976B2 (en) 2016-11-02 2016-11-02 Flux rate unit cell focal plane array
US15/341,090 2016-11-02
PCT/US2017/045069 WO2018084907A1 (en) 2016-11-02 2017-08-02 Flux rate unit cell focal plane array

Publications (2)

Publication Number Publication Date
JP2019533383A true JP2019533383A (ja) 2019-11-14
JP6734478B2 JP6734478B2 (ja) 2020-08-05

Family

ID=59702816

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019522463A Expired - Fee Related JP6734478B2 (ja) 2016-11-02 2017-08-02 フラックスレートユニットセル焦点面アレイ

Country Status (6)

Country Link
US (1) US10084976B2 (ja)
EP (1) EP3535969A1 (ja)
JP (1) JP6734478B2 (ja)
KR (1) KR102063038B1 (ja)
IL (1) IL265898B (ja)
WO (1) WO2018084907A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11297258B2 (en) * 2015-10-01 2022-04-05 Qualcomm Incorporated High dynamic range solid state image sensor and camera system
CN108881544B (zh) * 2018-06-29 2020-08-11 维沃移动通信有限公司 一种拍照的方法及移动终端
WO2020142149A1 (en) * 2018-12-31 2020-07-09 Flir Commercial Systems, Inc. Analog-to-digital conversion systems and methods with pulse generators
US11894670B2 (en) * 2021-09-21 2024-02-06 Raytheon Company High-energy suppression for infrared imagers or other imaging devices
US11843355B2 (en) 2022-02-04 2023-12-12 Raytheon Company High-energy suppression for capacitor transimpedance amplifier (CTIA)-based imagers or other imaging devices

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3146502B2 (ja) 1990-08-30 2001-03-19 富士電機株式会社 フォトセンサ回路
US6373050B1 (en) * 1998-10-07 2002-04-16 California Institute Of Technology Focal plane infrared readout circuit with automatic background suppression
US6671345B2 (en) 2000-11-14 2003-12-30 Koninklijke Philips Electronics N.V. Data acquisition for computed tomography
US7176970B2 (en) * 2003-06-30 2007-02-13 Motorola, Inc. Light sensing pixel sensor and method
DE102005017158B4 (de) 2005-04-14 2007-12-06 Basler Ag Verfahren zum Erzeugen eines digitalen Ausgangssignals eines lichtempfindlichen Sensors und dessen Aufbau
US8179296B2 (en) 2005-09-30 2012-05-15 The Massachusetts Institute Of Technology Digital readout method and apparatus
US20100226495A1 (en) * 2007-10-29 2010-09-09 Michael Kelly Digital readout method and apparatus
JP2010004025A (ja) 2008-05-21 2010-01-07 Semiconductor Energy Lab Co Ltd 光電変換装置、及び当該光電変換装置の駆動方法、並びに当該光電変換装置を具備する電子機器
US8625012B2 (en) 2009-02-05 2014-01-07 The Hong Kong University Of Science And Technology Apparatus and method for improving dynamic range and linearity of CMOS image sensor
US8704144B2 (en) 2010-10-27 2014-04-22 Teledyne Scientific & Imaging, Llc Dual speed readout integrated circuit for high spatial and temporal resolution applications
US8604774B2 (en) 2010-12-07 2013-12-10 Himax Technologies Limited Current sensing circuit with feedback control and dual capacitor set range setting
US8581168B2 (en) 2011-03-29 2013-11-12 Flir Systems, Inc. Dual well read-out integrated circuit (ROIC)
US8890052B2 (en) 2011-05-03 2014-11-18 Raytheon Company Shift register with two-phase non-overlapping clocks
WO2013127450A1 (en) * 2012-02-29 2013-09-06 Sabanci Üniversitesi Self-reset asynchronous pulse frequency modulated droic with extended counting and having reduced quantization noise
WO2013158965A1 (en) 2012-04-19 2013-10-24 Raytheon Company Repartitioned digital pixel
US9172873B2 (en) * 2012-06-01 2015-10-27 Forza Silicon Corporation CTIA in-pixel correlated double sampling with snapshot operation for IR readout integrated circuits
CN104704812B (zh) * 2012-10-05 2018-05-25 拉姆伯斯公司 集成电路图像传感器以及在其中操作的方法
US9094628B2 (en) 2013-10-27 2015-07-28 Raytheon Company Address mapped repartitioned digital pixel
EP3100451B1 (en) * 2014-01-28 2021-08-25 MBDA UK Limited Improved imaging method and apparatus
US10027917B2 (en) * 2014-10-06 2018-07-17 Forza Silicon Corporation In-pixel correlated double sampling with fold-over detection
US9647655B2 (en) 2015-03-27 2017-05-09 Raytheon Company Current to frequency converter

Also Published As

Publication number Publication date
US10084976B2 (en) 2018-09-25
IL265898A (en) 2019-05-30
IL265898B (en) 2019-10-31
KR102063038B1 (ko) 2020-01-07
US20180124336A1 (en) 2018-05-03
JP6734478B2 (ja) 2020-08-05
WO2018084907A1 (en) 2018-05-11
EP3535969A1 (en) 2019-09-11
KR20190069581A (ko) 2019-06-19

Similar Documents

Publication Publication Date Title
JP6734478B2 (ja) フラックスレートユニットセル焦点面アレイ
TWI625972B (zh) 具有類比計數器元件的數位單位胞元
US7326903B2 (en) Mixed analog and digital pixel for high dynamic range readout
US9554071B2 (en) Method and apparatus providing pixel storage gate charge sensing for electronic stabilization in imagers
KR100717665B1 (ko) 시적분 픽셀 센서에서의 디지털 이중 샘플링
EP2874388B1 (en) Method for avoiding pixel saturation
US9674471B1 (en) Digital unit cell with bidirectional ripple counter
US10419699B1 (en) Method for shift register digital in pixel unit cell
EP3354012B1 (en) Imaging system unit cell and methods for dynamic range imaging
US20230024990A1 (en) Continuously integrating digital pixel imager
US11134208B1 (en) Increasing dynamic range of digital pixels by utilizing polling during integration

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190619

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190619

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190619

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190903

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200302

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200609

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200709

R150 Certificate of patent or registration of utility model

Ref document number: 6734478

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees