JP2012032400A - 赤外線センサのビデオ信号を補正するための方法および撮像システム - Google Patents
赤外線センサのビデオ信号を補正するための方法および撮像システム Download PDFInfo
- Publication number
- JP2012032400A JP2012032400A JP2011207590A JP2011207590A JP2012032400A JP 2012032400 A JP2012032400 A JP 2012032400A JP 2011207590 A JP2011207590 A JP 2011207590A JP 2011207590 A JP2011207590 A JP 2011207590A JP 2012032400 A JP2012032400 A JP 2012032400A
- Authority
- JP
- Japan
- Prior art keywords
- temperature
- infrared sensor
- uncooled
- focal plane
- correction term
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000003384 imaging method Methods 0.000 title claims description 6
- 230000004044 response Effects 0.000 claims abstract description 70
- 238000012937 correction Methods 0.000 claims abstract description 48
- 230000005855 radiation Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 4
- 230000005055 memory storage Effects 0.000 claims 1
- 238000004422 calculation algorithm Methods 0.000 abstract description 21
- 238000001816 cooling Methods 0.000 abstract 1
- 238000005259 measurement Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 230000010354 integration Effects 0.000 description 7
- 238000004088 simulation Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000000059 patterning Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 238000000342 Monte Carlo simulation Methods 0.000 description 4
- 238000003491 array Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000009529 body temperature measurement Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 239000010432 diamond Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000009118 appropriate response Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
- H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
- H04N23/23—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from thermal infrared radiation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Toxicology (AREA)
- Photometry And Measurement Of Optical Pulse Characteristics (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Radiation Pyrometers (AREA)
Abstract
【課題】非冷却赤外線センサに用いるためのシステムおよび方法を提供する。
【解決手段】システムおよび方法は、温度補償された性能アルゴリズムを含み、これを使用して温度補償された応答およびオフセット補正係数を提供し、これを赤外線センサのビデオ信号に与え、センサの温度変化によって起こるビデオ信号の変動を補正する。
【選択図】図1
【解決手段】システムおよび方法は、温度補償された性能アルゴリズムを含み、これを使用して温度補償された応答およびオフセット補正係数を提供し、これを赤外線センサのビデオ信号に与え、センサの温度変化によって起こるビデオ信号の変動を補正する。
【選択図】図1
Description
この発明は、赤外線高感度焦点面センサに関し、より特定的には、検出器アレイのゲインおよびオフセット補正を行なうと同時に自動的に赤外線高感度焦点面センサの動作温度の変化に対して補償するシステムに関する。
ほとんどの赤外線センサは、現在動的手段を用いて焦点面の動作温度を設定し規制する。室温、またはそれに近い温度で動作するセンサでは、典型的には、温度感知装置と、熱電冷却器と、温度制御電子部品とからなる温度制御システム手段によってこれを達成する。所望の動作温度を確立するために必要な時間は、センサの起動から撮像までの間に顕著しい時間の遅れをもたらす。加えて、結果として生じる付加的な電力、費用、および温度制御システムの複雑さは、組合されて赤外線センサ技術の使用への潜在的な市場を顕著に制限する。
焦点面の応答およびオフセットの非均一性は、固定したパターンノイズとして撮像センサの出力ディスプレイに現れる。非均一性がノイズとして表わされるのは、それらが表示される画像に望ましくない情報をもたらすためである。非均一性が固定したパターンとして表わされるのは、それらの特徴が時間が経過しても変化しない(または比較的ゆっくりと変化する)ためである。現在の赤外線センサシステムは典型的には、応答およびオフセットエラー補正技術を使用して固定したパターンノイズのレベルを最小化する。これらのシステムにおいて、応答およびオフセットエラーは比較的一定に留まるが、これは赤外線高感度焦点面が厳密に制御された操作温度およびバイアスに維持されているためである。しかしながら現在の赤外線カメラシステムにおいては、システムが温度の安定化を待つことによりカメラの動作が遅れるおそれがある。
したがって、センサの動作温度の関数として応答およびオフセット補正を行なう能力を備えた非冷却赤外線センサを提供することが望まれる。
この発明の方法および装置は、動的な動作温度安定化を必要としない、赤外線高感度焦点面センサの安定した動作を得るためのアルゴリズムと、論理的な機能アーキテクチャとに関する。実用的な見地から、この発明はまた、動作温度変化に所望でない感度を示す、ほぼ線形の応答を有し、かつその性能が応答およびオフセット補正から利益を受けるあらゆるシステムに一般的に適用可能である。この発明は、ビデオ入力信号と赤外線センサの動作温度の電気的測定とを提供する焦点面を組込んだ赤外線センサに使用するための補正方法に向けられる。応答およびオフセット補正係数は、初期のセンサレベル較正の際に先行して測定されセンサメモリの中にストアされた1組の較正された応答およびオフセット補正係数の線形温度補間法を使用して、焦点面アレイの検出器素子ごとに計算される。補間された応答およびオフセット補正係数は次にビデオ入力信号に与えられる。
この発明のさまざまな利点は、当業者においては以下の明細書と添付の特許請求の範囲とを読み、以下の図面を参照することにより明らかとなるであろう。
図1および図2を参照しながら、非冷却赤外線センサのための補正方法およびシステムを説明する。図1を参照して、この発明のシステム10は非冷却焦点面アレイ12を含み、これはビデオ入力信号と温度データとを従来の検出器アナログ信号プロセッサ/デジタル信号プロセッサ(ASP/DSP)14に与える。この発明のために従来のASP/DSP14で要求される2つの機能は、(1)焦点面のビデオ信号および温度データ信号のアナログからデジタルへの変換と、(2)焦点面アレイのデジタル化された信号の従来の応答およびオフセット補正とである。従来の応答およびオフセット補正アルゴリズムに対する定義方程式を数式1に示す。
式中、S(Φ)nは赤外線放射度レベルΦに対する焦点面アレイのn番目の検出器素子の応答であり、Sp-S(Φ)nはn番目の検出器素子に対する補正された応答を表わし、S(Φ1)nおよびS(Φ2)nは初期のセンサ較正の間に先行して生成された2つの赤外線較正レベル(Φ1およびΦ2)に対するn番目の検出器素子の応答の、適切な時間平均を表わす。
システム10はまた温度補償(TCOMP)デジタル信号プロセッサ16も含み、これは以下により詳細に説明するTCOMP係数メモリ18から温度補償係数を受取る。非冷却焦点面アレイ12の検出された温度に基づき、温度補償デジタル信号プロセッサ16は温度補償された応答およびオフセット係数を計算し、これらの値はここに詳細に説明するようにゲイン/オフセットメモリ20にストアされる。
この発明の温度補償された性能システムおよび方法は、検出器アレイ応答およびオフセット補正機能を行ない、また動作温度での変化に対しても自動的に補償する。これは焦点面とセンサとの温度規制に対しての必要性をなくす。温度補償された性能アルゴリズムの数式を、以下の数式2に示す。
式中、S(Φ,T)nは入力Φに対する、センサのn番目の検出器素子の応答であり、焦点面アレイとセンサとは温度Tで動作する。変数Φ1およびΦ2は初期の較正で使用されたセンサに対する2つの入力レベルである。初期の温度補償された性能較正は、2つの動作温度T1およびT2それぞれにおいて入力レベルΦ1およびΦ2に対するセンサの応答を測定することにより行なわれる。測定された応答値は次いでメモリの中にストアされ、後に温度補償された性能アルゴリズム(数式2)で使用される。センサ12の動作温度は実時間で直接測定され、アルゴリズム(数式2)に適用される。動作の間の計算の負荷を減じるために、初期のTCOMP較正からストアされる必要のある値はS(Φ1,T1)n,(S(Φ2,T1)n−S(Φ1,T1)n),(S(Φ1,T2)n−S(Φ1,T1)n),(S(Φ2,T2)n−S(Φ1,T2)n+S(Φ2,T1)n−S(Φ1,T1)n),T2およびT1のみである。このように、TCOMPアルゴリズムは検出器素子の各々に対し2つの乗算と2つの加算のみで行なうことができる。最後の応答およびオフセット補正計算はフルビデオレートで従来のASP/DSP14で行なわれるが、検出器素子ごとに1つの積算および1つの加算しか必要としない。
この発明のTCOMPアルゴリズムの1つの利点は、温度T1またはT2のいずれかでは、この発明の出力と、従来の応答およびオフセット補正アルゴリズムの出力とは、等価であることである。さらに、T1とT2との間のいかなる温度(T)においても、焦点面アレイの検出器素子の各々に適用される補正は本質的に数式1と同じ数式の形を有する。よって、従来のアルゴリズム(図1にASP/DSP14として示す)のために既に開発されたハードウェアおよびファームウェアは、この発明のTCOMPアルゴリズムに対して引続き適用可能である。加えて、焦点面およびセンサの両方の熱時間定数は典型的には焦点面のフレームタイムよりはるかに長くなるであろうから、TCOMP温度補間(数式2)を、検出器素子のビデオアドレスレートよりも顕著に低いレートで行なうことができる。
焦点面(12)の応答の温度依存がほぼ線形である限り、基本のTCOMPアルゴリズム(数式2)によって与えられる補正された応答の精度は十分である。もし顕著なレベルの非線形応答があれば、補正された応答の精度は劣化するおそれがある。これは効果的な温度補正範囲を制限するおそれがある。この発明のTCOMPアルゴリズムによって、全体の動作温度範囲を応答の非線形性が比較的小さく留まるサブ範囲に分割することによりこの潜在的な制限を克服する。各サブ範囲ごとに別々の温度補償較正が次いで行なわれ、TCOMP係数メモリ18にストアされる。TCOMP係数メモリは本のように構成される。各頁は選択された温度の1つのサブ範囲に対応し、各検出器素子ごとの4つの対応するTCOMP係数と、サブ範囲を規定する2つの温度とを含む。
動作の間、測定された実時間温度は使用されて最適なサブ範囲テーブル(T1からTN)を選択し、次いで選択したサブ範囲テーブルを使用してTCOMPアルゴリズムを支持する。サブ範囲T1からTNの間の遷移は、温度サブ範囲T1からTNの間にオーバラップまたはスイッチポイントのデッドバンドを導入することにより、「平滑化される」。図1から図2を参照して、この発明の温度補償システムの動作を説明する。図1に示すように、非冷却焦点面アレイ12から、温度データおよび入力ビデオ信号が従来のASP/DSP14によって受取られる。温度データは次いでステップS1において温度補償デジタル信号プロセッサ(TCOMP DSP)16によって読出される。TCOMP DSP16は次いでステップS2において動作温度サブ範囲を選択し、ステップS3においてTCOMP係数メモリ18内にストアされている選択されたサブ範囲から適切な応答/オフセット補正係数を検索する。TCOMP DSP16は次いでステップS4において線形温度補間された応答およびオフセット補正係数をTCOMPアルゴリズム(数式2)を使用して計算する。補間された応答およびオフセット補正係数は次いでステップS5においてメモリ20内にストアされる。
この発明では、ゲイン/オフセットメモリ20は2つのサブユニット(メモリ1およびメモリ2)に分割される。スイッチ24およびスイッチ26は、メモリユニットの1つに先行してストアされた温度補間されたTCOMP係数がASP/DSP14に読出されることを可能にする一方、このときTCOMP DSP16において計算されている温度補間されたTCOMP係数は、他のメモリユニットに書込まれる。言い換えると、この発明においてはASP/DSP14は数式1をデジタル化された焦点面アレイビデオ上に実行する一方、TCOMP DSP16は数式2の温度補間されたTCOMP係数を計算する。応答/オフセットメモリ20は、TCOMP DSP16が、焦点面アレイおよびセンサの熱時間定数によって求められるTCOMP DSPデータレートの下限値で、より低いデータレートで動作することを可能にする。
TCOMP温度補間された応答およびオフセット係数がステップS5においてメモリ20に書込まれた後に、この係数はステップS6においてASP/DSP14に読出される。TCOMP温度補間された応答およびオフセット係数は次いでステップS7においてASP/DSP14によってビデオ信号に与えられるが、これは当該技術分野で公知である。よって、ASP/DSP14からのデジタル出力ビデオ信号はこれで焦点面動作温度の関数として応答およびオフセット非均一性を補正される。
遅い時間的ドリフトがセンサの性能に影響するような場合、センサの電源投入時に、かつ何回でも繰返することが可能である、従来のシングルポイント検出器素子オフセット較正を加えることにより、TCOMP応答およびオフセット補償の性能をさらに向上させることができ、この発明に適用される。従来のシングルポイント検出器素子オフセット較正のための技術は、当該技術分野において公知である。
この発明で要求される、焦点面の動作温度の量的な電気的測定は、いくつかの方法によって得ることができる。たとえば、ダイオードまたは電気抵抗式温度計などの温度感知装置が、当該技術分野において実行され公知であるように、焦点面アレイを含む同じ真空パッケージ内に場所決めされてもよい。この発明においては、温度測定機能は図3に示すように焦点面アレイチップ上に直接集積化される。電気抵抗式温度計R1は焦点面アレイチップに場所決めされ焦点面アレイの基板にヒートシンクされた電気抵抗式ボロメータ素子である。トランジスタQ1と差動増幅器とからなるネットワークは、併せてバッファード・ディレクト・インジェクション(Buffered Direct Injection,BDI)回路として機能し、電気抵抗式温度計R1に定電圧バイアスを与え、R1からの信号電流をバッファする。BDI回路は当該技術分野で公知である。トランジスタQ1からの信号電流は次いで集積化キャパシタC1上に集積化され、これは電気周波数バンドパスを確立することによりアナログ温度信号の信号対ノイズ比を決定する。トランジスタQ2はスイッチとして作用し、これは積分制御信号の作用によって積分時間および積分器リセットの両方を制御する。アナログ温度信号は次いでサンプリングされ、典型的には水平および/または垂直ブランキングの間に現われるであろう焦点面の出力ビデオ上に多重化される。サンプリングされたアナログ温度信号の値は、焦点面のビデオ出力のラインタイム毎に生成することができる。これにより、同じ積分時間に対しいくつかの独立した値を生成することが可能になり、よってサンプル値平均を使用して信号対ノイズ比を向上し得る。さらに、積分時間をラインタイムの間で変化させて、温度測定に対し一連の感度レベルを提供し得る。焦点面アレイの読出フレーム内での積分時間を変化させる能力はこの発明において重要であるが、これはR1の抵抗は−30℃から+60℃の焦点面動作温度範囲において10以上の因子によって変化し得るためである。
図1に示す機能の一部またはすべては、焦点面アレイチップ上に集積化することが可能であり、オンチップ集積化の実際の上限は集積回路設計規則およびシリコン集積回路ウェハ処理工場によってサポートされる最大のダイレチクルサイズによって決定される。しかしながらこの発明においては、チップ上に少なくとも6ビット解像度の検出器素子オフセット補正能力を組入れることが重要であり、これに対する方法は当該技術分野において公知である。これは典型的には、第1に初期のセンサ較正の間に適切な1組の検出器素子オフセット補正係数を求め、それらの値を不揮発性センサメモリにストアすることにより得られる。後に続くセンサ動作の間、これらの値は図1に示すようにデータバス22上の焦点面アレイに読出される。値は次いで焦点面アレイチップ上で使用され、少なくとも部分的に検出器素子オフセットパターン化を補正する。ここでほとんどの検出器素子オフセットパターン化が焦点面の出力ビデオから取除かれているために、より高いオンチップ信号ゲインを使用することが可能であり、焦点面の赤外線応答ダイナミックレンジが向上する。この発明においては、上述のものと同じ方法で動作中にTCOMPメモリ18から選択された1つまたはそれ以上の検出器素子の「粗い」オフセットテーブルの使用を通して、この能力を使用し、拡張する。要求される検出器素子の「粗い」オフセットテーブルの数は、温度の関数として変化する焦点面の検出器素子オフセットパターン化の程度に依存する。
TCOMP応答およびオフセット係数と検出器素子「粗」オフセット係数とはTCOMP係数メモリ18の中に含まれているが、これらは初期の1組のセンサ較正測定によって生成される。この発明において行なわれる初期のセンサ較正測定を図4を参照して説明する。図4は初期のセンサ較正測定の間に要求される条件を示す、1組の対にされたセンサ温度と、赤外線黒体ソース温度とを示す。センサ温度は横軸によって示され、縦軸は赤外線黒体ソース温度を示す。菱形は、較正測定条件の各々に対応するであろう温度の対を示す。検出器素子の「粗い」オフセット係数の測定は最初に行なわれる。非冷却熱検出器は典型的には「IRソース温度=センサ温度」と印された線に沿って、本質的に正味ではない熱放射応答を表示するために、検出器素子の「粗い」オフセット係数を測定するための最良のIRソースおよびセンサ温度条件は通常はこの線上(またはこの線に近接して)起こる。焦点面アレイの検出器素子応答のいくつかのフレームタイムの測定は、温度T1、T2、T3、T4、T5、T6、などにおいて行なわれる。これらのセンサ温度ごとの検出器素子の「粗い」オフセット係数は次いで好適な検出器素子応答の時間平均を使用して計算されるが、これは当該分野で公知であるいくつものアルゴリズムおよび方法のいずれかを使用して行なうことが可能である。一旦検出器素子の「粗い」オフセット係数が求められ焦点面アレイに与えられると、図4に示すようにTCOMP応答およびオフセット係数が選択された応答条件ごとに求められる。選択された動作条件ごとに、焦点面アレイ測定および計算は、検出器素子の「粗い」オフセット係数を求めるために行なわれた測定および計算と本質的に同一である。平均化された応答値は組合されて係数項S(Φ1,T1)n,(S(Φ2,T1)n−S(Φ1,T1)n),(S(Φ1,T2)n,−S(Φ1,T1)n),(S(Φ2,T2)n−S(Φ1,T2)n+S(Φ2,T1)n−S(Φ1,T1)n)および定数(T2−T1)を形成する。この発明においては、動作温度条件の所望の対を選択するための方法を使用して赤外線ソース照明および焦点面アレイ動作温度のサブ範囲の各々にわたって応答およびオフセット補正の性能を最適化する。
基本的な温度補償概念は好結果に実験的に実証され、モンテカルロ分析シミュレーションによってさらに確認された。初期の実験的な実証においては、先行して測定され記録された非冷却赤外線焦点面アレイビデオおよび温度測定データはTCOMPセンサ(すなわち図1)とエミュレートするために使用されたPCによって処理される。後に、センサ電子部品が設計され、構築され、実時間で図1を直接実現化する実証を行なった。モンテカルロ分析シミュレーションに対しては、焦点面アレイ、赤外線黒体シーンおよび光学素子、TCOMPセンサの較正、およびTCOMP応答およびオフセット補償アルゴリズムの動作に対し、モデルが開発された。統計的変動の傾向が最も顕著な焦点面アレイおよびセンサパラメータは、モンテカルロシミュレーション方法によってモデル化される。初期の実験的な実証から得られた主要な結果を、図5および図6に要約する。実時間センサ実証からの顕著な結果の例を、図7に示す。モンテカルロ分析シミュレーションからの代表的な結果を、図8および図9に示す。
TCOMP応答およびオフセット補償概念の初期の実証を、図5および図6を参照して説明する。この実証は、第1に焦点面アレイの動作温度および赤外線黒体ソースの温度の両方の関数として、ボーイングU3000からの応答データを記録することにより達成される。図5および図6の上に並ぶ数字は実証のために用いられた焦点面アレイ動作温度を示す。動作温度の各々において5つの赤外線黒体ソース温度に対する焦点面応答が測定され、動作温度ごとの焦点面応答値平均は5つの菱形によって示される。この先行して記録された焦点面応答データを使用して、284.5ケルビンの焦点面動作温度において従来の2ポイント応答およびオフセット較正が行なわれる。数式1は次いで動作温度およびIR照明レベルの各々ごとにストアされたビデオデータに適用され、残留パターンノイズのレベルは補正されたビデオの標準偏差によって求められる。図5では、焦点面動作温度が初期の較正温度からより逸脱するにつれ、パターンノイズのレベルがより増加するのを明確に示す。図6は、TCOMP応答およびオフセットアルゴリズムの適用が効果的に10の因子にまで残留パターンノイズのレベルを減じることを示す。図6に見られるように、2つのTCOMP較正温度は284.5Kおよび285.5Kである。
この発明のすべての機能的な実験的な実証も行なわれた。この場合では、センサが開発され図1を実時間で実現化する実証を行なった。図7は、15℃から42.5℃の焦点面動作温度にわたって得られる空間パターンノイズのレベルを示す。この場合では、空間パターン化のレベルは空間ノイズ等価温度差(NETD)で表わされる。空間NETDは、数式2がデジタルビデオ信号に適用された後の応答での空間パターン化レベルと等しい焦点面応答を生成するために必要であろうシーンでの黒体温度差と、等価である。上方データプロットと下部データプロットとの間で見られた空間NETDの顕著な減少は較正技術の改良に寄与する。
この発明のモンテカルロ分析シミュレーションモデル化結果を、図8および図9に示す。シミュレーションモデルは抵抗式ボロメータ検出器およびオンチップ焦点面アレイ読出電子部品を分析的に表わし、かつそれらの電気的刺激および赤外線刺激の適切な方への応答を特徴付ける。焦点面アレイ分析の各々での第1のステップは、統計的変動の支配的なソースである、ボロメータ検出器素子の物理的および電気的性質の変動をモデル化することである。これはモンテカルロシミュレーションによって達成される。モデルは次いでモンテカルロシミュレーションによって生成された検出器素子の統計的な組に対する検出器素子「粗」オフセット係数較正をシミュレートし、これらの粗いオフセット係数は検出器素子の組に適用される。次いで、TCOMP応答およびオフセット較正がシミュレートされ、結果として生じるTCOMP係数は図1に示すようにTCOMP DSP18のシミュレーションに適用される。焦点面動作温度と赤外線黒体ソース温度との両方が次いで変化され、モンテカルロシミュレーションによって生成された検出器素子の統計的な組に対してTCOMP応答が計算される。最後に、TCOMP応答の標準偏差がIRソースおよび焦点面温度の組の各々に対し計算され、空間NETDは標準偏差と特定のセンサ光学パラメータとを用いて計算される。図8に従来の応答およびオフセット補正(数式1)の場合に対し得られた空間NETD(F/1光学素子)を示す。シミュレーション分析においては、これは数式2に単に(T−T1)=0を設定することにより行なわれた。結果は明確であるが、これは空間NETDは、焦点面アレイの動作温度が初期の較正温度から逸脱するにつれ、漸進的に約1Kにまで増加するのが見られるためである。初期の焦点面アレイ較正温度もまた図8の空間NETDの面プロットにおいて明確に見ることができる。図9は、TCOMP応答およびオフセット補正が6Kの範囲の頂点面動作温度にわたって適用されたとき、100:1以上の改良が空間NETDにおいてもたらされたことを示す。この場合では、ΔT=6Kは単一の動作温度サブ範囲に対応する。焦点面アレイ動作温度範囲の全体はこれらの範囲の約16を段階を進むことにより、効果的に包含される。ここでシミュレーションモデルはまた、ボロメータと焦点面アレイ読出電子部品との多くの組合せに対する適当なサブ範囲ΔTの推定をも助ける。
熱電冷却器およびその温度制御電子部品の電力消費は、センサ較正および設計によって1.5ワットから5ワットの間であることが推定される。この電力は、最適化された集積回路設計に対するセンサ電子部品電力とほぼ等しいことが推定される。言い換えると、熱電冷却器をなくすと全体のセンサ電力を約50%減じるであろう。熱電冷却器とその関連の電子部品をなくすとセンサのコストを数百ドル減じ、熱電制御電子部品をなくすことと要求されるバッテリの数を減じることとの両方によってセンサのサイズを減じることが推定される。この発明に従った非冷却赤外線センサの減じられた電力、経費およびサイズは現在の技術を持っては効果的に提供されていない、一連の携帯可能であってアンアテンデッドオペレーションの用途を提供する。
当業者においては、前述の説明からこの発明の広範な教示がさまざまな形式において実現化できることが理解可能である。したがって、この発明はその特定の実施例に関して説明されてきたが、この発明の真の範囲は、当業者においては図面、明細書および前掲の特許請求の範囲の考察によって他の変形例が明らかとなるであろうから、それに限定されるべきではない。
Claims (8)
- 温度センサを介して、非冷却赤外線センサの動作温度を計測するステップを含み、前記非冷却赤外線センサは複数の検出器素子を含み、
前記非冷却赤外線センサから、前記非冷却赤外線センサの前記動作温度が計測された時に得られたビデオ入力信号の入力を受けるステップと、
前記非冷却赤外線センサの動作温度と予め定められた較正された補正項の温度に基づく線形補間法とを使用して、温度に基づく補正項を計算するステップとを含み、前記較正された補正項は、前記非冷却赤外線センサの予め定められた2つの動作温度(T1およびT2)の各々における予め定められた2つの赤外線の放射レベル(Φ1およびΦ2)に対する前記複数の検出器素子の各々の応答出力値を含み、
前記線形補間法を用いて計算された、前記温度に基づく補正項をビデオ入力信号に適用し、それにより前記非冷却赤外線センサの温度の変動によって起こるビデオ信号の変動を補正するステップとを含む、赤外線センサの温度に従って変動する赤外線センサのビデオ信号を補正するための方法。 - 前記非冷却赤外線センサの全体の動作温度範囲を、一般的にはほぼ線形である温度応答特徴を示す、より小さな予め定められたサブ範囲に分割するステップをさらに含み、前記予め定められた較正された補正項は前記予め定められたサブ範囲ごとに提供される、請求項1に記載の方法。
- 赤外線センサの温度に従って変動する赤外線センサのビデオ出力信号を補正するための方法であって、
非冷却赤外線センサの全体の動作温度の範囲を、一般的にはほぼ線形である温度応答特徴を示す、より小さな予め定められたサブ範囲に分割し、前記予め定められたサブ範囲ごとに対する予め定められた較正された応答およびオフセットエラー補正項をストアするステップを含み、前記非冷却赤外線センサは複数の検出器素子を含み、
温度センサを介して、前記非冷却赤外線センサの動作温度を計測するステップと、
前記非冷却赤外線センサから、前記非冷却赤外線センサの前記動作温度が計測された時に得られるビデオ入力信号の入力を受けるステップと、
前記非冷却赤外線センサの動作温度に対するサブ範囲を決定し、前記サブ範囲に対する予め定められた較正された応答およびオフセットエラー補正項を選択するステップと、
温度に基づく応答およびオフセット補正項を、前記非冷却赤外線センサの動作温度と前記予め定められた較正された応答およびオフセット補正項の温度に基づく線形補間法とを用いて計算するステップとを含み、前記予め定められた較正された応答およびオフセット補正項は、前記非冷却赤外線センサの予め定められた2つの動作温度(T1,T2)の各々において予め定められた2つの赤外線放射レベル(Φ1,Φ2)に対する前記複数の検出器素子の各々の応答出力値を含み、
前記線形補間法を用いて計算された、温度に基づく応答およびオフセットエラー補正項をビデオ入力信号に適用し、それにより前記非冷却赤外線センサの温度の変動によって起こるビデオの変動を補正するステップを含む、赤外線センサの温度に従って変動する赤外線センサのビデオ出力信号を補正するための方法。 - 前記非冷却赤外線センサは、前記複数の検出器素子および前記温度センサが統合されている焦点面アレイを含み、前記焦点面アレイは、前記較正された補正項と前記予め定められた2つの動作温度(T1,T2)を格納するためのメモリを含み、前記焦点面アレイは、さらに、以下のステップ:
前記温度センサを介して動作温度(T)を計測するステップと、
前記複数の検出器素子から入力ビデオ信号を受信するステップと、
前記温度に基づく補正項を計算するステップと、
補正された入力ビデオ信号が出力される前に、前記温度に基づく補正項を入力ビデオ信号に適用するステップと、を行なうように適合された回路を含む、請求項3に記載の方法。 - 非冷却焦点面アレイを備え、前記非冷却焦点面アレイは複数の検出器素子を含み、
前記非冷却焦点面アレイの温度を測定するための温度センサと、
予め定められた較正された温度に基づくビデオ信号補正項をストアするためのメモリ記憶手段とを含み、前記較正された補正項は、前記非冷却焦点面アレイの予め定められた2つの動作温度(T1,T2)の各々における予め定められた2つの赤外線放射レベル(Φ1,Φ2)に対する前記複数の検出器素子の各々の出力値を含み、
前記非冷却焦点面アレイからのビデオ入力信号を受取り、かつ前記温度センサから受取った温度データと前記予め定められた較正された温度に基づくビデオ信号補正項とに基づき線形補間された補正項を計算し、前記線形補間を用いて計算された補正項を前記非冷却焦点面アレイから受取ったビデオ入力信号へ適用するための、信号処理手段とを含む、撮像システム。 - 前記非冷却焦点面アレイおよび前記温度センサは集積回路チップに設けられる、請求項5に記載の撮像システム。
- 前記信号処理手段からビデオ信号補正データを前記集積回路チップへ通信するための、デジタルデータバスをさらに含む、請求項6に記載の撮像システム。
- 前記非冷却焦点面アレイの全体の動作温度範囲を、一般的にはほぼ線形である温度応答特徴を示す、より小さな予め定められたサブ範囲に分割することをさらに含み、前記予め定められた較正された温度に基づくビデオ信号補正項は前記予め定められたサブ範囲ごとに提供される、請求項5に記載の撮像システム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US09/518344 | 2000-03-03 | ||
US09/518,344 US6433333B1 (en) | 2000-03-03 | 2000-03-03 | Infrared sensor temperature compensated response and offset correction |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001058540A Division JP4902908B2 (ja) | 2000-03-03 | 2001-03-02 | 赤外線センサのビデオ信号を補正するための方法および撮像システム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013161222A Division JP5795034B2 (ja) | 2000-03-03 | 2013-08-02 | 赤外線センサのビデオ信号を補正するための方法および撮像システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012032400A true JP2012032400A (ja) | 2012-02-16 |
Family
ID=24063526
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001058540A Expired - Lifetime JP4902908B2 (ja) | 2000-03-03 | 2001-03-02 | 赤外線センサのビデオ信号を補正するための方法および撮像システム |
JP2011207590A Pending JP2012032400A (ja) | 2000-03-03 | 2011-09-22 | 赤外線センサのビデオ信号を補正するための方法および撮像システム |
JP2013161222A Expired - Fee Related JP5795034B2 (ja) | 2000-03-03 | 2013-08-02 | 赤外線センサのビデオ信号を補正するための方法および撮像システム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001058540A Expired - Lifetime JP4902908B2 (ja) | 2000-03-03 | 2001-03-02 | 赤外線センサのビデオ信号を補正するための方法および撮像システム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013161222A Expired - Fee Related JP5795034B2 (ja) | 2000-03-03 | 2013-08-02 | 赤外線センサのビデオ信号を補正するための方法および撮像システム |
Country Status (3)
Country | Link |
---|---|
US (1) | US6433333B1 (ja) |
EP (1) | EP1130907B1 (ja) |
JP (3) | JP4902908B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101965204B1 (ko) * | 2018-09-17 | 2019-04-04 | 한화시스템 주식회사 | 비냉각 적외선 검출기 및 이의 동작 방법 |
Families Citing this family (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7140766B2 (en) * | 1999-08-04 | 2006-11-28 | Given Imaging Ltd. | Device, system and method for temperature sensing in an in-vivo device |
EP1279011A2 (en) * | 2000-05-01 | 2003-01-29 | BAE SYSTEMS Information and Electronic Systems Integration, Inc. | Methods and apparatus for compensating a radiation sensor for temperature variations of the sensor |
US7365326B2 (en) * | 2000-12-26 | 2008-04-29 | Honeywell International Inc. | Camera having distortion correction |
US7280139B2 (en) * | 2001-07-20 | 2007-10-09 | Micron Technology, Inc. | Double sampling active pixel sensor with double sampling temperature sensor |
US6737639B2 (en) * | 2002-03-27 | 2004-05-18 | Raytheon Company | Display uniformity calibration system and method for a staring forward looking infrared sensor |
US7030378B2 (en) * | 2003-08-05 | 2006-04-18 | Bae Systems Information And Electronic Systems Integration, Inc. | Real-time radiation sensor calibration |
US7236613B2 (en) * | 2003-08-29 | 2007-06-26 | The Boeing Company | Methods and apparatus for infrared resolution of closely-spaced objects |
US20060186338A1 (en) * | 2004-03-05 | 2006-08-24 | Ditaranto Gerard | Method for improving measurement accuracy of infrared imaging radiometers |
US7235773B1 (en) | 2005-04-12 | 2007-06-26 | Itt Manufacturing Enterprises, Inc. | Method and apparatus for image signal compensation of dark current, focal plane temperature, and electronics temperature |
JP2008048104A (ja) | 2006-08-14 | 2008-02-28 | Sony Corp | 撮像装置と欠陥補正回路および欠陥補正方法 |
DE502006006465D1 (de) * | 2006-11-17 | 2010-04-29 | Amo Automatisierung Messtechni | Positionsmesseinrichtung |
US7709793B2 (en) * | 2007-07-12 | 2010-05-04 | Parrish William J | Bolometer array compensation |
DE102007056731A1 (de) * | 2007-11-26 | 2009-06-18 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Konzept zum Bestimmen eines Messwerts an einem Bauelement |
FR2951895B1 (fr) | 2009-10-22 | 2012-07-13 | Ulis | Procede de correction des images delivrees par un detecteur non regule en temperature, et detecteur mettant en oeuvre un tel procede |
KR101643952B1 (ko) * | 2009-12-23 | 2016-08-01 | 삼성전자주식회사 | 이동 통신 시스템에서 채널 추정 장치 및 방법 |
US8946647B2 (en) | 2011-02-17 | 2015-02-03 | Drs Rsta, Inc. | System and method for identifying non-cooperative pulsed radiation sources in a field-of-view of an imaging sensor |
US9568369B2 (en) * | 2011-11-11 | 2017-02-14 | Turbochef Technologies, Inc. | IR temperature sensor for induction heating of food items |
DE102012011886A1 (de) * | 2012-06-15 | 2013-12-19 | Connaught Electronics Ltd. | Kamera mit einem durch Wärme beeinflussten Bildsensor |
US8805115B2 (en) * | 2012-11-02 | 2014-08-12 | Raytheon Company | Correction of variable offsets relying upon scene |
FR3002631B1 (fr) | 2013-02-22 | 2018-11-02 | Ulis | Detecteur bolometrique a polarisation adaptative en temperature |
JP2016219914A (ja) * | 2015-05-15 | 2016-12-22 | 日本電気株式会社 | 赤外線撮像装置、及びその制御方法 |
KR101584249B1 (ko) * | 2015-05-29 | 2016-01-19 | 엘아이지넥스원 주식회사 | 영상 보정 장치 |
KR101584252B1 (ko) * | 2015-05-29 | 2016-01-19 | 엘아이지넥스원 주식회사 | 예상하지 못한 변수를 고려한 영상 보정 방법 |
US9936106B2 (en) * | 2015-11-12 | 2018-04-03 | Sensors Unlimited, Inc. | Pixel non-uniformity correction |
DE102015122452A1 (de) * | 2015-12-21 | 2017-06-22 | Heimann Sensor Gmbh | Verfahren und System zur berührungslosen Temperaturmessung |
US9992432B2 (en) * | 2016-01-04 | 2018-06-05 | Sensors Unlimited, Inc. | Gain normalization and non-uniformity correction |
KR101827810B1 (ko) * | 2016-07-28 | 2018-02-09 | 만도헬라일렉트로닉스(주) | 보정데이터 생성장치 및 이의 보정데이터 생성방법, 그리고 적외선 카메라 |
WO2018226437A1 (en) * | 2017-06-05 | 2018-12-13 | Adasky, Ltd. | Shutterless far infrared (fir) camera for automotive safety and driving systems |
US11350054B2 (en) | 2018-05-21 | 2022-05-31 | Bae Systems Information And Electronic Systems Integration Inc. | Dual gain imaging digital pixel memory |
US10992895B2 (en) * | 2018-05-21 | 2021-04-27 | Bae Systems Information And Electronic Systems Integration Inc. | Rolling subframe pulsed bias microbolometer integration |
JP7143558B2 (ja) * | 2018-05-30 | 2022-09-29 | フクロウビジョン株式会社 | 赤外線撮像装置及びそれに用いられるプログラム |
CN110987198B (zh) * | 2019-10-31 | 2021-03-26 | 北京空间机电研究所 | 一种空间遥感红外探测器焦平面温度精密测量系统 |
CN111898269A (zh) * | 2020-07-31 | 2020-11-06 | 西安探索者智能光电科技有限公司 | 一种mos电阻阵非均匀性数据修正补偿方法 |
CN113253777B (zh) * | 2021-04-16 | 2022-10-14 | 北京空间机电研究所 | 红外探测器粗精复合测控温系统 |
CN114397024B (zh) * | 2021-11-17 | 2023-09-29 | 中国航空工业集团公司洛阳电光设备研究所 | 基于变积分时间多段校正算法的温度段划分与切换方法 |
CN114235159B (zh) * | 2021-11-29 | 2023-10-03 | 上海航天控制技术研究所 | 一种基于fpga的红外凝视成像系统高速通信链路自适应高精度调整方法 |
TWI811989B (zh) | 2022-01-27 | 2023-08-11 | 國家中山科學研究院 | 在環境溫度變動下測溫穩定的方法 |
FR3137241B1 (fr) * | 2022-06-23 | 2024-06-21 | Bertin Technologies Sa | Procédés de détermination d’informations de calibration et d’élaboration d’images pour un capteur d’images, et capteur d’images |
CN115752759A (zh) * | 2022-11-29 | 2023-03-07 | 长春理工大学 | 一种非均匀性校正单个偏移参数的校正算法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02107074A (ja) * | 1988-10-17 | 1990-04-19 | Mitsubishi Electric Corp | 赤外線撮像装置 |
JPH09168116A (ja) * | 1995-12-15 | 1997-06-24 | Nec Corp | 熱型赤外線撮像装置 |
JPH10122956A (ja) * | 1996-10-22 | 1998-05-15 | Mitsubishi Electric Corp | 赤外線カメラ |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2149605B (en) * | 1983-11-04 | 1987-06-10 | Marconi Avionics | Image processing |
JPS61144174A (ja) * | 1984-12-17 | 1986-07-01 | Fujitsu Ltd | 固体撮像装置 |
JPH01147973A (ja) * | 1987-12-04 | 1989-06-09 | Hitachi Ltd | 固体撮像装置 |
US5028998A (en) * | 1989-02-06 | 1991-07-02 | Honeywell Regelsysteme Gmbh | Electronic zoom for wide-angle line scanners |
JPH04286477A (ja) * | 1991-03-15 | 1992-10-12 | Fujitsu Ltd | 赤外線撮像装置 |
JPH05180698A (ja) * | 1991-12-27 | 1993-07-23 | Hitachi Ltd | 温度計測器 |
CA2110368C (en) * | 1992-12-07 | 1999-11-23 | Gary M. Lindgren | Wide dynamic range non-uniformity compensation for infrared focal plane arrays |
US5471240A (en) | 1993-11-15 | 1995-11-28 | Hughes Aircraft Company | Nonuniformity correction of an imaging sensor using region-based correction terms |
US5563405A (en) | 1995-04-28 | 1996-10-08 | Santa Barbara Research Center | Staring IR-FPA with on-FPA adaptive dynamic range control electronics |
US5631466A (en) | 1995-06-16 | 1997-05-20 | Hughes Electronics | Apparatus and methods of closed loop calibration of infrared focal plane arrays |
JPH0923358A (ja) * | 1995-07-07 | 1997-01-21 | Olympus Optical Co Ltd | ビデオカメラ |
AU7471296A (en) * | 1995-10-24 | 1997-05-15 | Lockheed-Martin Ir Imaging Systems, Inc. | Uncooled focal plane array sensor |
US5902925A (en) * | 1996-07-01 | 1999-05-11 | Integrated Sensor Solutions | System and method for high accuracy calibration of a sensor for offset and sensitivity variation with temperature |
US5756999A (en) | 1997-02-11 | 1998-05-26 | Indigo Systems Corporation | Methods and circuitry for correcting temperature-induced errors in microbolometer focal plane array |
US6230108B1 (en) * | 1997-10-23 | 2001-05-08 | Fujitsu Limited | Realtime sensitivity correction method and infrared imaging system |
-
2000
- 2000-03-03 US US09/518,344 patent/US6433333B1/en not_active Expired - Lifetime
-
2001
- 2001-02-16 EP EP01200553.4A patent/EP1130907B1/en not_active Expired - Lifetime
- 2001-03-02 JP JP2001058540A patent/JP4902908B2/ja not_active Expired - Lifetime
-
2011
- 2011-09-22 JP JP2011207590A patent/JP2012032400A/ja active Pending
-
2013
- 2013-08-02 JP JP2013161222A patent/JP5795034B2/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02107074A (ja) * | 1988-10-17 | 1990-04-19 | Mitsubishi Electric Corp | 赤外線撮像装置 |
JPH09168116A (ja) * | 1995-12-15 | 1997-06-24 | Nec Corp | 熱型赤外線撮像装置 |
JPH10122956A (ja) * | 1996-10-22 | 1998-05-15 | Mitsubishi Electric Corp | 赤外線カメラ |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101965204B1 (ko) * | 2018-09-17 | 2019-04-04 | 한화시스템 주식회사 | 비냉각 적외선 검출기 및 이의 동작 방법 |
Also Published As
Publication number | Publication date |
---|---|
JP2013243766A (ja) | 2013-12-05 |
US6433333B1 (en) | 2002-08-13 |
JP4902908B2 (ja) | 2012-03-21 |
JP2001289712A (ja) | 2001-10-19 |
EP1130907A3 (en) | 2001-09-12 |
EP1130907A2 (en) | 2001-09-05 |
EP1130907B1 (en) | 2018-03-28 |
JP5795034B2 (ja) | 2015-10-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5795034B2 (ja) | 赤外線センサのビデオ信号を補正するための方法および撮像システム | |
US8158942B2 (en) | Device and method for detecting infrared radiation through a resistive bolometer matrix | |
US6690013B2 (en) | Apparatus and method for compensating for pixel non-uniformity in a bolometer | |
US7105818B2 (en) | Microbolometer focal plane array with temperature compensated bias | |
US7030378B2 (en) | Real-time radiation sensor calibration | |
US8987668B2 (en) | Bolometric detector with a temperature-adaptive biasing | |
US6444983B1 (en) | Microbolometer focal plane array with controlled bias | |
US6730909B2 (en) | Methods and apparatus for compensating a radiation sensor for temperature variations of the sensor | |
US6267501B1 (en) | Ambient temperature micro-bolometer control, calibration, and operation | |
US7807968B2 (en) | Method and system for measuring and compensating for the case temperature variations in a bolometer based system | |
JP2008185465A (ja) | 赤外線センサの温度補償方法および装置 | |
KR101732346B1 (ko) | 다중 기준 상관 이중 표본화 감지 방법 및 이를 이용한 마이크로 볼로미터 | |
US8704180B2 (en) | Device and method for detecting infrared radiation through a resistive bolometer matrix |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120403 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20120702 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20120705 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130402 |