JP2017090457A - ピクセル非一様性補正 - Google Patents

ピクセル非一様性補正 Download PDF

Info

Publication number
JP2017090457A
JP2017090457A JP2016217877A JP2016217877A JP2017090457A JP 2017090457 A JP2017090457 A JP 2017090457A JP 2016217877 A JP2016217877 A JP 2016217877A JP 2016217877 A JP2016217877 A JP 2016217877A JP 2017090457 A JP2017090457 A JP 2017090457A
Authority
JP
Japan
Prior art keywords
fpa
temperature
pixel
uniformity
uniformity correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016217877A
Other languages
English (en)
Other versions
JP6768452B2 (ja
Inventor
ジョナサン・ナゼミ
Nazemi Jonathan
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sensors Unlimited Inc
Original Assignee
Sensors Unlimited Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sensors Unlimited Inc filed Critical Sensors Unlimited Inc
Publication of JP2017090457A publication Critical patent/JP2017090457A/ja
Application granted granted Critical
Publication of JP6768452B2 publication Critical patent/JP6768452B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)

Abstract

【課題】温度制御の必要性を低減または排除することを含む優れた特性を有するイメージングシステムを提供する。【解決手段】温度変化に対するピクセル非一様性の補正方法は、FPA温度を測定し、FPAに対してピクセル毎に非一様性補正マップを算出することを含む。この方法における、各ピクセルに対する非一様性補正は、FPA温度と実験的に導出された係数との関数である。この方法は、また、温度依存非一様性補正画像データを生成するためにFPAの出力を調節するよう、FPA温度で非一様性補正マップを適用することを含む。イメージング・システム100は、焦点面アレイ(FPA)102を含み、FPA温度を測定するために温度センサ106が作動可能に結合される。非一様性補正マップを算出して適用するために、モジュール112がFPA及び温度センサへ作動可能に結合される。FPAのための温度制御デバイスは、全く必要でない。【選択図】図1

Description

連邦政府委託による研究または開発に関する声明
この本発明は、米国海軍から授与された契約番号N00014−14−C−0061、及び、海兵隊システム・コマンド(MARCORSYSCOM)を通して授与された契約番号W15P7T−06−D−E402/S3及びW15P7T−10−D−D413/R23Gの下で、政府の支援を受けて達成された。米国政府は、本発明に特定の権利を有する。
本開示は、イメージングに関し、特に、イメージング・システムに使用されるような焦点面アレイに関する。
典型的な焦点面アレイ(FPA)は、製造上のバラツキなどに起因して、動作にピクセル毎の変動がある。この変動は、正確な画像データを生成するために、典型的に、各ピクセルを較正することによって、及び、ピクセル毎の較正データを、ピクセルからの信号を補正するように使用される補正マップとして保存することによって対処される。ピクセル性能は温度の関数として変化するため、補正マップが作成された温度が、システムが最も正確な画像を生成する温度である。すなわち、FPAの温度変化は、補正マップの有効性を低減する。非一様性は、典型的に、低光レベルで最も顕著である。この問題に対する典型的な解決策は、FPAの温度を制御するために、熱電冷却を利用することである。熱電冷却が一定の、既知の温度をFPAに維持し、また、その既知の温度に対応する補正マップが使用される限り、FPAは、周囲温度に関係なく、正確な画像データを生成するために使用できる。
そのような従来の方法及びシステムは、概して、それらの意図された目的を満たすと見なされている。しかしながら、今なお、本分野においては、イメージング技術を向上させる必要がある。本開示は、この必要性に対する解決策を提供する。
温度変化に対するピクセル非一様性の補正方法は、FPA温度を判定すること、及び、FPAに対してピクセル毎に非一様性補正マップを算出することを含む。この方法における各ピクセルに対する非一様性補正は、FPA温度と、実験的に導出した係数との関数である。この方法は、また、温度依存非一様性補正画像データを生成するために、非一様性補正マップを、FPAからのイメージング・データに適用することを含む。
非一様性補正マップの適用は、FPAの温度を制御することなく実行できる。FPA温度及び実験導出係数の関数は、FPA温度に基づき、各々のピクセルの暗レベルにおける変化を所望の補正値へ近似することを含むことができる。
各ピクセルに対する非一様性補正がFPA温度及び実験導出係数の関数である、ピクセル毎の非一様性補正マップの算出は、次式によって支配されてもよい。
Figure 2017090457
上式において、δIcは、各々のピクセルに関する、それの暗レベルから所望補正値への変化を表し、Tは、デジタル数字でのFPA温度であり、Irawは、デジタル数字でのピクセルの生の値であり、Tmax及びTminは、正規化温度Tに対する、各々最高及び最低温度、例えば最高及び最低作動温度であり、p0、p1、ならびにa、a、a及びaは、実験的に導出された係数である。
イメージング・システムは、焦点面アレイ(FPA)を含む。FPA温度を測定するために、温度センサが作動可能に結合される。上記説明のように、ピクセル毎に非一様性補正マップを算出するために、また、温度依存非一様性補正画像データを生成するために、FPAの出力を調節するよう非一様性補正マップを適用するために、FPA及び温度センサへ、モジュールが作動可能に結合される。
FPAの温度制御のために、温度制御デバイス、例えば熱電冷却デバイスが結合される必要は全くない。FPAは、バッファー付きカレント・ミラー・ピクセル・アーキテクチャを含んでもよい。また、FPAが、赤外イメージングのためにInGaAs材料を含むことも想定される。
本件開示のシステム及び方法の、これらの及び他の特徴は、図面と併せて、好適な実施形態の以下の詳細説明を考察すれば、当業者には容易に明らかになる。
本件開示に関わる当業者が、過度の実験を行わずに、本件開示のデバイス及び方法を製作及び使用する方法を容易に理解できるよう、特定の図面を参照しながら、以下に好適な実施形態を詳述する。
本開示に従って構築されたイメージング・システムの例示的実施形態を表す概略図であり、焦点面アレイ(FPA)を示す。
図面を参照する。図面内の類似参照数字は、本件開示の類似構造形態または態様を特定する。制限ではなく、説明及び図解の目的で、図1は、本開示によるイメージング・システムの例示的実施形態の一部を示す。そのイメージング・システムは、全体として参照文字100が付されている。本明細書に説明のシステム及び方法は、非温度制御焦点面アレイを使用する正確なイメージングのために使用可能である。
イメージング・システム100は、焦点面アレイ(FPA)102、及び図1内に三つの大きな矢印によって示すようにFPA102上に画像の焦点を定めるレンズ光学系101を含む。FPA102は、例えば、ピクセルの240×612のグリッドを有する二次元アレイ等、いずれの適切なアレイ・タイプであってもよい。しかし、この開示の範囲を逸脱することなく、一次元アレイを含んで、他の適切なアレイ構成を使用することも可能である。
温度センサ106は、読み出し集積回路ROIC104へ作動可能に結合される。FPA102とROIC104とは相対温度平衡状態にあるため、温度センサ106は、FPA102の温度を正確に表すのに十分な温度読み取りを提供する。ROIC104は、イメージングのためにアレイからの電気信号を調節するために、FPA102へ作動可能に結合される。ROIC104へは、モジュール112が作動可能に結合される。このモジュール112は、ROIC104からの信号が、信号出力のために調節可能なよう、フィールドプログラマブル・ゲートアレイ(FPGA)内のもの等の、埋め込みロジックで解析されるよう、エレクトロニック・アーキテクチャを提供する。モジュール112内では、ROIC104からの入力に基づいて、新しい制御値VGain、ゲイン電圧が算出される。それから、所望レベルのゲイン補整を成就するために、その新しい制御値がROIC104内に設定される。FPA102の温度制御のために、熱電冷却デバイス等の温度制御デバイスが結合される必要は全くない。FPA102は、バッファー付きカレント・ミラー・ピクセル・アーキテクチャまたは他の適切なアーキテクチャを含むことができる。また、FPA102が、赤外イメージングのために、InGaAs材料を含むことも想定される。
温度変化に対する、例えば、システム100のピクセル非一様性の補正方法は、例えば、センサ106を使用してFPA温度を測定すること、及び、FPA、例えばFPA102に対して、ピクセル毎に非一様性補正マップを算出することを含む。この場合の、各ピクセルに対する非一様性補正は、FPA温度及び実験導出係数の関数である。この方法は、また、温度依存非一様性補正画像データを生成するためにFPAの出力を調節するよう、FPA温度で非一様性補正マップを適用することを含む、その補正画像データは、例えばモジュール112によって出力できる。
非一様性補正マップの適用は、FPA102の温度を制御することなく実行可能である。FPA温度、基準温度でのシステム非一様性補正及び実験導出係数の関数は、各々のピクセルの暗レベルにおける変化を、所望の補正へ近似することを含むことができる。
従来の非一様性補正は、絶対基準からピクセルを補正するモデルを利用する。このことは、ピクセルが、入力デジタル・レベルと温度とのペアのためのデジタル・レベルになるよう補正されることを意味する。対照的に、この実施例で使用されるモデルは、相対基準において任意のピクセルを補正するアプローチを利用する。このことは、ピクセルが、ノーマルからの差を最小にするよう補正されることを意味する。オフセットからのゲインにおける変化は、滑らかであり、モデル化が著しく容易である。以下の計算は、非一様性、及び較正係数の数を低減する、または最小化するモデルに由来する。
各ピクセルに対する非一様性補正がFPA温度及び実験導出係数の関数である、ピクセル毎の非一様性補正マップの算出は、次式に支配されてもよい。
Figure 2017090457
上式において、δIcは、各々のピクセルに関する、それの暗レベルから所望補正値への変化を表し、Tは、デジタル数字でのFPA温度であり、Irawは、デジタル数字でのピクセルの生の値であり、Tmax及びTminは、正規化温度Tに対する、各々、最高及び最低温度、例えば最高及び最低作動温度などであり、p0、p1、ならびに、a、a、a及びaは、実験的に導出された係数である。
本明細書で説明するシステム及び方法は、FPA温度及び光レベルの範囲に渡って、ピクセル毎の非一様性を補正するために使用できる。本明細書に開示のシステム及び方法を利用する潜在的な利点は、イメージング・システムから、熱電冷却デバイス等の、温度制御のためのハードウェアを排除することを含む。また、温度制御がFPAの温度を部分的にのみ制御するハイブリッド・システムの使用も想定される。そのケースでは、残存するFPA温度誘発非一様性が、本明細書に開示の技術を利用することで補正可能である。温度制御デバイスの低減または排除は、電力消費及びハードウェア・サイズへの主要な要因の排除を可能にする。また、非温度制御(または部分的非温度制御)イメージング・システムにおける温度変化に対してシステム・ゲイン補正が行われた場合、そのような補正は、本明細書に開示の非一様性補正のためのデジタル負荷を有利に低減可能であることも想定される。
上記説明及び図示のように、本開示の方法及びシステムは、周囲温度の範囲に渡って正確なイメージング・データを提供することに加え、温度制御の必要性を低減または排除することを含む優れた特性を有するイメージング・システムを提供する。好適な実施形態を参照しながら、本件開示の装置及び方法を図示及び説明したが、当業者は、本件開示の範囲を逸脱することなく、それらへの変形例及び/または修正例を容易に理解することができる。
100 イメージング・システム
101 レンズ光学系
102 焦点面アレイ(FPA)
104 読み出し集積回路(ROIC)
106 温度センサ
112 モジュール

Claims (13)

  1. 温度変化に対するピクセル非一様性の補正方法であって、
    FPA温度を測定すること、
    前記FPAに対してピクセル毎に非一様性補正マップを算出することであって、各ピクセルに対する非一様性補正が、前記FPA温度と実験的に導出された係数との関数であるよう前記非一様性補正マップを算出すること、及び
    温度依存非一様性補正画像データを生成するために、前記FPAからのイメージング・データへ前記非一様性補正マップを適用することを含む、方法。
  2. 前記非一様性補正マップを適用することが、前記FPAの前記温度を制御することなく実行される、請求項1に記載の方法。
  3. 前記FPA温度及び実験導出係数の前記関数が、前記FPA温度に基づき、各々のピクセルのレベルにおける変化を、所望の補正値へ近似することを含む、請求項1に記載の方法。
  4. 前記FPAが、バッファー付きカレント・ミラー・ピクセル・アーキテクチャを含む、請求項1に記載の方法。
  5. 前記FPAが、赤外イメージングのためのInGaAs材料を含む、請求項1に記載の方法。
  6. ピクセル毎の非一様性補正マップを算出することであって、各ピクセルに対する前記非一様性補正が前記FPA温度及び実験導出係数の関数となる前記算出が、次式によって支配され、
    Figure 2017090457
    前記式中の、δIcが、各々のピクセルに関する、それの暗レベルから所望補正値への変化を表し、Irawが、デジタル数字でのピクセルの生の値であり、Tmax及びTminが、正規化FPA温度Tに対する、各々、最高及び最低温度であり、p0、p1、ならびにa、a、a及びaが、実験的に導出された係数である、請求項1に記載の方法。
  7. 焦点面アレイ(FPA)、
    FPA温度を測定するために、作動可能に結合された温度センサ、及び
    前記FPA及び温度センサへ作動可能に結合されたモジュールであって、前記FPA温度と実験的に導出された係数との関数として、前記FPAに対してピクセル毎に非一様性補正マップを適用する、及び、温度依存非一様性補正画像データを生成するために、前記FPAからの出力を調整するよう前記非一様性補正マップを適用する前記モジュールを含む、イメージング・システム。
  8. 前記FPAの温度制御のために結合される熱電冷却デバイスが全く存在しない、請求項7に記載のシステム。
  9. 前記FPAの温度制御のために結合される温度制御デバイスが全く存在しない、請求項8に記載のシステム。
  10. 前記FPA温度及び実験導出係数の関数が、各々のピクセルの暗レベルにおける変化を、前記各々のピクセルの暗レベルにおける変化に比較させた前記FPA温度での所望の補正値へ近似することを含む、請求項7に記載のシステム。
  11. 前記FPAが、バッファー付きカレント・ミラー・ピクセル・アーキテクチャを含む、請求項7に記載のシステム。
  12. 前記FPAが、赤外イメージングのためのInGaAs材料を含む、請求項7に記載のシステム。
  13. 前記モジュールが、次式に支配される前記FPA温度及び実験導出係数の関数として、前記FPAに対してピクセル毎に前記非一様性補正マップを算出するように構成され、
    Figure 2017090457
    前記式中の、δIcが、各々のピクセルに関する、それの暗レベルから所望補正値への変化を表し、Irawが、デジタル数字でのピクセルの生の値であり、Tmax及びTminが、正規化FPA温度Tに対する、各々、最高及び最低温度であり、p0、p1、ならびにa、a、a及びaが、実験的に導出された係数である、請求項7に記載のシステム。
JP2016217877A 2015-11-12 2016-11-08 ピクセル非一様性補正 Active JP6768452B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/939,449 2015-11-12
US14/939,449 US9936106B2 (en) 2015-11-12 2015-11-12 Pixel non-uniformity correction

Publications (2)

Publication Number Publication Date
JP2017090457A true JP2017090457A (ja) 2017-05-25
JP6768452B2 JP6768452B2 (ja) 2020-10-14

Family

ID=57288212

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016217877A Active JP6768452B2 (ja) 2015-11-12 2016-11-08 ピクセル非一様性補正

Country Status (3)

Country Link
US (1) US9936106B2 (ja)
EP (1) EP3169055B1 (ja)
JP (1) JP6768452B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10295230B2 (en) * 2016-04-15 2019-05-21 Sensors Unlimited, Inc. Thermoelectric cooling management
DE102016211821A1 (de) * 2016-06-30 2018-01-04 Robert Bosch Gmbh Verfahren zur kontaktfreien Ermittlung einer Temperatur sowie Infrarot-Messsystem
CN112781724B (zh) * 2020-12-22 2022-11-29 上海微波技术研究所(中国电子科技集团公司第五十研究所) 基于两点法的探测器非均匀性实时校正方法、系统及介质
CN113194251B (zh) * 2021-04-28 2022-05-27 烟台艾睿光电科技有限公司 一种用于红外热成像设备校正的方法、装置、设备、介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001289712A (ja) * 2000-03-03 2001-10-19 Boeing Co:The 赤外線センサのビデオ信号を補正するための方法および撮像システム
JP2003532111A (ja) * 2000-05-01 2003-10-28 ビーエイイー・システムズ・インフォメーション・アンド・エレクトロニック・システムズ・インテグレイション・インコーポレーテッド 放射センサの温度変動を補償するための方法および装置
JP2005236550A (ja) * 2004-02-18 2005-09-02 Mitsubishi Electric Corp 赤外線カメラ
JP2006013885A (ja) * 2004-06-25 2006-01-12 Fuji Photo Film Co Ltd カメラ
US20140340154A1 (en) * 2013-05-15 2014-11-20 Sensors Unlimited, Inc Systems and methods for image lag mitigation for buffered direct injection readout with current mirror

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4587563A (en) 1984-09-28 1986-05-06 Rca Corporation Cooler control for a solid-state imager camera
JP3573040B2 (ja) 1999-05-07 2004-10-06 三菱電機株式会社 赤外線カメラ及び赤外線カメラシステム
US6476392B1 (en) 2001-05-11 2002-11-05 Irvine Sensors Corporation Method and apparatus for temperature compensation of an uncooled focal plane array
US7235785B2 (en) 2001-05-11 2007-06-26 Irvine Sensors Corp. Imaging device with multiple fields of view incorporating memory-based temperature compensation of an uncooled focal plane array
US20020166968A1 (en) 2001-05-11 2002-11-14 Bradley Martin G. Apparatus and method of measuring bolometric resistance changes in an uncooled and thermally unstabilized focal plane array over a wide temperature range
US20080179520A1 (en) 2007-01-30 2008-07-31 Northrop Grumman Corporation Direct-view focal plane array
CN103839955B (zh) 2007-04-18 2016-05-25 因维萨热技术公司 用于光电装置的材料、系统和方法
US7679048B1 (en) 2008-04-18 2010-03-16 Flir Systems, Inc. Systems and methods for selecting microbolometers within microbolometer focal plane arrays
WO2010128509A1 (en) 2009-05-06 2010-11-11 Real Imaging Ltd. Camera having a temperature balancing feature
US10091439B2 (en) 2009-06-03 2018-10-02 Flir Systems, Inc. Imager with array of multiple infrared imaging modules
US8569684B2 (en) * 2009-11-06 2013-10-29 Steven J. Olson Infrared sensor control architecture
US9450001B2 (en) * 2009-12-03 2016-09-20 Technion Research & Development Foundation Limited Method and system for detecting light and designing a light detector
EA024855B1 (ru) 2012-07-10 2016-10-31 Закрытое Акционерное Общество "Импульс" Способ получения субтракционного ангиографического изображения

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001289712A (ja) * 2000-03-03 2001-10-19 Boeing Co:The 赤外線センサのビデオ信号を補正するための方法および撮像システム
JP2003532111A (ja) * 2000-05-01 2003-10-28 ビーエイイー・システムズ・インフォメーション・アンド・エレクトロニック・システムズ・インテグレイション・インコーポレーテッド 放射センサの温度変動を補償するための方法および装置
JP2005236550A (ja) * 2004-02-18 2005-09-02 Mitsubishi Electric Corp 赤外線カメラ
JP2006013885A (ja) * 2004-06-25 2006-01-12 Fuji Photo Film Co Ltd カメラ
US20140340154A1 (en) * 2013-05-15 2014-11-20 Sensors Unlimited, Inc Systems and methods for image lag mitigation for buffered direct injection readout with current mirror

Also Published As

Publication number Publication date
JP6768452B2 (ja) 2020-10-14
US20170142297A1 (en) 2017-05-18
US9936106B2 (en) 2018-04-03
EP3169055B1 (en) 2019-07-24
EP3169055A1 (en) 2017-05-17

Similar Documents

Publication Publication Date Title
US10128808B2 (en) Gain calibration for an imaging system
US9992432B2 (en) Gain normalization and non-uniformity correction
EP3183872B1 (en) Adaptive adjustment of operating bias of an imaging system
US10469747B2 (en) Infrared imaging device and signal correction method using infrared imaging device
JP6768452B2 (ja) ピクセル非一様性補正
US20090273675A1 (en) Ir camera and method for use with ir camera
US20160065848A1 (en) Thermography for a thermal imaging camera
JP2008185465A (ja) 赤外線センサの温度補償方法および装置
JP2019039672A (ja) 赤外線カメラの温度補正方法
US20180276804A1 (en) Enhancing images
EP3182082B1 (en) Gain normalization
JP4017983B2 (ja) 複数のバイアスパルスによるボロメータアレーの読み出し方法及び装置
JP2016133305A (ja) 赤外線検知装置
KR101731287B1 (ko) 적외선 디텍터의 출력 보정 방법 및 장치
JP2001174329A (ja) 抵抗変化型赤外線センサ素子の温度補正方法と温度補正手段を具備した抵抗変化型赤外線センサ並びに撮像装置
JP4014110B2 (ja) 撮像装置の調整方法
KR20180122234A (ko) 냉각형 적외선영상시스템의 출력 신호 보정 방법
TW202146862A (zh) 紅外線攝影裝置
US10295230B2 (en) Thermoelectric cooling management
US10436653B2 (en) Self-calibration of a radiometric imager
JP7143558B2 (ja) 赤外線撮像装置及びそれに用いられるプログラム
Nazemi et al. Small SWaP TEC-less SWIR camera with current mirror pixel and temperature dependent non-uniformity corrections
US20160198075A1 (en) Image capture device, image correction method, and image correction program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20180118

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20180118

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20180123

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20180118

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190509

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200519

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200811

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200908

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200923

R150 Certificate of patent or registration of utility model

Ref document number: 6768452

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250