JP2019066465A - 光学式気体撮像カメラ用の背景放射輝度推定および気体濃度・長定量の方法 - Google Patents
光学式気体撮像カメラ用の背景放射輝度推定および気体濃度・長定量の方法 Download PDFInfo
- Publication number
- JP2019066465A JP2019066465A JP2018169323A JP2018169323A JP2019066465A JP 2019066465 A JP2019066465 A JP 2019066465A JP 2018169323 A JP2018169323 A JP 2018169323A JP 2018169323 A JP2018169323 A JP 2018169323A JP 2019066465 A JP2019066465 A JP 2019066465A
- Authority
- JP
- Japan
- Prior art keywords
- image
- gas
- length
- gas concentration
- background
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000003384 imaging method Methods 0.000 title claims abstract description 13
- 230000003287 optical effect Effects 0.000 title claims abstract description 11
- 238000011002 quantification Methods 0.000 title abstract description 5
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000005259 measurement Methods 0.000 claims description 9
- 230000003213 activating effect Effects 0.000 claims description 5
- 238000004040 coloring Methods 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 5
- 238000012544 monitoring process Methods 0.000 abstract description 2
- 239000007789 gas Substances 0.000 description 126
- 238000003860 storage Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000010521 absorption reaction Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 230000008439 repair process Effects 0.000 description 3
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 2
- UGFAIRIUMAVXCW-UHFFFAOYSA-N Carbon monoxide Chemical compound [O+]#[C-] UGFAIRIUMAVXCW-UHFFFAOYSA-N 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 229910002091 carbon monoxide Inorganic materials 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000012530 fluid Substances 0.000 description 2
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 description 2
- 230000035699 permeability Effects 0.000 description 2
- 238000012731 temporal analysis Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000005457 Black-body radiation Effects 0.000 description 1
- 229910018503 SF6 Inorganic materials 0.000 description 1
- 238000000862 absorption spectrum Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 229910002092 carbon dioxide Inorganic materials 0.000 description 1
- 239000001569 carbon dioxide Substances 0.000 description 1
- 239000003054 catalyst Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000000053 physical method Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000005067 remediation Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- SFZCNBIFKDRMGX-UHFFFAOYSA-N sulfur hexafluoride Chemical compound FS(F)(F)(F)(F)F SFZCNBIFKDRMGX-UHFFFAOYSA-N 0.000 description 1
- 229960000909 sulfur hexafluoride Drugs 0.000 description 1
- 238000000700 time series analysis Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
- G01N21/3504—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light for analysing gases, e.g. multi-gas analysis
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M3/00—Investigating fluid-tightness of structures
- G01M3/38—Investigating fluid-tightness of structures by using light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
- G01N21/3504—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light for analysing gases, e.g. multi-gas analysis
- G01N2021/3509—Correlation method, e.g. one beam alternating in correlator/sample field
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
- G01N21/3504—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light for analysing gases, e.g. multi-gas analysis
- G01N2021/3531—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light for analysing gases, e.g. multi-gas analysis without instrumental source, i.e. radiometric
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Pathology (AREA)
- Immunology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Examining Or Testing Airtightness (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
Claims (19)
- 気体濃度・長定量方法であって、
気体プルームを含む第1の画像をカメラで取得することと;
前記第1の画像の前記気体プルームに対応する画素を特定・区分することと;
前記第1の画像に対応し、前記第1の画像の前記気体プルームに対応する画素のみが0以外の値を有するマスク画像を作成することと;
前記第1の画像と前記マスク画像を入力情報とし、画像修復アルゴリズムを用いて前記第1の画像に対応する背景画像を作成することと;
前記第1の画像と前記背景画像のデータに基づき前記第1の画像の前記気体プルームに対応する各画素の気体濃度・長を計算することと;
少なくとも1つの画素の前記気体濃度・長が閾値を超えた場合に警報を作動させること
を含む、気体濃度・長定量方法。 - 前記カメラは赤外線感受性の光学式気体撮像カメラであり、前記第1の画像は赤外線画像である、請求項1に記載の方法。
- 前記マスク画像は二値画像である、請求項1に記載の方法。
- 前記気体プルームを含む対象領域を選択することをさらに含み、
マスク画像の作成、背景画像の作成、および前記気体濃度・長の計算からなる一連の工程のうち少なくとも1つの工程は前記対象領域内で実行される、請求項1に記載の方法。 - 前記対象領域は実質的に均質な背景情景を含む、請求項4に記載の方法。
- 前記第1の画像をカラー化することと;
作成された前記背景画像を各画素の前記気体濃度・長の計算の前にグレースケール画像に再変換すること
をさらに含み、
作成された前記背景画像は、カラー化された前記第1の画像を入力情報として用い、カラー化されている、請求項1に記載の方法。 - 前記第1の画像のカラー化は、畳み込みニューラルネットワークを用いる、請求項6に記載の方法。
- 前記画像修復方法はテレア・アルゴリズムである、請求項1に記載の方法。
- 前記画像修復方法はナビエ・ストークス・アルゴリズムである、請求項1に記載の方法。
- カメラと前記カメラに接続された処理装置とを含む気体濃度・長定量システムであって、
前記処理装置は、
前記カメラから気体プルームを含む第1の画像を読み込み;
前記第1の画像の前記気体プルームに対応する画素を特定・区分し;
前記第1の画像に対応し、前記第1の画像の前記気体プルームに対応する画素のみが0以外の値を持つマスク画像を作成し;
前記第1の画像と前記マスク画像を入力情報とし、画像修復アルゴリズムを用いて前記第1の画像に対応する背景画像を作成し;
前記第1の画像と前記背景画像のデータに基づき前記第1の画像の前記気体プルームに対応する各画素の気体濃度・長を計算し;かつ
少なくとも1つの画素の前記気体濃度・長が閾値を超えた場合に警報を作動させる、システム。 - 前記カメラは赤外線感受性の光学式気体撮像カメラであり、前記第1の画像は赤外線画像である、請求項10に記載のシステム。
- 前記マスク画像は二値画像である、請求項10に記載のシステム。
- 前記気体プルームを含む対象領域を選択することをさらに含み、
マスク画像の作成、背景画像の作成、および前記気体濃度・長の計算からなる一連の工程のうち少なくとも1つの工程は前記対象領域内で実行される、請求項10に記載のシステム。 - 前記対象領域は実質的に均質な背景情景を含む、請求項13に記載のシステム。
- 前記第1の画像をカラー化することと;
作成された前記背景画像を各画素の前記気体濃度・長の計算の前にグレースケール画像に再変換すること
をさらに含み、
作成された前記背景画像はカラー化された前記第1の画像を入力情報として用い、カラー化されている、請求項10に記載のシステム。 - 前記第1の画像のカラー化は畳み込みニューラルネットワークを用いる、請求項15に記載のシステム。
- 前記画像修復方法はテレア・アルゴリズムである、請求項10に記載のシステム。
- 前記画像修復方法はナビエ・ストークス・アルゴリズムである、請求項10に記載のシステム。
- 非一時的コンピューター可読媒体(CRM)であって、前記非一時的コンピューター可読媒体で具現化されるコンピューター可読プログラムコードを記憶し、
前記コンピューター可読プログラムコードは、気体プルームを含む第1の画像を読み込み;
前記第1の画像の前記気体プルームに対応する画素を特定・区分し;
前記第1の画像に対応し、前記第1の画像の前記気体プルームに対応する画素のみが0以外の値を持つマスク画像を作成し;
前記第1の画像と前記マスク画像を入力情報とし、画像修復アルゴリズムを用いて前記第1の画像に対応する背景画像を作成し;
前記第1の画像と前記背景画像のデータに基づき前記第1の画像の前記気体プルームに対応する各画素の気体濃度・長を計算し;かつ
少なくとも1つの画素の前記気体濃度・長が閾値を超えた場合に警報を作動させる、
媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/720,708 US10234380B1 (en) | 2017-09-29 | 2017-09-29 | Background radiance estimation and gas concentration-length quantification method for optical gas imaging camera |
US15/720,708 | 2017-09-29 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019066465A true JP2019066465A (ja) | 2019-04-25 |
JP7042196B2 JP7042196B2 (ja) | 2022-03-25 |
Family
ID=63878314
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018169323A Active JP7042196B2 (ja) | 2017-09-29 | 2018-09-11 | 光学式気体撮像カメラ用の背景放射輝度推定および気体濃度・長定量の方法 |
Country Status (3)
Country | Link |
---|---|
US (2) | US10234380B1 (ja) |
EP (1) | EP3462413B1 (ja) |
JP (1) | JP7042196B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023105856A1 (ja) * | 2021-12-10 | 2023-06-15 | コニカミノルタ株式会社 | ガス濃度測定装置、ガス濃度測定方法、およびプログラム |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11598716B2 (en) * | 2017-09-27 | 2023-03-07 | Konica Minolta, Inc. | Gas image device and image acquisition method |
US10684216B2 (en) * | 2018-03-30 | 2020-06-16 | Konica Minolta Laboratory U.S.A., Inc. | Multi-spectral gas quantification and differentiation method for optical gas imaging camera |
WO2020042004A1 (en) * | 2018-08-29 | 2020-03-05 | Intel Corporation | Training one-shot instance segmenters using synthesized images |
US11468538B2 (en) * | 2019-04-05 | 2022-10-11 | Baker Hughes Oilfield Operations Llc | Segmentation and prediction of low-level temporal plume patterns |
US11815427B2 (en) * | 2022-01-14 | 2023-11-14 | Rebellion Photonics, Inc. | Systems, methods, and computer program products for recursive hyperspectral imaging |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06348840A (ja) * | 1993-06-03 | 1994-12-22 | Konica Corp | 画像復元方法 |
US20140008526A1 (en) * | 2012-07-06 | 2014-01-09 | Providence Photonics, Llc | Calibration and quantification method for gas imaging camera |
JP2017511017A (ja) * | 2014-01-10 | 2017-04-13 | オステンド・テクノロジーズ・インコーポレーテッド | フルパララックス圧縮ライトフィールド3dイメージングシステムのための方法 |
WO2017073427A1 (ja) * | 2015-10-29 | 2017-05-04 | コニカミノルタ株式会社 | 漏洩ガス検出装置および漏洩ガス検出方法 |
WO2017104607A1 (ja) * | 2015-12-15 | 2017-06-22 | コニカミノルタ株式会社 | ガス濃度厚み積測定装置、ガス濃度厚み積測定方法、ガス濃度厚み積測定プログラム、及び、ガス濃度厚み積測定プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6690472B2 (en) * | 2000-09-28 | 2004-02-10 | Sandia National Laboratories | Pulsed laser linescanner for a backscatter absorption gas imaging system |
IL190757A (en) * | 2008-04-09 | 2013-03-24 | Rafael Advanced Defense Sys | Method for remote spectral analysis of gas plumes |
US8330957B2 (en) * | 2009-06-29 | 2012-12-11 | Hager Enviromental and Atmospheric Technologies, LLC | Device and method for quantification of gases in plumes by remote sensing |
US8616052B1 (en) * | 2010-10-12 | 2013-12-31 | Exelis, Inc. | System and method of visualization of species characterization, dynamics and stratification of the magnetosphere |
US20140002667A1 (en) * | 2011-03-25 | 2014-01-02 | Joseph M. Cheben | Differential Infrared Imager for Gas Plume Detection |
US9599508B2 (en) * | 2012-05-18 | 2017-03-21 | Rebellion Photonics, Inc. | Divided-aperture infra-red spectral imaging system |
EP3265996A1 (en) * | 2015-03-02 | 2018-01-10 | Flir Systems AB | Quantifying gas in passive optical gas imaging |
-
2017
- 2017-09-29 US US15/720,708 patent/US10234380B1/en active Active
-
2018
- 2018-09-11 JP JP2018169323A patent/JP7042196B2/ja active Active
- 2018-09-25 EP EP18196514.6A patent/EP3462413B1/en active Active
-
2019
- 2019-01-31 US US16/263,576 patent/US10359359B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06348840A (ja) * | 1993-06-03 | 1994-12-22 | Konica Corp | 画像復元方法 |
US20140008526A1 (en) * | 2012-07-06 | 2014-01-09 | Providence Photonics, Llc | Calibration and quantification method for gas imaging camera |
JP2017511017A (ja) * | 2014-01-10 | 2017-04-13 | オステンド・テクノロジーズ・インコーポレーテッド | フルパララックス圧縮ライトフィールド3dイメージングシステムのための方法 |
WO2017073427A1 (ja) * | 2015-10-29 | 2017-05-04 | コニカミノルタ株式会社 | 漏洩ガス検出装置および漏洩ガス検出方法 |
WO2017104607A1 (ja) * | 2015-12-15 | 2017-06-22 | コニカミノルタ株式会社 | ガス濃度厚み積測定装置、ガス濃度厚み積測定方法、ガス濃度厚み積測定プログラム、及び、ガス濃度厚み積測定プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023105856A1 (ja) * | 2021-12-10 | 2023-06-15 | コニカミノルタ株式会社 | ガス濃度測定装置、ガス濃度測定方法、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
EP3462413B1 (en) | 2020-11-04 |
JP7042196B2 (ja) | 2022-03-25 |
EP3462413A1 (en) | 2019-04-03 |
US20190162657A1 (en) | 2019-05-30 |
US20190101490A1 (en) | 2019-04-04 |
US10359359B2 (en) | 2019-07-23 |
US10234380B1 (en) | 2019-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7042196B2 (ja) | 光学式気体撮像カメラ用の背景放射輝度推定および気体濃度・長定量の方法 | |
JP7217180B2 (ja) | 光学式気体撮像カメラ用の気体のマルチスペクトル定量・識別方法 | |
Lu et al. | Underwater optical image processing: a comprehensive review | |
CN107209935B (zh) | 用于测量移动文档图像质量的系统及方法 | |
US10706633B2 (en) | Augmented reality systems and methods for vehicle inspection | |
US20130034298A1 (en) | Image-based crack detection | |
JP2007156655A (ja) | 変動領域検出装置及びその方法 | |
US20220067514A1 (en) | Inference apparatus, method, non-transitory computer readable medium and learning apparatus | |
Hassan et al. | Single image defocus estimation by modified Gaussian function | |
Sosnowski et al. | Image processing in thermal cameras | |
Zhou et al. | Improved estimation of motion blur parameters for restoration from a single image | |
Sasaki et al. | Passive 3D location estimation of non-line-of-sight objects from a scattered thermal infrared light field | |
Sweeney et al. | Autonomous extraction of optimal flame fronts in OH planar laser-induced fluorescence images | |
Hartl et al. | Automated visual inspection of friction stir welds: a deep learning approach | |
JP7294343B2 (ja) | ガス検出装置、情報処理装置およびプログラム | |
Abdullah-Al-Mamun et al. | A new full-reference image quality metric for motion blur profile characterization | |
CN116958145B (zh) | 图像处理方法、装置、视觉检测系统及电子设备 | |
Sheiati et al. | Deep learning-based fatigue damage segmentation of wind turbine blades under complex dynamic thermal backgrounds | |
Steffens et al. | Non-stationary VFD evaluation kit: Dataset and metrics to fuel video-based fire detection development | |
Chen et al. | Mobile imaging and computing for intelligent structural damage inspection | |
KR101966750B1 (ko) | 이미지 데이터로부터 기계학습에 의한 시정거리 예측 장치, 시스템, 및 방법 | |
Ali et al. | Active contour image segmentation model with de‐hazing constraints | |
Nasonov et al. | Linear blur parameters estimation using a convolutional neural network | |
Mohsin et al. | Convolutional neural networks for real-time wood plank detection and defect segmentation | |
Rangel et al. | On evaluating deep learning-based optical flow methods for gas velocity estimation with optical gas imaging cameras |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181130 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210322 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220214 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220222 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220314 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7042196 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |