JP2020081542A - 装置、方法およびプログラム - Google Patents
装置、方法およびプログラム Download PDFInfo
- Publication number
- JP2020081542A JP2020081542A JP2018222705A JP2018222705A JP2020081542A JP 2020081542 A JP2020081542 A JP 2020081542A JP 2018222705 A JP2018222705 A JP 2018222705A JP 2018222705 A JP2018222705 A JP 2018222705A JP 2020081542 A JP2020081542 A JP 2020081542A
- Authority
- JP
- Japan
- Prior art keywords
- image
- drug
- evaluation target
- subject
- degree
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
- G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H70/00—ICT specially adapted for the handling or processing of medical references
- G16H70/40—ICT specially adapted for the handling or processing of medical references relating to drugs, e.g. their side effects or intended usage
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Quality & Reliability (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Medicinal Chemistry (AREA)
- Molecular Biology (AREA)
- Chemical & Material Sciences (AREA)
- Pathology (AREA)
- Toxicology (AREA)
- Pharmacology & Pharmacy (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
Description
図1は、本実施形態に係る装置1を示す。装置1は、学習処理を施されたモデル13を用いて薬効の解析を行うものである。装置1は、学習データ取得部11と、学習処理部12と、モデル13と、画像取得部14と、確率取得部15と、算出部16と、投与条件取得部17と、検出部18とを備える。
学習データ取得部11は、薬の効能発揮前の被写体を示す発揮前画像、および、薬の効能発揮後の被写体を示す発揮後画像を含む学習データを取得する。ここで、被写体は、生物の器官や組織、細胞、細胞小器官(一例として核)、有機物(一例としてタンパク質や核酸)などであってよく、生体から採取されたものでよい。薬は、被写体に対して効能を有するものである。薬の効能は、薬が被写体を変化させる働きであり、被写体を健全な状態に変化させてもよいし、異常な状態(一例として破壊された状態)に変化させてもよい。
学習処理部12は、学習データ用いてモデル13の学習処理を実行する。例えば、学習処理部12はディープラーニングの手法で学習処理を行ってよい。
モデル13は、画像の入力に応じて当該画像の被写体が薬の効能発揮前、または、薬の効能発揮後として認識される認識確率を出力する。ここで、確率とは、その現象が起こることが期待される度合いであり、本実施形態では一例として40%などの百分率であるが、0.4などの比でもよい。
画像取得部14は、評価対象の被写体を示す1または複数の評価対象画像を取得する。評価対象の被写体は、薬の効能の発揮度合が評価される被写体である。薬の効能の発揮度合とは、薬の効能によって被写体が変化している度合である。一例として、評価対象の被写体は、予め定められた投与条件で薬が投与された被写体であってよい。投与条件とは、一例として薬の投与量であってもよいし、薬の効能が発揮される状態に被写体をさらした時間(暴露時間とも称する)であってもよい。
確率取得部15は、モデル13を用い、各評価対象画像についての認識確率を取得する。例えば、確率取得部15は、評価対象画像の画像データをモデル13に供給したことに応じてモデル13が出力する認識確率、つまり、薬の効能発揮前または薬の効能発揮後として認識される確率を取得する。
算出部16は、評価対象画像の認識確率に基づいて、評価対象の被写体に対する効能の発揮度合を算出する。
投与条件取得部17は、評価対象画像の被写体に対する薬の投与条件を取得する。例えば、投与条件取得部17は、複数の評価対象画像が画像取得部14により取得される場合に、それらの被写体に対する薬の投与条件をそれぞれ取得してよい。投与条件取得部17は、評価対象画像と薬の投与条件とを対応付けて記憶した記憶装置から薬の投与条件を取得してよい。これに代えて、投与条件取得部17は、各評価対象画像についてオペレータから投与条件を取得してもよい。投与条件取得部17は、取得した投与条件を検出部18に供給する。
検出部18は、各評価対象画像の発揮度合と、当該評価対象画像に対応する投与条件とに基づいて、発揮度合が予め定められた要約統計量(既定要約統計量とも称する)となる投与条件(薬効指標とも称する)を検出する。例えば、検出部18は、薬の投与条件が異なる複数の評価対象画像が画像取得部14により取得される場合に、それらの発揮度合および投与条件に基づいて薬効指標を検出してよい。
[2.1.学習処理]
図2は、装置1による学習処理を示す。装置1は、ステップS11〜S13の処理を行うことによりモデル13の学習処理を行う。
図3は、装置1による解析処理を示す。装置1は、ステップS21〜S29の処理を行うことにより、学習処理を施されたモデル13を用いて薬効の解析を行う。
図4は、薬の投与量と、発揮度合との関係を示す。図中の横軸は、薬の投与量(本実施形態では一例としてnM)を対数で示す。なお、横軸は薬の暴露時間であってもよい。図中の縦軸は、薬の効能の発揮度合を示す。図中のプロット,エラーバーは、同一の投与量のウェル内で撮像された複数の評価対象画像(例えば25〜49枚の画像)についての効能の発揮度合の平均値,分散を示す。この例では、投与量ごとの効能の発揮度合のうち、既定要約統計量(本動作例では一例として発揮度合0.5)に最も近い発揮度合0.23に対応する投与量1111nMの投与量が薬効指標として検出される。
なお、上記の実施形態においては、装置1が学習データ取得部11、学習処理部12、モデル13、投与条件取得部17および検出部18を備えることとして説明したが、これらの少なくとも1つを備えないこととしてもよい。例えば、装置1は、モデル13の学習処理を行わない場合には、学習データ取得部11および学習処理部12を備えなくてもよい。また、装置1は、発揮度合が既定要約統計量となる薬効指標を検出しない場合には、投与条件取得部17および検出部18を備えなくてもよい。また、モデル13は、装置1の外部のサーバに格納されてもよい。
2242 キーボード
Claims (10)
- 評価対象の被写体を示す評価対象画像を取得する画像取得部と、
画像の入力に応じて当該画像の被写体が、薬の効能発揮前、または、前記薬の効能発揮後として認識される認識確率を出力するモデルを用い、前記評価対象画像についての前記認識確率を取得する確率取得部と、
前記評価対象画像の前記認識確率に基づいて、前記薬の効能の発揮度合を算出する算出部と、
を備える装置。 - 前記確率取得部は、異なる投与条件で前記薬が投与された被写体を示す複数の前記評価対象画像のそれぞれについて前記認識確率を取得し、
前記算出部は、前記複数の評価対象画像それぞれの前記認識確率に基づいて、当該評価対象画像の前記発揮度合を算出する、請求項1に記載の装置。 - 各評価対象画像の被写体に対する前記薬の投与条件を取得する投与条件取得部と、
各評価対象画像の前記発揮度合と、当該評価対象画像に対応する投与条件とに基づいて、前記発揮度合が予め定められた要約統計量となる投与条件を検出する検出部と、
をさらに備える、請求項2に記載の装置。 - 前記確率取得部は、等しい投与条件で前記薬が投与された被写体を示す複数の前記評価対象画像のそれぞれについて前記認識確率を取得し、
前記算出部は、前記複数の評価対象画像についての複数の前記認識確率の代表値に基づいて前記発揮度合を算出する、請求項1〜3のいずれか一項に記載の装置。 - 前記確率取得部は、等しい投与条件で前記薬が投与された被写体を示す複数の前記評価対象画像のそれぞれについて前記認識確率を取得し、
前記算出部は、前記複数の評価対象画像についての複数の前記認識確率の分散に基づいて前記発揮度合を算出する、請求項1〜4のいずれか一項に記載の装置。 - 前記算出部は、前記評価対象画像についての前記認識確率を前記発揮度合に変換する変換部を有する、請求項1〜5のいずれか一項に記載の装置。
- 前記薬の効能発揮前の被写体を示す発揮前画像、および、前記薬の効能発揮後の被写体を示す発揮後画像を含む学習データを取得する学習データ取得部と、
前記学習データ用いて前記モデルの学習処理を実行する学習処理部と、
をさらに備える、請求項1〜6のいずれか一項に記載の装置。 - 前記発揮前画像は、前記薬を投与する前の被写体を示す画像であり、
前記発揮後画像は、前記薬の効能が最大限に発揮された状態の被写体を示す画像である、請求項7に記載の装置。 - 評価対象の被写体を示す評価対象画像を取得する画像取得段階と、
画像の入力に応じて当該画像の被写体が、薬の効能発揮前、または、前記薬の効能発揮後として認識される認識確率を出力するモデルを用い、前記評価対象画像についての前記認識確率を取得する確率取得段階と、
前記評価対象画像の前記認識確率に基づいて、前記薬の効能の発揮度合を算出する算出段階と、
を備える方法。 - コンピュータに、
評価対象の被写体を示す評価対象画像を取得する画像取得段階と、
画像の入力に応じて当該画像の被写体が、薬の効能発揮前、または、前記薬の効能発揮後として認識される認識確率を出力するモデルを用い、前記評価対象画像についての前記認識確率を取得する確率取得段階と、
前記評価対象画像の前記認識確率に基づいて、前記薬の効能の発揮度合を算出する算出段階と、
を実行させるプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018222705A JP6915604B2 (ja) | 2018-11-28 | 2018-11-28 | 装置、方法およびプログラム |
US16/673,982 US11024030B2 (en) | 2018-11-28 | 2019-11-05 | Apparatus, method, and recording medium |
EP19210312.5A EP3660736B1 (en) | 2018-11-28 | 2019-11-20 | Image analysis for evaluating the effect of a drug |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018222705A JP6915604B2 (ja) | 2018-11-28 | 2018-11-28 | 装置、方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020081542A true JP2020081542A (ja) | 2020-06-04 |
JP6915604B2 JP6915604B2 (ja) | 2021-08-04 |
Family
ID=68732690
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018222705A Active JP6915604B2 (ja) | 2018-11-28 | 2018-11-28 | 装置、方法およびプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11024030B2 (ja) |
EP (1) | EP3660736B1 (ja) |
JP (1) | JP6915604B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2022345529A1 (en) * | 2021-09-16 | 2024-03-14 | Inria (Institut national de recherche en informatique et en automatique) | Analysis and characterization of epithelial tissue structure |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006104201A1 (ja) * | 2005-03-29 | 2006-10-05 | Olympus Corporation | 細胞画像解析方法、細胞画像解析プログラム、細胞画像解析装置、スクリーニング方法およびスクリーニング装置 |
JP2009063509A (ja) * | 2007-09-07 | 2009-03-26 | Olympus Corp | 神経細胞画像解析装置及び神経細胞画像解析ソフトウェア |
JP2012202743A (ja) * | 2011-03-24 | 2012-10-22 | Yokogawa Electric Corp | 画像解析方法および画像解析装置 |
JP2019211468A (ja) * | 2018-06-01 | 2019-12-12 | 株式会社フロンティアファーマ | 画像処理方法、薬剤感受性試験方法および画像処理装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7736905B2 (en) * | 2006-03-31 | 2010-06-15 | Biodesix, Inc. | Method and system for determining whether a drug will be effective on a patient with a disease |
US7972266B2 (en) * | 2007-05-22 | 2011-07-05 | Eastman Kodak Company | Image data normalization for a monitoring system |
US8812240B2 (en) | 2008-03-13 | 2014-08-19 | Siemens Medical Solutions Usa, Inc. | Dose distribution modeling by region from functional imaging |
US10395764B2 (en) * | 2015-01-06 | 2019-08-27 | Aic Innovations Group, Inc. | Method and apparatus for recognition of patient activity |
JP6590690B2 (ja) * | 2015-12-25 | 2019-10-16 | 富士フイルム株式会社 | 細胞画像検索装置および方法並びにプログラム |
US10748277B2 (en) | 2016-09-09 | 2020-08-18 | Siemens Healthcare Gmbh | Tissue characterization based on machine learning in medical imaging |
-
2018
- 2018-11-28 JP JP2018222705A patent/JP6915604B2/ja active Active
-
2019
- 2019-11-05 US US16/673,982 patent/US11024030B2/en active Active
- 2019-11-20 EP EP19210312.5A patent/EP3660736B1/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006104201A1 (ja) * | 2005-03-29 | 2006-10-05 | Olympus Corporation | 細胞画像解析方法、細胞画像解析プログラム、細胞画像解析装置、スクリーニング方法およびスクリーニング装置 |
JP2009063509A (ja) * | 2007-09-07 | 2009-03-26 | Olympus Corp | 神経細胞画像解析装置及び神経細胞画像解析ソフトウェア |
JP2012202743A (ja) * | 2011-03-24 | 2012-10-22 | Yokogawa Electric Corp | 画像解析方法および画像解析装置 |
JP2019211468A (ja) * | 2018-06-01 | 2019-12-12 | 株式会社フロンティアファーマ | 画像処理方法、薬剤感受性試験方法および画像処理装置 |
Non-Patent Citations (1)
Title |
---|
加納拓弥ほか: "Deep CNNに基づくCT画像からの乳腺濃度の自動分類法", 信学技報, vol. 116, no. 39, JPN6021005724, 2016, JP, pages 21 - 25, ISSN: 0004449655 * |
Also Published As
Publication number | Publication date |
---|---|
JP6915604B2 (ja) | 2021-08-04 |
US20200167927A1 (en) | 2020-05-28 |
US11024030B2 (en) | 2021-06-01 |
EP3660736A1 (en) | 2020-06-03 |
EP3660736B1 (en) | 2023-12-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Jerlin Rubini et al. | Efficient classification of chronic kidney disease by using multi‐kernel support vector machine and fruit fly optimization algorithm | |
Hou et al. | Explainable DCNN based chest X-ray image analysis and classification for COVID-19 pneumonia detection | |
Hamida et al. | A Novel COVID‐19 Diagnosis Support System Using the Stacking Approach and Transfer Learning Technique on Chest X‐Ray Images | |
Moujahid et al. | Diagnosis of COVID-19 disease using convolutional neural network models based transfer learning | |
Abeyagunasekera et al. | LISA: Enhance the explainability of medical images unifying current XAI techniques | |
Vasan et al. | Thyroid detection using machine learning | |
Choo et al. | Use of machine learning in stroke rehabilitation: a narrative review | |
Patel et al. | Pneumonia detection using transfer learning | |
Ornob et al. | CovidExpert: A Triplet Siamese Neural Network framework for the detection of COVID-19 | |
JP6915604B2 (ja) | 装置、方法およびプログラム | |
Tabarisaadi et al. | A deep bayesian ensembling framework for COVID-19 detection using chest CT images | |
Chiari et al. | Length of stay prediction for Northern Italy COVID-19 patients based on lab tests and X-ray data | |
US20220145401A1 (en) | Method and system for predicting responsiveness to therapy for cancer patient | |
Hota | Identification of breast cancer using ensemble of support vector machine and decision tree with reduced feature subset | |
Kumar et al. | Advanced and effective classification of Parkinson’s disease using enhanced neural networks | |
Rajaraman et al. | Uncovering the effects of model initialization on deep model generalization: A study with adult and pediatric chest X-ray images | |
Swathi et al. | Prediction of Chronic Kidney Disease with Various Machine Learning Techniques: A Comparative Study | |
Srinivasulu | Early prediction of covid-19 using modified recurrent neural networks | |
Nega Tarekegn et al. | Towards Detecting Freezing of Gait Events Using Wearable Sensors and Genetic Programming | |
US20220208356A1 (en) | Radiological Based Methods and Systems for Detection of Maladies | |
Rguibi et al. | Automatic searching of deep neural networks for medical imaging diagnostic | |
Amin et al. | Developing a machine learning based prognostic model and a supporting web-based application for predicting the possibility of early diabetes and diabetic kidney disease | |
Nilashi et al. | Accuracy Analysis of Type-2 Fuzzy System in Predicting Parkinson’s Disease Using Biomedical Voice Measures | |
US11270435B2 (en) | Apparatus, method, and recording medium | |
Rahman et al. | CoroPy: A Deep Learning Based Comparison Between X-Ray and CT Scan Images in Covid-19 Detection and Classification |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200220 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210212 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210224 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210419 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210615 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210628 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6915604 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |