JP2023054206A - 情報処理装置、情報処理装置の制御方法及びプログラム - Google Patents
情報処理装置、情報処理装置の制御方法及びプログラム Download PDFInfo
- Publication number
- JP2023054206A JP2023054206A JP2023025523A JP2023025523A JP2023054206A JP 2023054206 A JP2023054206 A JP 2023054206A JP 2023025523 A JP2023025523 A JP 2023025523A JP 2023025523 A JP2023025523 A JP 2023025523A JP 2023054206 A JP2023054206 A JP 2023054206A
- Authority
- JP
- Japan
- Prior art keywords
- data
- partial area
- local data
- local
- labeled
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 title claims description 127
- 238000002372 labelling Methods 0.000 claims abstract description 50
- 238000009826 distribution Methods 0.000 claims abstract description 27
- 230000002093 peripheral effect Effects 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 description 22
- 238000001514 detection method Methods 0.000 description 21
- 238000003860 storage Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 238000013500 data storage Methods 0.000 description 9
- 238000000605 extraction Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 6
- 238000007689 inspection Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 239000000470 constituent Substances 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000006253 efflorescence Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 235000011389 fruit/vegetable juice Nutrition 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 206010037844 rash Diseases 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
- G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
- G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/778—Active pattern-learning, e.g. online learning of image or video features
- G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
- G06V10/7788—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being a human, e.g. interactive learning with a human teacher
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
Description
ラベル付け対象データの中から学習に効果的なデータを判定して局所データとして設定する局所設定手段と、
前記局所データの分布に基づいて、前記ラベル付け対象データの中からラベル付けを行う部分領域を設定する領域設定手段と、
前記部分領域において前記ラベル付けの入力を行うための表示を表示部に表示させる表示制御手段と、
前記入力を受け付ける入力手段と、
を備えることを特徴とする。
本実施形態では、ラベルがついていないデータから、学習に効果のある部分領域を選択して、ラベル付け対象データとして提示する。本実施形態では、ある基準に基づいて、ラベル付けを要求する局所データを決定し、さらに、局所データを含み、局所データよりも広い範囲である部分領域を決定し、部分領域に対してラベル付けを要求する。
まず、図1を参照して、一実施形態に係る情報処理装置の構成例を説明する。情報処理装置100及び関連する構成は、ネットワークや各種情報記録媒体を介して取得したソフトウエア(プログラム)を、CPU、メモリ、ストレージデバイス、入出力装置、バス、表示装置などにより構成される計算機によって実行することで実現できる。なお、計算機については、汎用の計算機を用いてもよいし、ソフトウエアに最適に設計されたハードウェアを用いてもよい。
図3は、本実施形態に係る情報処理装置が実施する処理の手順を示すフローチャートである。
ステップS301では、局所設定部102は、ラベル付けを行う対象の画像をデータ保存部101から読み込む。本実施形態では、図2の一つの橋梁の画像を読み込む実施形態について説明するが、ステップS301で読み込む画像データは、一つの構造物に限るものではない。例えば、複数の構造物の画像を読み込んでもよい。また、図2の橋梁の床版201部分の画像のみを読み込むなど、構造物の部分的な画像を読み込んでもよい。
ステップS302では、局所設定部102は、ラベル付けを行う対象の画像データのうち、学習に効果のある部分を判定し、局所データとして設定する。本実施形態における局所データは画像中の画素である。以下では、この局所データを設定する方法について説明する。
ステップS303では、部分領域設定部103は、局所データの空間的な分布に基づいて、部分領域候補を作成する。図4(B)は、図4(A)の局所データから部分領域候補421、422、423、424を作成する様子を示している。以下では、このように局所データの空間的な分布から、部分領域候補を作成する方法について説明する。なお、ステップS303の部分領域候補の作成方法についても2種類の方法を説明する。
ステップS304では、部分領域設定部103は、ステップS303で決定したM個の部分領域候補のそれぞれについてラベル付けの優先度を算出する。以下、優先度の値が高い部分領域候補ほど、より学習に効果のある領域であることを示すものとする。優先度の算出方法は、例えば、以下のような方法により算出することができる。
ステップS305では、部分領域設定部103は、ステップS304で算出した優先度に基づいて、部分領域候補から部分領域を選択することにより部分領域を決定する。優先度に基づいて部分領域候補から部分領域を決定する方法は、優先度の順に部分領域候補をソートし、上位M個の部分領域候補を部分領域として選択すればよい。または、選択する部分領域数をM個に限定せず、所定の閾値以上の優先度を表す部分領域候補を部分領域として選択するようにしてもよい。
続いて、部分領域の表示の切り替えについて説明するため、再び図6を参照する。前述したように、GUIアプリケーションを起動し、ラベル付けを開始する状態になると、画像601には部分領域を含む画像範囲が表示される。この時、最初に表示される部分領域は、優先度が最も高い部分領域を表示するようにすればよい。ユーザは、表示された部分領域へのラベル入力が完了した場合、「次へ」ボタン641をクリックする。すると、次の優先度の部分領域が画像601に表示され、ラベル入力を受け付ける。このように、部分領域の表示順序は、部分領域の優先度に基づいて表示すればよい。
以下、実施形態1の変形例について説明する。実施形態1でのラベル付け対象画像は、図2に示したような平面図に貼り付けた構造物画像であったが、ラベル付け対象画像はこれに限定されない。例えば、複数のスナップ画像で構成される画像データセットをラベル付け対象データとしてもよい。この場合、局所設定部102及び部分領域設定部103の処理を画像データセットの各画像に対して実施し、複数の画像からラベル付けを行う対象の部分領域を設定する。表示制御部104、表示部105及びラベル入力部106により、複数の画像に設定された部分領域を順次、ユーザに提示することで、部分領域へのラベル入力を実施する。
実施形態1では、局所データが画素である例を説明した。しかし、局所データは画素に限定されない。実施形態2では、局所データが少なくとも複数画素で構成される領域である場合の実施形態について説明する。以下、実施形態2での局所データを局所領域と呼ぶ。この局所領域は、ラベル付け対象領域としてユーザに提示する部分領域よりは狭い領域である。また、実施形態2では、実施形態1とは異なる方法で局所データ(局所領域)を選択する方法について説明する。その他の処理は、実施形態1と同様の処理で実行できるため、説明を省略する。また、装置構成は実施形態1と同様であるため、説明を省略する。
実施形態1及び実施形態2では、ラベル付け対象データは画像であったが、ラベル付け対象データは画像に限らない。実施形態3では、ラベル付け対象データが動画像である例を説明する。
上述の実施形態では、複数の局所データを設定し、局所データの分布に基づいて部分領域を設定する例を説明した。実施形態4では、一つの局所データに基づいて、部分領域を設定する例を説明する。本実施形態では、ある一つの局所データの位置に基づいて範囲を拡張し、局所データを含む周辺領域を、ラベル付けを行う部分領域とする。本実施形態では、局所データの設定方法は、上述の実施形態と同様の方法で実施することができる。従って、以下では、局所データが選択された状態で、部分領域設定部103が部分領域を設定する処理について説明する。
上述の実施形態では、既存の識別器による識別結果や、既存のデータセットとの類似度または乖離度に基づいて、学習に効果のある部分を判定して、局所データを設定する例を説明した。実施形態5では、これらとは異なる他の基準で局所データを設定する例を説明する。
さらに、実施形態5の変形例として、複数の局所データ設定方法を併用する例を説明する。例えば、上記の例では、微分フィルタ処理と閾値処理による局所データ設定方法、高周波成分抽出による局所データ設定方法などの局所データ設定方法を説明した。このような複数の方法を併用して局所データを設定することで、様々な局所データを設定することができるようになる。なお、併用する局所データ設定方法に、実施形態1などの識別器を用いた局所データ設定方法を含めてもよい。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
画像を取得する取得手段と、
前記画像の領域のうちユーザによるラベリングを受け付ける1つ以上の部分領域を決定する決定手段と、
取得された前記画像と、決定された前記部分領域とを表示装置の第1の領域に表示し、前記部分領域のうち選択されている部分領域と、前記画像のうち前記選択されている部分領域が含まれる部分画像とを前記表示装置の第2の領域に表示する表示手段とを有し、
前記部分領域は、前記画像に含まれる複数の画素のうち識別器の追加学習に有効な複数の画素が含まれる領域であること特徴とする。
Claims (18)
- ラベル付け対象データの中から学習に効果的なデータを判定して局所データとして設定する局所設定手段と、
前記局所データの分布に基づいて、前記ラベル付け対象データの中からラベル付けを行う部分領域を設定する領域設定手段と、
前記部分領域において前記ラベル付けの入力を行うための表示を表示部に表示させる表示制御手段と、
前記入力を受け付ける入力手段と、
を備えることを特徴とする情報処理装置。 - 前記局所設定手段は、前記ラベル付け対象データに対する、既存のラベル付きデータにより予め学習された学習済み識別器による識別結果に基づいて、前記ラベル付け対象データの中から前記局所データを選択することを特徴とする請求項1に記載の情報処理装置。
- 前記局所設定手段は、前記ラベル付け対象データと、既存のラベル付きデータのデータセットとの類似度または乖離度に基づいて、前記ラベル付け対象データの中から前記局所データを選択することを特徴とする請求項1に記載の情報処理装置。
- 前記領域設定手段は、前記局所データの密度に基づいて、前記部分領域を設定することを特徴とする請求項1乃至3の何れか1項に記載の情報処理装置。
- 前記領域設定手段は、前記局所データの分布をクラスタリングし、クラスタリング結果に基づいて前記部分領域を設定することを特徴とする請求項1乃至3の何れか1項に記載の情報処理装置。
- 前記領域設定手段は、前記局所データの分布に基づいて部分領域候補を作成し、前記部分領域候補のそれぞれについて優先度を算出し、前記優先度に基づいて前記部分領域候補から前記部分領域を選択することを特徴とする請求項1乃至3の何れか1項に記載の情報処理装置。
- 前記領域設定手段は、前記部分領域候補に含まれる前記局所データの密度に基づいて、前記部分領域候補のそれぞれについて前記優先度を算出することを特徴とする請求項6に記載の情報処理装置。
- 前記領域設定手段は、各局所データの重要度を算出し、前記部分領域候補に含まれる前記局所データの重要度に基づいて、前記部分領域候補のそれぞれについて前記優先度を算出することを特徴とする請求項6に記載の情報処理装置。
- 前記領域設定手段は、前記局所データの分布に基づいて部分領域候補を作成し、各部分領域候補の位置関係に基づいて前記部分領域候補から前記部分領域を選択することを特徴とする請求項1乃至3の何れか1項に記載の情報処理装置。
- ラベル付け対象データの中から学習に効果的なデータを判定して局所データとして設定する局所設定手段と、
前記局所データの周辺領域を、ラベル付けを行う部分領域として設定する領域設定手段と、
前記部分領域において前記ラベル付けの入力を行うための表示を表示部に表示させる表示制御手段と、
前記入力を受け付ける入力手段と、
を備えることを特徴とする情報処理装置。 - ラベル付け対象データの中から学習に効果的なデータを判定して局所データとして設定する局所設定手段と、
前記局所データに基づいて、ラベル付けを行う部分領域を設定する領域設定手段と、
前記部分領域に含まれる局所データを強調して表示部に表示させる表示制御手段と、
を備えることを特徴とする情報処理装置。 - 前記表示制御手段は、前記部分領域に含まれる前記局所データに基づいて前記部分領域の優先度を算出し、各部分領域の優先度に基づいて部分領域の表示順序を制御することを特徴とする請求項11に記載の情報処理装置。
- 前記表示制御手段は、各部分領域の位置関係に基づいて部分領域の表示順序を制御することを特徴とする請求項11に記載の情報処理装置。
- 前記表示制御手段は、前記部分領域において前記ラベル付けの入力を行うための表示を前記表示部に表示させ、
前記情報処理装置は、前記入力を受け付ける入力手段をさらに備え、
前記表示制御手段は、前記部分領域の範囲を超えて前記ラベル付けの入力が受け付けられた場合、前記入力されたラベル付けの範囲に基づいて、前記部分領域の範囲を拡張することを特徴とする請求項11乃至13の何れか1項に記載の情報処理装置。 - 情報処理装置の制御方法であって、
ラベル付け対象データの中から学習に効果的なデータを判定して局所データとして設定する局所設定工程と、
前記局所データの分布に基づいて、前記ラベル付け対象データの中からラベル付けを行う部分領域を設定する領域設定工程と、
前記部分領域において前記ラベル付けの入力を行うための表示を表示部に表示させる表示制御工程と、
前記入力を受け付ける入力工程と、
を有することを特徴とする情報処理装置の制御方法。 - 情報処理装置の制御方法であって、
ラベル付け対象データの中から学習に効果的なデータを判定して局所データとして設定する局所設定工程と、
前記局所データの周辺領域を、ラベル付けを行う部分領域として設定する領域設定工程と、
前記部分領域において前記ラベル付けの入力を行うための表示を表示部に表示させる表示制御工程と、
前記入力を受け付ける入力工程と、
を有することを特徴とする情報処理装置の制御方法。 - 情報処理装置の制御方法であって、
ラベル付け対象データの中から学習に効果的なデータを判定して局所データとして設定する局所設定工程と、
前記局所データに基づいて、ラベル付けを行う部分領域を設定する領域設定工程と、
前記部分領域に含まれる局所データを強調して表示部に表示させる表示制御工程と、
を有することを特徴とする情報処理装置の制御方法。 - コンピュータを、請求項1乃至14の何れか1項に記載の情報処理装置として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023025523A JP7496008B2 (ja) | 2023-02-21 | 情報処理装置、情報処理装置の制御方法及びプログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019036394A JP7233251B2 (ja) | 2019-02-28 | 2019-02-28 | 情報処理装置、情報処理装置の制御方法及びプログラム |
JP2023025523A JP7496008B2 (ja) | 2023-02-21 | 情報処理装置、情報処理装置の制御方法及びプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019036394A Division JP7233251B2 (ja) | 2019-02-28 | 2019-02-28 | 情報処理装置、情報処理装置の制御方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023054206A true JP2023054206A (ja) | 2023-04-13 |
JP7496008B2 JP7496008B2 (ja) | 2024-06-05 |
Family
ID=
Also Published As
Publication number | Publication date |
---|---|
US20200279132A1 (en) | 2020-09-03 |
JP7233251B2 (ja) | 2023-03-06 |
US11308352B2 (en) | 2022-04-19 |
US20220207290A1 (en) | 2022-06-30 |
US11741683B2 (en) | 2023-08-29 |
JP2020140518A (ja) | 2020-09-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6089886B2 (ja) | 領域分割方法および検査装置 | |
US10769473B2 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
JP5283088B2 (ja) | 画像検索装置および同画像検索装置に適用される画像検索用コンピュータプログラム | |
US11170501B2 (en) | Image analysis device | |
US11741683B2 (en) | Apparatus for processing labeled data to be used in learning of discriminator, method of controlling the apparatus, and non-transitory computer-readable recording medium | |
CN106502533A (zh) | 一种截屏方法及装置 | |
EP3438875A1 (en) | Image processing apparatus and control method therefor | |
US20220044147A1 (en) | Teaching data extending device, teaching data extending method, and program | |
KR20200035865A (ko) | 정보처리장치, 정보처리방법, 및 기억 매체 | |
JP6255944B2 (ja) | 画像解析装置、画像解析方法及び画像解析プログラム | |
JP2012194705A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
CN116596921B (zh) | 一种焚烧炉渣分选方法及系统 | |
JP2010271792A (ja) | 画像処理装置及び画像処理方法 | |
JP7496008B2 (ja) | 情報処理装置、情報処理装置の制御方法及びプログラム | |
JP2003216953A (ja) | 画像から対象物を抽出する方法およびその装置 | |
JP2018005612A (ja) | 画像処理装置、画像処理方法およびプログラム | |
EP4218246A1 (en) | Detection of image space suitable for overlaying media content | |
US20220254141A1 (en) | Image processing device, image processing method, and program | |
JP7336268B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP7200040B2 (ja) | 情報処理装置、画像解析方法 | |
Samreen et al. | Change Detection Classification of Buildings from Satellite Images of Urban Area using Deep Learning Techniques | |
CN112818980A (zh) | 一种基于Yolov3算法的钢包号检测识别方法 | |
JP2005234811A (ja) | 検出装置、検出方法及びプログラム | |
JP2017068827A (ja) | パターン判別装置、情報処理装置、パターン判別方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230316 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230316 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240315 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240426 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240524 |