JP2022046219A - 画像処理方法、画像処理装置、画像処理プログラム、学習方法、学習装置、学習プログラム - Google Patents
画像処理方法、画像処理装置、画像処理プログラム、学習方法、学習装置、学習プログラム Download PDFInfo
- Publication number
- JP2022046219A JP2022046219A JP2020152151A JP2020152151A JP2022046219A JP 2022046219 A JP2022046219 A JP 2022046219A JP 2020152151 A JP2020152151 A JP 2020152151A JP 2020152151 A JP2020152151 A JP 2020152151A JP 2022046219 A JP2022046219 A JP 2022046219A
- Authority
- JP
- Japan
- Prior art keywords
- image
- resolution
- loss
- generator
- linear sum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 20
- 238000000034 method Methods 0.000 title claims description 32
- 238000012545 processing Methods 0.000 title claims description 32
- 238000010801 machine learning Methods 0.000 claims abstract description 23
- 230000009021 linear effect Effects 0.000 claims description 54
- 230000006870 function Effects 0.000 claims description 33
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 230000006866 deterioration Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000009931 harmful effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000009022 nonlinear effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
Description
前記第1の中間画像と前記第2の中間画像とに基づいて、前記低解像画像よりも高解像な推定画像を生成する工程と、を有することを特徴とする。
まず本発明の実施例である実施例1の詳述の前に、その要旨を説明する。以下に述べる実施例1は本発明の好ましい実施形態の一つであって、そのすべてが本発明の実現に必要なわけではない。
本発明の実施例2における画像処理システムに関して説明する。
なお、以上の各実施例では第1の損失としてMSEまたはMAE、第2の損失として識別器による識別結果を用いる例について述べたが、本発明はこれに限られない。本発明の効果は低解像画像に基づく第1の特徴マップから互いに特性の異なる第1の中間画像と第2の中間画像を生成し、第1の中間画像と第2の中間画像に基づき推定画像を生成すれば得られるのである。これは、第1の中間画像と第2の中間画像の一方で生じてしまう弊害を他方でカバーすることが可能となるためである。
202 第1の特徴マップ
205 第1の中間画像
206 第2の中間画像
207 推定画像
Claims (23)
- 機械学習モデルである生成器を用いて、入力された低解像画像を第1の特徴マップに変換し、前記第1の特徴マップから前記低解像画像よりも高解像な第1の中間画像と前記低解像画像よりも高解像な第2の中間画像とを生成する工程と、
前記第1の中間画像と前記第2の中間画像とに基づいて、前記低解像画像よりも高解像な推定画像を生成する工程と、を有することを特徴とする画像処理方法。 - 前記第1の中間画像は、前記第2の中間画像に対して高周波成分が少ないことを特徴とする請求項1に記載の画像処理方法。
- 前記第1の中間画像および前記第2の中間画像は、前記低解像画像より画素数が多いことを特徴とする請求項1または2に記載の画像処理方法。
- 前記生成器は、アップサンプル層を有し、
前記アップサンプル層は、前記アップサンプル層への入力をアップサンプルして出力することを特徴とする請求項1乃至3のいずれか一項に記載の画像処理方法。 - 前記生成器は、1以上の線型和層を有し、
前記線型和層は前記線型和層への入力と前記線型和層のウエイトの線型和を出力し、
前記線型和層の数は、前記生成器に含まれる前記アップサンプル層のうちで前記生成器の最も出力側に存在するものの入力側と比べて出力側で少ないことを特徴とする請求項4に記載の画像処理方法。 - 前記生成器は、前記第1の特徴マップから生成した第1の残差成分と前記低解像画像との和をとることで前記第1の中間画像を生成し、
前記第1の特徴マップから生成した第2の残差成分と前記低解像画像との和をとることで前記第2の中間画像を生成することを特徴とする請求項1乃至5のいずれか一項に記載の画像処理方法。 - 前記低解像画像は、前記第1の残差成分および前記第2の残差成分と画素数が一致するように、和をとる前にアップサンプルされることを特徴とする請求項6に記載の画像処理方法。
- 前記生成器は、線型和層を複数有し、
前記線型和層は前記線型和層への入力と前記線型和層のウエイトの線型和を出力し、
複数の前記線型和層のうち少なくとも1層の出力は、該線型和層への入力とチャンネル方向に連結されることを特徴とする請求項1乃至7のいずれか一項に記載の画像処理方法。 - 前記生成器は、線型和層を複数有し、
前記線型和層は前記線型和層への入力と前記線型和層のウエイトの線型和を出力し、
複数の前記線型和層のうち少なくとも半数の出力は、それぞれの前記線型和層への入力とチャンネル方向に連結されることを特徴とする請求項1乃至8のいずれか一項に記載の画像処理方法。 - 前記生成器は、線型和層を複数有する残差ブロックを複数有し、
前記線型和層は前記線型和層への入力と前記線型和層のウエイトの線型和を出力し、
前記残差ブロックは、前記残差ブロックへの入力と前記入力が前記残差ブロックよって演算された結果の和を出力することを特徴とする請求項1乃至9のいずれか一項に記載の画像処理方法。 - 前記残差ブロックは、非線型変換を行う活性化関数を2つ以上有することを特徴とする請求項10に記載の画像処理方法。
- 前記生成器は、線型和層を複数有する残差ブロックを複数有し、
前記線型和層は前記線型和層への入力と前記線型和層のウエイトの線型和を出力し、
前記残差ブロックは、前記残差ブロックへの入力と前記入力が前記残差ブロックよって演算された結果の和を出力し、
複数の前記残差ブロックのうちバッチ正則化を行うバッチ正則化層を有するブロックは、半数以下であることを特徴とする請求項1乃至11のいずれか一項に記載の画像処理方法。 - 前記生成器は、バッチ正則化を行うバッチ正則化層を有さないことを特徴とする請求項1乃至12のいずれか一項に記載の画像処理方法。
- 前記推定画像は、前記第1の中間画像と前記第2の中間画像の加重平均によって生成されることを特徴とする請求項1乃至13のいずれか一項に記載の画像処理方法。
- 前記生成器は、第1の損失と第2の損失に基づく損失を用いて学習された機械学習モデルであり、
前記第1の損失は前記生成器によって生成された中間画像と、該中間画像に対応する正解画像との比較に基づいて定義され、
前記第2の損失は前記生成器によって生成された中間画像が前記生成器によって生成された画像であるかの識別結果に基づいて定義され、
前記第1の中間画像を用いて定義される損失における前記第1の損失に対する前記第2の損失の重みは、前記第2の中間画像を用いて定義される損失における前記第1の損失に対する前記第2の損失の重みよりも小さいことを特徴とする請求項1乃至14のいずれか一項に記載の画像処理方法。 - 複数の低解像画像と、複数の高解像画像と、を取得する工程と、
生成器によって、前記低解像画像を第1の特徴マップに変換し、前記第1の特徴マップから前記低解像画像よりも高解像な第1の中間画像と前記低解像画像よりも高解像な第2の中間画像とを生成する工程と、
識別器によって、入力された画像が前記生成器で生成された画像であるかを識別する工程と、
前記低解像画像に対応する前記高解像画像と前記第1の中間画像または前記第2の中間画像との差異に基づく第1の損失と、前記第1の中間画像または前記第2の中間画像を入力した際の前記識別器の識別出力に基づく第2の損失と、に基づいて、前記生成器を学習する工程と、を有し、
前記第1の中間画像を用いて定義される損失における前記第1の損失に対する前記第2の損失の重みは、前記第2の中間画像を用いて定義される損失における前記第1の損失に対する前記第2の損失の重みより小さいことを特徴とする学習方法。 - 前記第1の中間画像を用いて定義される損失における前記第2の損失の重みは0であることを特徴とする請求項16に記載の学習方法。
- 特徴抽出器を用いて画像を特徴マップに変換する工程を有し、
前記生成器を学習する工程では、前記特徴抽出器によって前記高解像画像を変換した第2の特徴マップと、前記第2の中間画像を変換した第3の特徴マップと、の差異に基づく第3の損失に基づいて、前記生成器を学習することを特徴とする請求項16または17に記載の学習方法。 - 前記第2の損失は、複数の前記高解像画像を入力した際の前記識別器の複数の識別出力それぞれに基づく値と、前記第1の中間画像または第2の中間画像を入力した際の前記識別器の識別出力と、の比較に基づくことを特徴とする請求項16乃至18のいずれか一項に記載の学習方法。
- 入力された低解像画像を高解像化した推定画像を生成する処理手段を有し、
前記処理手段は、
機械学習モデルである生成器を用いて、入力された低解像画像を第1の特徴マップに変換し、前記第1の特徴マップから前記低解像画像よりも高解像な第1の中間画像と前記低解像画像よりも高解像な第2の中間画像とを生成する工程と、
前記第1の中間画像と前記第2の中間画像とに基づいて、前記低解像画像よりも高解像な推定画像を生成する工程と、を実行することを特徴とする画像処理装置。 - 請求項1乃至15のいずれか一項に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。
- 機械学習モデルを学習させる処理手段を有し、
前記処理手段は、
複数の低解像画像と、複数の高解像画像と、を取得する工程と、
生成器で前記低解像画像を第1の特徴マップに変換し、前記第1の特徴マップから前記低解像画像よりも高解像な第1の中間画像と前記低解像画像よりも高解像な第2の中間画像とを生成する工程と、
識別器で入力された画像が前記生成器で生成された画像であるかを識別する手段と、
前記低解像画像に対応する前記高解像画像と前記第1の中間画像または前記第2の中間画像との差異に基づく第1の損失と、前記第1の中間画像または前記第2の中間画像を入力した際の前記識別器の識別出力に基づく第2の損失と、に基づいて、前記生成器を学習する工程と、を実行し、
前記第1の中間画像を用いて定義される損失における前記第1の損失に対する前記第2の損失の重みは、前記第2の中間画像を用いて定義される損失における前記第1の損失に対する前記第2の損失の重みより小さいことを特徴とする学習装置。 - 請求項16乃至19のいずれか一項に記載の学習方法をコンピュータに実行させることを特徴とするプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020152151A JP2022046219A (ja) | 2020-09-10 | 2020-09-10 | 画像処理方法、画像処理装置、画像処理プログラム、学習方法、学習装置、学習プログラム |
US17/465,716 US12061672B2 (en) | 2020-09-10 | 2021-09-02 | Image processing method, image processing apparatus, learning method, learning apparatus, and storage medium |
EP21195376.5A EP3968265A1 (en) | 2020-09-10 | 2021-09-07 | Image processing method, computer implemented method, image processing apparatus, learning apparatus, and program |
CN202111042030.5A CN114170073A (zh) | 2020-09-10 | 2021-09-07 | 图像处理方法、图像处理装置、学习方法、学习装置、以及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020152151A JP2022046219A (ja) | 2020-09-10 | 2020-09-10 | 画像処理方法、画像処理装置、画像処理プログラム、学習方法、学習装置、学習プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022046219A true JP2022046219A (ja) | 2022-03-23 |
JP2022046219A5 JP2022046219A5 (ja) | 2023-09-14 |
Family
ID=77666279
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020152151A Pending JP2022046219A (ja) | 2020-09-10 | 2020-09-10 | 画像処理方法、画像処理装置、画像処理プログラム、学習方法、学習装置、学習プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US12061672B2 (ja) |
EP (1) | EP3968265A1 (ja) |
JP (1) | JP2022046219A (ja) |
CN (1) | CN114170073A (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6715289B2 (ja) * | 2018-05-24 | 2020-07-01 | 日本電信電話株式会社 | 映像処理装置、映像処理方法、および映像処理プログラム |
US11917286B2 (en) * | 2022-03-04 | 2024-02-27 | Humane, Inc. | Displaying images using wearable multimedia devices |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5274216B2 (ja) * | 2008-11-25 | 2013-08-28 | キヤノン株式会社 | 監視システム及び監視方法 |
US9459825B2 (en) * | 2013-09-09 | 2016-10-04 | Opus Medicus, Inc. | Systems and methods for high-resolution image viewing |
WO2018053340A1 (en) * | 2016-09-15 | 2018-03-22 | Twitter, Inc. | Super resolution using a generative adversarial network |
JP6832155B2 (ja) * | 2016-12-28 | 2021-02-24 | ソニーセミコンダクタソリューションズ株式会社 | 画像処理装置、画像処理方法、及び画像処理システム |
US11403738B2 (en) | 2017-08-11 | 2022-08-02 | Semiconductor Energy Laboratory Co., Ltd. | Display device comprising an image analysis unit, and image calculation processing unit |
US20210067735A1 (en) * | 2019-09-03 | 2021-03-04 | Nvidia Corporation | Video interpolation using one or more neural networks |
-
2020
- 2020-09-10 JP JP2020152151A patent/JP2022046219A/ja active Pending
-
2021
- 2021-09-02 US US17/465,716 patent/US12061672B2/en active Active
- 2021-09-07 EP EP21195376.5A patent/EP3968265A1/en active Pending
- 2021-09-07 CN CN202111042030.5A patent/CN114170073A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
US20220076071A1 (en) | 2022-03-10 |
US12061672B2 (en) | 2024-08-13 |
CN114170073A (zh) | 2022-03-11 |
EP3968265A1 (en) | 2022-03-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7362284B2 (ja) | 画像処理方法、画像処理装置、プログラム、画像処理システム、および、学習済みモデルの製造方法 | |
JP2020144489A (ja) | 画像処理方法、画像処理装置、プログラム、学習済みモデルの製造方法、および、画像処理システム | |
JP7297470B2 (ja) | 画像処理方法、画像処理装置、プログラム、画像処理システム、および、学習済みモデルの製造方法 | |
JP6711396B2 (ja) | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム | |
RU2432614C2 (ru) | Устройство обработки изображения, способ обработки изображения и программа | |
JP2021056678A (ja) | 画像処理方法、プログラム、画像処理装置、学習済みモデルの製造方法、および、画像処理システム | |
JP2022046219A (ja) | 画像処理方法、画像処理装置、画像処理プログラム、学習方法、学習装置、学習プログラム | |
JP2020036310A (ja) | 画像処理方法、画像処理装置、撮像装置、レンズ装置、プログラム、記憶媒体、および、画像処理システム | |
CN112750092A (zh) | 训练数据获取方法、像质增强模型与方法及电子设备 | |
JP2022056769A (ja) | 画像処理方法、プログラム、画像処理装置、学習済みモデルの製造方法、学習方法、学習装置、および、画像処理システム | |
EP3633602A1 (en) | Image processing method, image processing apparatus, and program | |
JP2007184774A (ja) | 表示装置および表示方法、学習装置および学習方法、並びにプログラム | |
JP7504629B2 (ja) | 画像処理方法、画像処理装置、画像処理プログラム、および記憶媒体 | |
JP2014086968A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6838918B2 (ja) | 画像データ処理装置及び方法 | |
WO2014156669A1 (ja) | 画像処理装置および画像処理方法 | |
CN113763524B (zh) | 基于物理光学模型和神经网络的双流散景渲染方法及系统 | |
WO2014077024A1 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP2021140758A (ja) | 学習データの製造方法、学習方法、学習データ製造装置、学習装置、およびプログラム | |
JP2020057242A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP7558890B2 (ja) | 画像処理方法、画像処理装置、プログラム、訓練済み機械学習モデルの製造方法、処理装置、画像処理システム | |
JP2021103404A (ja) | 画像処理方法、プログラム、学習済みモデルの製造方法、画像処理装置、および、画像処理システム | |
JP2021096747A (ja) | 画像処理方法、プログラム、学習済みモデルの製造方法、画像処理装置、および、画像処理システム | |
US20240029321A1 (en) | Image processing method, image processing apparatus, storage medium, image processing system, method of generating machine learning model, and learning apparatus | |
WO2024095506A1 (ja) | 情報処理システム、情報処理装置、情報処理方法及び記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230905 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230905 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20231213 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20240405 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240517 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240528 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240725 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20241001 |