JP2020201823A - 画像処理装置、画像処理方法およびプログラム - Google Patents
画像処理装置、画像処理方法およびプログラム Download PDFInfo
- Publication number
- JP2020201823A JP2020201823A JP2019109623A JP2019109623A JP2020201823A JP 2020201823 A JP2020201823 A JP 2020201823A JP 2019109623 A JP2019109623 A JP 2019109623A JP 2019109623 A JP2019109623 A JP 2019109623A JP 2020201823 A JP2020201823 A JP 2020201823A
- Authority
- JP
- Japan
- Prior art keywords
- image
- resolution
- subject
- teacher
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 68
- 238000003672 processing method Methods 0.000 title claims description 4
- 238000000034 method Methods 0.000 claims abstract description 55
- 238000004364 calculation method Methods 0.000 claims abstract description 25
- 238000010801 machine learning Methods 0.000 claims abstract description 15
- 238000013528 artificial neural network Methods 0.000 claims description 62
- 230000008569 process Effects 0.000 claims description 31
- 238000003384 imaging method Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 12
- 238000012549 training Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 238000005520 cutting process Methods 0.000 description 12
- KNMAVSAGTYIFJF-UHFFFAOYSA-N 1-[2-[(2-hydroxy-3-phenoxypropyl)amino]ethylamino]-3-phenoxypropan-2-ol;dihydrochloride Chemical compound Cl.Cl.C=1C=CC=CC=1OCC(O)CNCCNCC(O)COC1=CC=CC=C1 KNMAVSAGTYIFJF-UHFFFAOYSA-N 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 230000000593 degrading effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
- H04N1/393—Enlarging or reducing
- H04N1/3935—Enlarging or reducing with modification of image resolution, i.e. determining the values of picture elements at new relative positions
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Analysis (AREA)
Abstract
Description
被写体の撮影画像を教師画像として取得する第1の取得手段と、
画像における被写体の解像度を算出する解像度算出手段と、
前記教師画像を低解像度化して劣化画像を生成し、前記解像度算出手段により算出された前記教師画像における被写体の解像度に基づいて、前記劣化画像における被写体の解像度を表す第1の解像度情報を生成する生成手段と、
前記教師画像と前記劣化画像と前記第1の解像度情報とを含むデータセットを用いて、入力画像を高解像度化するための推定手段の学習を行う学習手段と、を備える。
<撮像システムの全体構成>
第1実施形態では、画像の解像度の情報を用いて機械学習(以下、学習という)と推定を行う構成について説明する。機械学習には、教師あり学習、教師なし学習、及び強化学習などの種々の手法の学習が含まれる。以下の実施形態では、ニューラルネットワークを用いた深層学習(ディープラーニング)を行う場合例に説明する。なお、第1実施形態では、人物(例えば、スポーツ選手)の顔を被写体とし、被写体を高解像度で撮影できる撮像装置を用いて学習のための教師画像を獲得する構成を例として用いて説明する。
第1実施形態では、学習時には劣化画像と付帯情報の対と教師画像とを写像する関数を求め、推定時には入力画像と付帯情報の対を入力に取って高解像度化を行う例を示した。但し、ニューラルネットワークの構造上、テンソルで表される画像データとスカラーで表される付帯情報を同列の入力として用いることが困難である場合もある。そこで第2実施形態では、画像のみを入力に取るニューラルネットワークを、付帯情報で表される種別に応じて複数並立させる構成を説明する。
第1実施形態では、教師画像および入力画像の特性を説明する付帯情報として、被写体の解像度を、学習部309および高解像度化部310への入力として用いることで、高解像度化の精度を向上させる手法を示した。第3実施形態では、付帯情報として解像度以外の追加の情報を用いる構成を説明する。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (19)
- 被写体の撮影画像を教師画像として取得する第1の取得手段と、
画像における被写体の解像度を算出する解像度算出手段と、
前記教師画像を低解像度化して劣化画像を生成し、前記教師画像における被写体について前記解像度算出手段が算出した解像度に基づいて、前記劣化画像における被写体の解像度を表す第1の解像度情報を生成する生成手段と、
前記教師画像と前記劣化画像と前記第1の解像度情報とを含むデータセットを用いて、入力画像を高解像度化するための推定手段の機械学習を行う学習手段と、を備えることを特徴とする画像処理装置。 - 被写体の撮影画像を入力画像として取得する第2の取得手段と、
前記入力画像と、前記入力画像における被写体について前記解像度算出手段が算出した解像度を示す第2の解像度情報と、を前記推定手段に入力することにより、前記入力画像を高解像度化した画像を得る高解像度化手段と、をさらに備えることを特徴とする請求項1に記載の画像処理装置。 - 被写体の実空間における位置を取得する位置取得手段をさらに備え、
前記解像度算出手段は、前記位置取得手段により取得された被写体の位置と撮像装置のカメラパラメータに基づいて、その撮像装置により撮像された画像における被写体の解像度を算出することを特徴とする請求項2に記載の画像処理装置。 - 前記第1の取得手段は、撮像装置の撮影により得られた教師原画像において被写体の領域を検出し、検出した前記領域に基づいて、前記教師原画像から前記教師画像を切り出すことを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。
- 前記第1の取得手段は、前記位置取得手段により取得された被写体の位置と、前記位置が取得された被写体について前記解像度算出手段が算出した解像度と、に基づいて、撮像装置の撮影により得られた教師原画像から前記位置が取得された被写体を含む前記教師画像を切り出すことを特徴とする請求項3に記載の画像処理装置。
- 前記第2の取得手段は、撮像装置の撮影により得られた入力原画像において被写体を検出し、検出した被写体が存在する領域を前記入力画像として切り出すことを特徴とする請求項2または3に記載の画像処理装置。
- 前記第2の取得手段は、前記位置取得手段により取得された被写体の位置と、前記位置が取得された被写体について前記解像度算出手段が算出した解像度を示す前記第2の解像度情報とに基づいて、撮像装置の撮影により得られた入力原画像から前記入力画像を切り出すことを特徴とする請求項3に記載の画像処理装置。
- 前記学習手段は、前記劣化画像と前記第1の解像度情報を入力とし、前記教師画像を出力とするニューラルネットワークのパラメータを機械学習し、
前記高解像度化手段は、前記ニューラルネットワークに対して前記入力画像と前記第2の解像度情報を入力することにより、前記入力画像の高解像度化を行うことを特徴とする請求項2または3に記載の画像処理装置。 - 前記推定手段は異なる担当解像度が設定された複数のニューラルネットワークを有し、
前記学習手段は、前記複数のニューラルネットワークのうち、前記第1の解像度情報が示す解像度に対応する担当解像度が設定されているニューラルネットワークを用いて機械学習を行い、
前記高解像度化手段は、前記第2の解像度情報が示す解像度に対応する担当解像度が設定されているニューラルネットワークを用いて前記入力画像を高解像度化することを特徴とする請求項2または3に記載の画像処理装置。 - 前記学習手段は、前記第1の解像度情報が示す解像度または前記第1の解像度情報が示す解像度に最も近い担当解像度が設定されているニューラルネットワークを用いて前記機械学習を行うことを特徴とする請求項9に記載の画像処理装置。
- 前記学習手段は、担当解像度が前記第1の解像度情報が示す解像度に近いほど、ニューラルネットワークにおける機械学習による影響を大きくすることを特徴とする請求項9に記載の画像処理装置。
- 前記高解像度化手段は、前記第2の解像度情報が示す解像度に最も近い担当解像度が設定されているニューラルネットワークを用いて前記入力画像を高解像度化することを特徴とする請求項9乃至11のいずれか1項に記載の画像処理装置。
- 前記学習手段は、異なる担当解像度の範囲が設定された複数のニューラルネットワークのうち、前記第1の解像度情報が示す解像度を含む範囲が設定されているニューラルネットワークを用いて前記機械学習を行い、
前記高解像度化手段は、前記第2の解像度情報が示す解像度を含む担当解像度の範囲が設定されているニューラルネットワークを用いて前記入力画像を高解像度化することを特徴とする請求項2または3に記載の画像処理装置。 - 前記教師画像と前記入力画像の被写体を同定して被写体IDを付与する同定手段をさらに備え、
前記学習手段は、前記教師画像の被写体に付与された被写体IDと前記第1の解像度情報を含む第1の付帯情報と、前記教師画像と、前記劣化画像と用いて前記機械学習を行い、
前記高解像度化手段は、前記入力画像と、前記入力画像の被写体に付与された被写体IDと前記第2の解像度情報を含む第2の付帯情報とを前記推定手段に入力して、前記入力画像の高解像度化を行うことを特徴とする請求項2または3に記載の画像処理装置。 - 前記教師画像に存在する被写体と前記入力画像に存在する被写体について被写体属性を取得する属性取得手段をさらに備え、
前記第1の付帯情報と前記第2の付帯情報は前記被写体属性を含むことを特徴とする請求項14に記載の画像処理装置。 - 前記第1の付帯情報と前記第2の付帯情報は、
前記教師画像と前記入力画像の被写体の地面からの高度、
前記教師画像と前記入力画像の被写体の移動方向、または
前記教師画像と前記入力画像の撮影時の照明条件、
の少なくとも何れかを含むことを特徴とする請求項14または15に記載の画像処理装置。 - 被写体の撮影画像を教師画像として取得する第1の取得工程と、
画像における被写体の解像度を算出する解像度算出工程と、
前記教師画像を低解像度化して劣化画像を生成し、前記教師画像における被写体について前記解像度算出工程が算出した解像度に基づいて、前記劣化画像における被写体の解像度を表す第1の解像度情報を生成する生成工程と、
前記教師画像と前記劣化画像と前記第1の解像度情報とを含むデータセットを用いて、入力画像を高解像度化するための推定手段の機械学習を行う学習工程と、を備えることを特徴とする画像処理方法。 - 被写体の撮影画像を入力画像として取得する第2の取得工程と、
前記入力画像と、前記入力画像における被写体について前記解像度算出工程が算出した解像度を示す第2の解像度情報と、を前記推定手段に入力することにより、前記入力画像を高解像度化した画像を得る高解像度化工程と、をさらに備えることを特徴とする請求項17に記載の画像処理方法。 - コンピュータを、請求項1乃至16のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019109623A JP7312026B2 (ja) | 2019-06-12 | 2019-06-12 | 画像処理装置、画像処理方法およびプログラム |
US16/893,634 US11647152B2 (en) | 2019-06-12 | 2020-06-05 | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019109623A JP7312026B2 (ja) | 2019-06-12 | 2019-06-12 | 画像処理装置、画像処理方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020201823A true JP2020201823A (ja) | 2020-12-17 |
JP7312026B2 JP7312026B2 (ja) | 2023-07-20 |
Family
ID=73743422
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019109623A Active JP7312026B2 (ja) | 2019-06-12 | 2019-06-12 | 画像処理装置、画像処理方法およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11647152B2 (ja) |
JP (1) | JP7312026B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022249934A1 (ja) * | 2021-05-26 | 2022-12-01 | キヤノン株式会社 | 画像処理方法、画像処理装置、プログラム、訓練済み機械学習モデルの製造方法、処理装置、画像処理システム |
US11896362B2 (en) | 2021-09-17 | 2024-02-13 | Canon Medical Systems Corporation | Medical image processing apparatus, method of medical image processing, and nonvolatile computer readable storage medium storing therein medical image processing program |
JP7520753B2 (ja) | 2021-03-05 | 2024-07-23 | 株式会社東芝 | 学習装置、方法およびプログラム |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018195069A (ja) * | 2017-05-17 | 2018-12-06 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101431611A (zh) * | 2004-11-30 | 2009-05-13 | 松下电器产业株式会社 | 图像处理方法、图像处理装置、图像处理程序以及图像文件格式 |
JP4561657B2 (ja) * | 2006-03-06 | 2010-10-13 | ソニー株式会社 | 映像監視システムおよび映像監視プログラム |
JP2011180798A (ja) * | 2010-03-01 | 2011-09-15 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
JP2011211437A (ja) | 2010-03-29 | 2011-10-20 | Sony Corp | 画像処理装置および方法、並びにプログラム |
KR101887099B1 (ko) * | 2010-12-29 | 2018-08-09 | 삼성전자주식회사 | 이미지 처리 시스템 및 이미지 처리 방법 |
JP2012244395A (ja) * | 2011-05-19 | 2012-12-10 | Sony Corp | 学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体 |
US9171380B2 (en) * | 2011-12-06 | 2015-10-27 | Microsoft Technology Licensing, Llc | Controlling power consumption in object tracking pipeline |
US10574974B2 (en) * | 2014-06-27 | 2020-02-25 | A9.Com, Inc. | 3-D model generation using multiple cameras |
KR102172992B1 (ko) * | 2014-07-31 | 2020-11-02 | 삼성전자주식회사 | 이미지 촬영 장치 및 이미지 촬영 방법 |
US9743015B2 (en) * | 2015-05-22 | 2017-08-22 | Samsung Electronics Co., Ltd. | Image capturing apparatus and method of controlling the same |
JP6729428B2 (ja) * | 2017-02-01 | 2020-07-22 | オムロン株式会社 | 画像処理システム、光学センサ、及び学習装置 |
US10789472B1 (en) * | 2017-06-14 | 2020-09-29 | Amazon Technologies, Inc. | Multiple image processing and sensor targeting for object detection |
US10467729B1 (en) * | 2017-10-12 | 2019-11-05 | Amazon Technologies, Inc. | Neural network-based image processing |
CN107767343B (zh) * | 2017-11-09 | 2021-08-31 | 京东方科技集团股份有限公司 | 图像处理方法、处理装置和处理设备 |
CN108259997B (zh) * | 2018-04-02 | 2019-08-23 | 腾讯科技(深圳)有限公司 | 图像相关处理方法及装置、智能终端、服务器、存储介质 |
DE102019124809A1 (de) * | 2018-09-21 | 2020-03-26 | Fanuc Corporation | Bildgebungsvorrichtung und Bildgebungssystem |
BR112020022560A2 (pt) * | 2018-09-30 | 2021-06-01 | Boe Technology Group Co., Ltd. | aparelho e método para processamento de imagens e sistema para rede neural de treinamento |
WO2020102812A1 (en) * | 2018-11-16 | 2020-05-22 | Google Llc | Generating super-resolution images using neural networks |
-
2019
- 2019-06-12 JP JP2019109623A patent/JP7312026B2/ja active Active
-
2020
- 2020-06-05 US US16/893,634 patent/US11647152B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018195069A (ja) * | 2017-05-17 | 2018-12-06 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7520753B2 (ja) | 2021-03-05 | 2024-07-23 | 株式会社東芝 | 学習装置、方法およびプログラム |
WO2022249934A1 (ja) * | 2021-05-26 | 2022-12-01 | キヤノン株式会社 | 画像処理方法、画像処理装置、プログラム、訓練済み機械学習モデルの製造方法、処理装置、画像処理システム |
US11896362B2 (en) | 2021-09-17 | 2024-02-13 | Canon Medical Systems Corporation | Medical image processing apparatus, method of medical image processing, and nonvolatile computer readable storage medium storing therein medical image processing program |
Also Published As
Publication number | Publication date |
---|---|
JP7312026B2 (ja) | 2023-07-20 |
US11647152B2 (en) | 2023-05-09 |
US20200396415A1 (en) | 2020-12-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10225473B2 (en) | Threshold determination in a RANSAC algorithm | |
JP7312026B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2016029564A (ja) | 対象検出方法及び対象検出装置 | |
JP2011134114A (ja) | パターン認識方法およびパターン認識装置 | |
WO2019096310A1 (en) | Light field image rendering method and system for creating see-through effects | |
WO2012172817A1 (en) | Image stabilization apparatus, image stabilization method, and document | |
US20220148143A1 (en) | Image fusion method based on gradient domain mapping | |
JP2017049426A (ja) | 位相差推定装置、位相差推定方法及び位相差推定プログラム | |
JP2018195084A (ja) | 画像処理装置及び画像処理方法、プログラム、記憶媒体 | |
JP7156624B2 (ja) | デプスマップフィルタ処理装置、デプスマップフィルタ処理方法及びプログラム | |
CN110443228B (zh) | 一种行人匹配方法、装置、电子设备及存储介质 | |
JP6395429B2 (ja) | 画像処理装置、その制御方法及び記憶媒体 | |
US20230394834A1 (en) | Method, system and computer readable media for object detection coverage estimation | |
JP6798609B2 (ja) | 映像解析装置、映像解析方法およびプログラム | |
JP5448952B2 (ja) | 同一人判定装置、同一人判定方法および同一人判定プログラム | |
JP2006113832A (ja) | ステレオ画像処理装置およびプログラム | |
CN111630569A (zh) | 双目匹配的方法、视觉成像装置及具有存储功能的装置 | |
Jorissen et al. | Multi-view wide baseline depth estimation robust to sparse input sampling | |
JP5887974B2 (ja) | 類似画像領域探索装置、類似画像領域探索方法、及び類似画像領域探索プログラム | |
JP2018049396A (ja) | 形状推定方法、形状推定装置および形状推定プログラム | |
JP2012173858A (ja) | 全方位画像生成方法、画像生成装置およびプログラム | |
JP2016081088A (ja) | 画像処理装置、画像処理方法及びプログラム | |
US12100212B2 (en) | Method, system and computer readable media for object detection coverage estimation | |
US20220230342A1 (en) | Information processing apparatus that estimates object depth, method therefor, and storage medium holding program therefor | |
CN111080689B (zh) | 确定面部深度图的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220602 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230323 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230331 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230526 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230609 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230707 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7312026 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |