JP2021018642A - 情報処理装置、システム、情報処理方法及びプログラム - Google Patents
情報処理装置、システム、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JP2021018642A JP2021018642A JP2019134498A JP2019134498A JP2021018642A JP 2021018642 A JP2021018642 A JP 2021018642A JP 2019134498 A JP2019134498 A JP 2019134498A JP 2019134498 A JP2019134498 A JP 2019134498A JP 2021018642 A JP2021018642 A JP 2021018642A
- Authority
- JP
- Japan
- Prior art keywords
- image
- information processing
- metadata
- processing
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 63
- 238000003672 processing method Methods 0.000 title claims 3
- 238000012545 processing Methods 0.000 claims abstract description 154
- 238000000034 method Methods 0.000 claims abstract description 144
- 230000008569 process Effects 0.000 claims abstract description 130
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 13
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 13
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 7
- 238000001514 detection method Methods 0.000 claims description 67
- 239000002131 composite material Substances 0.000 claims description 42
- 230000009466 transformation Effects 0.000 claims description 38
- 238000003384 imaging method Methods 0.000 claims description 16
- 238000013461 design Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims 2
- 238000005516 engineering process Methods 0.000 abstract description 3
- 239000000203 mixture Substances 0.000 description 16
- 230000006854 communication Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 241000238631 Hexapoda Species 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30132—Masonry; Concrete
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30184—Infrastructure
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
Description
近年、トンネル、橋梁、その他大規模構造物等の社会インフラに対する点検作業を、カメラで撮影した対象物の画像に対して検査を行う手法への需要が高まっている。撮影画像上で、社会インフラに係る構造物に対する検査を行うには、画像から構造物に生じた変状(例えば、ひび割れ)の状態を確認できる程度に高解像度の画像を用意する必要がある。しかしながら、社会インフラに係る構造物はサイズが大きいため、高解像度の画像を得るためには、1つの構造物を複数回に分割して撮影することが必要となる。従って、分割撮影された複数の画像を1つの構造物に関連づけて検査を行うために、制御された分割撮影を行い、撮影された複数画像を合成し、合成した画像に対して調整処理を行う等、段階的に合成処理を含む複数の画像処理が行われることになる。以下、本実施形態では、構造物に生じた変状を画像により検査するシステムで実行される複数の画像処理について、各段階の画像処理において必要とされるメタデータを管理する例を説明する。
実施形態1では、図2に示した複数の画像処理ブロックを単一の情報処理装置100で実行していた。しかしながら、図5から図7の処理を、それぞれ、互いにネットワーク等の通信装置で接続された情報処理装置100と同様の複数の情報処理装置で実行する情報処理システムを構成することもできる。その場合、撮影処理(図4のフロー)を実行する装置以外は、撮像装置108及び電子雲台装置109との接続は必須ではない。
なお、上述した各処理部のうち、合成処理、幾何変換処理、ひび割れ検出処理等については、その代わりとして、機械学習された学習済みモデルを代わりに用いて処理してもよい。その場合、例えば、その処理部への入力データと出力データとの組合せを学習データとして複数個準備し、学習データから機械学習によって知識を獲得し、獲得した知識に基づいて入力データに対する出力データを結果として出力する学習済みモデルを生成する。学習済みモデルは、例えばニューラルネットワークモデルで構成可能である。そして、その学習済みモデルは、前記処理部と同等の処理をするためのプログラムとして、CPUあるいはGPUなどと協働で動作することにより、前記処理部の処理を行う。なお、上記学習済みモデルは、必要に応じて一定の処理後に更新してもよい。
102 ROM
103 RAM
104 HDD
105 表示部
106 操作部
107 通信部
108 撮像装置
109 電子雲台装置
Claims (12)
- 対象画像を取得する取得手段と、
前記対象画像に対して複数の情報処理を順次実行する画像処理手段とを備え、
前記画像処理手段は、前記複数の情報処理の少なくとも1つとして、複数の前記対象画像を合成する合成処理を実行する場合、複数の前記対象画像に対して前段までの画像処理が実行された結果である第1画像と、前記前段までの画像処理において生成された第1のメタデータを入力として取得し、
前記第1画像に対して前記合成処理を実行した結果である第2画像と前記合成処理において生成された第2のメタデータを、前記第1のメタデータとともに後段の画像処理の入力とすることを特徴とする情報処理装置。 - 前記対象画像は、撮像装置によって撮影された複数の画像であって、
前記画像処理手段は、前記複数の情報処理装置のうちの1つとして、前記複数の画像を合成して1つの合成画像を生成する処理を実行する場合、前記第1のメタデータとして前記複数の画像のそれぞれの撮影時の情報を取得し、前記1つの合成画像に関する情報を前記第2のメタデータとして生成することを特徴とする請求項1に記載の情報処理装置。 - 前記複数の画像処理には、前記合成処理、前記対象画像を幾何変換する処理、前記対象画像に対して機械学習された検出モデルを利用した検出処理、前記対象画像を所定の図面データに重畳させる処理を含むことを特徴とする請求項1または2に記載の情報処理装置。
- 前記対象画像は、撮像装置によって構造物を撮影することで得られた画像であって、
前記検出処理とは、前記画像から前記構造物に生じたひび割れを検出し、前記対象画像と前記検出処理において前記画像から検出されたひび割れ情報を重畳した画像を生成する処理であって、前記画像処理は、前記生成された画像とともに、検出されたひび割れに関する情報を含むメタデータを後段の画像処理の入力とする処理であることを特徴とする請求項3に記載の情報処理装置。 - 前記複数の情報処理のうち、前記検出処理は、前記合成処理より後で実行され、
前記画像処理手段は、前記合成処理における前記第1のメタデータとして取得された前記複数の画像のそれぞれの撮影時の情報を、前記検出処理においても前記第1のメタデータとして取得し、前記検出モデルの選択に利用することを特徴とする請求項4に記載の情報処理装置。 - 前記対象画像は、撮像装置によって構造物を撮影することで得られた画像であって、
前記対象画像を所定の図面データに重畳させる処理とは、前記構造物の設計情報に係る図面データに対して、前記対象画像の対応する部分を重畳した画像を生成する処理であることを特徴とする請求項3乃至5のいずれか1項に記載の情報処理装置。 - 前記合成処理では、入力として取得する前記第1画像と、出力となる前記第2画像のデータ形式を異ならせることを特徴とする請求項1乃至6のいずれか1項に記載の情報処理装置。
- 前記複数の画像処理のうち1以上の画像処理において、該画像処理の結果である前記第2画像を表示部に表示させる手段と、
表示された前記第2画像の一部を指定するユーザの操作を受け付ける手段と、
前記ユーザの操作と、入力された前記第1のメタデータとから、最前段の入力である前記対象画像のうち前記ユーザの操作によって指定された前記第2画像の一部に対応する画像を特定する手段を更に備えることを特徴とする請求項1乃至7のいずれか1項に記載の情報処理装置。 - コンピュータに読み込ませ実行させることで、前記コンピュータを、請求項1乃至8のいずれか1項に記載の情報処理装置として機能させるプログラム。
- 1以上の情報処理装置による情報処理方法であって、
対象画像を取得し、
前記対象画像に対して順次実行される複数の情報処理の少なくとも1つとして、複数の前記対象画像を合成する合成処理において、
複数の前記対象画像に対して前の段階までの情報処理が実行された結果である第1画像と、前記前の段階までの画像処理において生成された第1のメタデータを入力として取得し、
前記第1画像に対して前記合成処理を実行した結果である第2画像と前記画像処理において生成された第2のメタデータを、前記第1のメタデータとともに後段の画像処理に対して出力することを特徴とする情報処理方法。 - 撮像装置と複数の情報処理装置から成る情報処理システムであって、
前記撮像装置が撮影した1以上の画像を対象画像として取得する画像取得手段と、
前記対象画像に対して、前記複数の情報処理装置のいずれかに割り当てられた複数の情報処理のそれぞれを順次実行する画像処理手段とを備え、
前記画像処理手段は、
前記複数の情報処理の少なくとも1つとして、複数の前記対象画像を合成する合成処理を実行する場合、複数の前記対象画像に対して前の段階までの画像処理が実行された結果である第1画像と、前記前の段階までの情報処理において生成された第1のメタデータを入力として取得し、
前記第1画像に対して前記合成処理を実行した結果である第2画像と前記合成処理において生成された第2のメタデータを、前記第1のメタデータとともに後段の画像処理に対して出力することを特徴とする情報処理システム。 - 構造物を撮影した画像から前記構造物に生じたひび割れを検知する情報処理システムであって、
撮像装置によって1つの構造物を複数回に分割して撮像した複数の画像を取得する手段と、
前記複数の画像を合成した合成画像を生成する合成処理と、前記合成画像を幾何変換した幾何変換画像を生成する幾何変換処理と、前記幾何変換画像から前記構造物の表面に生じたひび割れを検出するひび割れ検出処理と、前記幾何変換画像に検出された前記ひび割れ検出処理で検出されたひび割れを重畳したひび割れ画像を、前記構造物に係る図面データに重畳して表示する処理と段階的に実行する画像処理手段とを備え、
前記画像処理手段は、前記複数の情報処理のそれぞれにおいて、
前の段階までの情報処理が実行された結果である第1画像と、前記前の段階までの情報処理において生成された第1のメタデータを入力として取得し、
前記第1画像に対して所定の情報処理を実行した結果である第2画像と前記所定の情報処理において生成された第2のメタデータを、前記第1のメタデータとともに後段の画像処理の入力とすることを特徴とする情報処理システム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019134498A JP7427381B2 (ja) | 2019-07-22 | 2019-07-22 | 情報処理装置、システム、情報処理方法及びプログラム |
US16/932,553 US11551339B2 (en) | 2019-07-22 | 2020-07-17 | Information processing apparatus, information processing method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019134498A JP7427381B2 (ja) | 2019-07-22 | 2019-07-22 | 情報処理装置、システム、情報処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021018642A true JP2021018642A (ja) | 2021-02-15 |
JP7427381B2 JP7427381B2 (ja) | 2024-02-05 |
Family
ID=74187557
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019134498A Active JP7427381B2 (ja) | 2019-07-22 | 2019-07-22 | 情報処理装置、システム、情報処理方法及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11551339B2 (ja) |
JP (1) | JP7427381B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2024000324A (ja) * | 2022-06-20 | 2024-01-05 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8712194B1 (en) * | 2011-12-06 | 2014-04-29 | Google Inc. | System for non-destructive image processing |
JP2016082327A (ja) * | 2014-10-14 | 2016-05-16 | ソニー株式会社 | 情報処理装置、情報処理方法、並びにプログラム |
JP2017220833A (ja) * | 2016-06-08 | 2017-12-14 | キヤノン株式会社 | 撮像装置、その制御方法とプログラム |
JP2017220892A (ja) * | 2016-06-10 | 2017-12-14 | オリンパス株式会社 | 画像処理装置及び画像処理方法 |
WO2017217185A1 (ja) * | 2016-06-14 | 2017-12-21 | 富士フイルム株式会社 | サーバ装置、画像処理システム及び画像処理方法 |
JP2018161488A (ja) * | 2013-09-25 | 2018-10-18 | テラリコン インコーポレイテッド | 高度医用画像処理ウィザード |
WO2019021719A1 (ja) * | 2017-07-27 | 2019-01-31 | 富士フイルム株式会社 | 損傷データ編集装置、損傷データ編集方法、およびプログラム |
WO2019031086A1 (ja) * | 2017-08-09 | 2019-02-14 | 富士フイルム株式会社 | 画像処理システム、サーバ装置、画像処理方法、及び画像処理プログラム |
JP2019092006A (ja) * | 2017-11-13 | 2019-06-13 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2238743A4 (en) * | 2007-12-17 | 2011-03-30 | Stein Gausereide | REAL-TIME VIDEO INCLUSION SYSTEM |
WO2012033602A1 (en) * | 2010-08-11 | 2012-03-15 | Steven Nielsen | Methods, apparatus and systems for facilitating generation and assessment of engineering plans |
US8878867B2 (en) * | 2012-06-11 | 2014-11-04 | Blackberry Limited | Transparency information in image or video format not natively supporting transparency |
GB2510613A (en) * | 2013-02-08 | 2014-08-13 | Nokia Corp | User interface for image processing |
US9466150B2 (en) * | 2013-11-06 | 2016-10-11 | Google Inc. | Composite image associated with a head-mountable device |
JP6559803B2 (ja) * | 2015-12-25 | 2019-08-14 | シャープ株式会社 | 表示装置、表示装置の制御方法、制御プログラム、および記録媒体 |
KR102442625B1 (ko) * | 2017-07-05 | 2022-09-13 | 삼성전자주식회사 | 영상 처리 장치 및 상기 영상 처리 장치의 제어 방법 |
JP2019036885A (ja) | 2017-08-18 | 2019-03-07 | オリンパス株式会社 | 画像処理装置および画像処理方法 |
US11216912B2 (en) * | 2017-10-18 | 2022-01-04 | Gopro, Inc. | Chrominance denoising |
WO2019151798A1 (ko) * | 2018-01-31 | 2019-08-08 | 엘지전자 주식회사 | 무선 통신 시스템에서 이미지에 대한 메타데이터를 송수신하는 방법 및 장치 |
-
2019
- 2019-07-22 JP JP2019134498A patent/JP7427381B2/ja active Active
-
2020
- 2020-07-17 US US16/932,553 patent/US11551339B2/en active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8712194B1 (en) * | 2011-12-06 | 2014-04-29 | Google Inc. | System for non-destructive image processing |
JP2018161488A (ja) * | 2013-09-25 | 2018-10-18 | テラリコン インコーポレイテッド | 高度医用画像処理ウィザード |
JP2016082327A (ja) * | 2014-10-14 | 2016-05-16 | ソニー株式会社 | 情報処理装置、情報処理方法、並びにプログラム |
JP2017220833A (ja) * | 2016-06-08 | 2017-12-14 | キヤノン株式会社 | 撮像装置、その制御方法とプログラム |
JP2017220892A (ja) * | 2016-06-10 | 2017-12-14 | オリンパス株式会社 | 画像処理装置及び画像処理方法 |
WO2017217185A1 (ja) * | 2016-06-14 | 2017-12-21 | 富士フイルム株式会社 | サーバ装置、画像処理システム及び画像処理方法 |
WO2019021719A1 (ja) * | 2017-07-27 | 2019-01-31 | 富士フイルム株式会社 | 損傷データ編集装置、損傷データ編集方法、およびプログラム |
WO2019031086A1 (ja) * | 2017-08-09 | 2019-02-14 | 富士フイルム株式会社 | 画像処理システム、サーバ装置、画像処理方法、及び画像処理プログラム |
JP2019092006A (ja) * | 2017-11-13 | 2019-06-13 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20210027450A1 (en) | 2021-01-28 |
JP7427381B2 (ja) | 2024-02-05 |
US11551339B2 (en) | 2023-01-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10964108B2 (en) | Augmentation of captured 3D scenes with contextual information | |
JP2017130146A (ja) | 画像管理装置、画像管理方法及びプログラム | |
JP6723965B2 (ja) | 情報処理方法、情報処理装置およびプログラム | |
JP6812128B2 (ja) | 情報処理装置および情報処理方法 | |
US10489652B2 (en) | Image capturing system | |
JP2013068706A (ja) | 情報処理装置、情報処理方法、プログラム及び記録媒体 | |
JP7427381B2 (ja) | 情報処理装置、システム、情報処理方法及びプログラム | |
JP6245837B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
EP3723365A1 (en) | Image processing apparatus, system that generates virtual viewpoint video image, control method of image processing apparatus and storage medium | |
JP2006332789A (ja) | 映像撮影方法及び装置及びプログラム及びプログラムを格納した記憶媒体 | |
JP2019053359A (ja) | データ処理装置 | |
JP2018125658A (ja) | カメラ機能を有する携帯可能な情報処理装置、その表示制御方法、及びプログラム | |
CN112969963A (zh) | 信息处理设备及其控制方法、程序和存储介质 | |
JP4742976B2 (ja) | 遠隔指示システム、遠隔指示方法及びプログラム | |
JP2010068193A (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
JP2015015699A (ja) | 画像処理装置、情報処理方法及びプログラム | |
JP5673293B2 (ja) | 画像合成方法、画像合成装置、プログラム、及び、記録媒体 | |
JPWO2020138120A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2016042661A (ja) | 情報処理装置、システム、情報処理方法及びプログラム | |
JP6670918B2 (ja) | 生成装置、生成方法及び生成プログラム | |
JP2018157254A (ja) | 画像管理装置、画像管理方法、及びプログラム | |
JP6937282B2 (ja) | アノテーション支援システム、アノテーション支援装置およびアノテーション支援方法 | |
JP7416736B2 (ja) | 撮影支援装置、撮影支援方法、及び撮影支援プログラム | |
US20240155226A1 (en) | Information processing apparatus, control apparatus, and control method | |
JP2011160386A (ja) | 画像ファイル処理装置、方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220721 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230420 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230502 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230628 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230926 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231122 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20231213 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231226 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240124 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7427381 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |